Google, tarayıcılarda yapay zeka performansını 3 kat artıran LiteRT.js'yi duyurdu
Google, web tarayıcılarında yapay zeka modellerini yüksek hızda çalıştırmak için tasarlanan yeni JavaScript tabanlı çalışma zamanı "LiteRT.js"yi tanıttı. Bu teknoloji sayesinde, gerçek zamanlı nesne tespiti, sesten metne dönüşüm ve görüntü çözünürlüğü artırma gibi yapay zeka işlemleri, veriler cihaz dışına gönderilmeden ve ağ gecikmesi yaşanmadan doğrudan tarayıcı üzerinden yapılabilecek.
Önceden kullanılan TensorFlow.js, JavaScript tabanlı olduğu için işlemci (CPU) ve grafik birimlerinin (GPU) gücünden tam anlamıyla faydalanamıyordu. LiteRT.js ise mobil ve masaüstü için optimize edilmiş donanım ivmelendirme ortamını WebAssembly aracılığıyla tarayıcıya taşıyor. Yeni sistem; CPU'lar için XNNPACK, GPU'lar için WebGPU ve yapay zeka işlemcileri (NPU) için WebNN API kullanarak performans darboğazlarını aşıyor.
Google'ın M4 işlemcili MacBook Pro üzerinde yaptığı testlere göre LiteRT.js, diğer web tabanlı alternatiflere kıyasla görüntü ve ses işleme modellerinde 3 kata kadar daha hızlı çalışıyor. Donanım hızlandırması (GPU/WebNN) kullanıldığında ise standart CPU yürütmesine göre 5 ila 60 kat arası performans artışı elde ediliyor.
Geliştiriciler, PyTorch, JAX ve TensorFlow modellerini kolayca LiteRT formatına (.tflite) dönüştürerek kullanabilecek. Google, ilerleyen dönemde cihaz içi üretken yapay zeka kapasitesini artırmayı ve büyük dil modellerini tarayıcıda çalıştıracak LiteRT-LM.js sürümünü geliştirmeyi hedefliyor.