Da li je Meta upravo pobedila Google i Apple u trci? Hrabar potez, AI stiže na telefone u velikom stilu
Meta Platforms je kreirala manje verzije svojih Llama modela veštačke inteligencije koji mogu da rade na pametnim telefonima i tabletima, otvarajući nove mogućnosti za AI izvan centara podataka.
Kompanija je najavila kompresovane verzije svojih modela Llama 3.2 1B i 3B koje rade do četiri puta brže dok koriste manje od polovine memorije od ranijih verzija. Ovi manji modeli rade skoro isto kao i njihove veće "kolege", prema Meta testiranju.
Kako je Meta učinila da veliki jezički modeli rade na telefonima
Napredak koristi tehniku kompresije koja se zove kvantizacija, koja pojednostavljuje matematičke proračune koje pokreću AI modele. Meta je kombinovao dve metode: trening sa svešću o kvantizaciji sa LoRA adapterima (KLoRA) za održavanje tačnosti i SpinQuant za poboljšanje prenosivosti.
Ovo tehničko dostignuće rešava ključni problem: pokretanje napredne veštačke inteligencije bez ogromne računarske snage. Do sada su sofisticirani modeli veštačke inteligencije zahtevali centre podataka i specijalizovan hardver.
Testovi na OnePlus 12 Android telefonima pokazali su da su komprimovani modeli bili 56% manji i koristili 41% manje memorije dok su obrađivali tekst više nego dvostruko brže. Modeli mogu da obrađuju tekstove do 8.000 karaktera, što je dovoljno za većinu mobilnih aplikacija.
Tehnološki giganti se utrkuju da definišu mobilnu budućnost veštačke inteligencije
Meta izdanje intenzivira stratešku bitku među tehnološkim divovima za kontrolu načina na koji AI radi na mobilnim uređajima. Dok Google i Apple deluju pažljivo, i imaju kontrolisane pristupe mobilnoj veštačkoj inteligenciji – držeći je čvrsto integrisanom sa svojim operativnim sistemima – Metina strategija je značajno drugačija.
Otvorenim izvorom ovih komprimovanih modela i partnerstvom sa proizvođačima čipova Qualcomm i MediaTek, Meta zaobilazi tradicionalne platforme. Programeri mogu da prave AI aplikacije bez čekanja na Google-ova ažuriranja za Android ili Apple-ove iOS funkcije. Ovaj potez odražava rane dane mobilnih aplikacija, kada su otvorene platforme dramatično ubrzale inovacije.
Posebno su značajna partnerstva sa Qualcomm-om i MediaTek-om. Ove kompanije pokreću većinu svetskih Android telefona, uključujući uređaje na tržištima u razvoju gde Meta vidi potencijal rasta. Optimizujući svoje modele za ove široko korišćene procesore, Meta obezbeđuje da njegova veštačka inteligencija može efikasno da radi na telefonima u različitim cenama – ne samo na premium uređajima.
Odluka da se distribuira preko Meta-ine veb stranice Llama i Hugging Face, sve uticajnijeg čvorišta AI modela, pokazuje Meta-inu posvećenost da dopre do programera tamo gde već rade. Ova strategija dvostruke distribucije mogla bi da pomogne da Meta-ini komprimovani modeli postanu de fakto standard za razvoj mobilne veštačke inteligencije.
Budućnost AI u vašem džepu
Metina najava ukazuje na veći pomak u veštačkoj inteligenciji: prelazak sa centralizovanog na lično računarstvo. Dok će veštačka inteligencija zasnovana na oblaku nastaviti da se bavi složenim zadacima, ovi novi modeli sugerišu budućnost u kojoj telefoni mogu privatno i brzo da obrađuju osetljive informacije.
Tajming je značajan. Tehnološke kompanije suočavaju se sa sve većim pritiskom oko prikupljanja podataka i transparentnosti veštačke inteligencije. Meta-in pristup – otvaranje ovih alata i njihovo pokretanje direktno na telefonima – rešava oba problema. Vaš telefon, a ne udaljeni server, uskoro bi mogao da se nosi sa zadacima kao što su sumiranje dokumenata, analiza teksta i kreativno pisanje.
Ovo odražava druge ključne promene u računarstvu. Baš kao što se procesorska snaga preselila sa mejnfrejmova na lične računare, a računarstvo sa desktopa na pametne telefone, čini se da je veštačka inteligencija spremna za sopstveni prelazak na lične uređaje. Meta se kladi da će programeri prihvatiti ovu promenu, stvarajući aplikacije koje spajaju pogodnost mobilnih aplikacija sa inteligencijom veštačke inteligencije.
Uspeh nije zagarantovan. Ovim modelima su i dalje potrebni snažni telefoni da bi dobro radili. Programeri moraju odmeriti prednosti privatnosti u odnosu na sirovu snagu računarstva u oblaku. A Metini konkurenti, posebno Apple i Google, imaju svoje vizije za budućnost AI na telefonima, koje ćemo tek videti u punom sjaju.