Google razvija superkompjuter za obuku AI modela

Kompanija Google je objavila nove detalje o superkompjuterima koje koristi za obuku svojih modela veštačke inteligencije (AI), rekavši da su sistemi i brži i energetski efikasniji od sistema koje proizvodi kompanije Nvidia Corp.

Google je dizajnirao sopstveni prilagođeni čip nazvan Tensor Processing Unit (TPU). Kompanija koristi te čipove za više od 90 odsto rada kompanije kada je u pitanju obučavanje veštačke inteligencije, u procesu unošenja podataka kroz modele kako bi ih učinio korisnim prilikom rešavanja zadataka kao što su odgovaranje na tekstualne upite ili generisanje slika, piše Reuters.

Google trenutno radi sa četvrtom generacijom TPU čipova. Tehnološki gigant je objavio i naučni rad koji opisuje kako je više od 4.000 čipova spojeno u superkompjuter koristeći sopstvene prilagođene optičke prekidače za pomoć u povezivanju pojedinačnih mašina.

Poboljšanje povezanosti ovih čipova postalo je ključna tačka u takmičenju među kompanijama koje grade superkompjutere sa veštačkom inteligencijom jer su takozvani modeli velikih jezika koji pokreću tehnologije kao što su Google Bard ili ChatGPT kompanije OpenAI preveliki za skladištenje na jednom čipu.

Umesto toga, modeli moraju biti podeljeni na hiljade čipova, koji zatim moraju da zajedno rade nedeljama, a ponekad i duže, kako bi obučili model. PaLM model kompanije Google, koji je njegov najveći objavljeni jezički model do sada, obučen je u roku od 50 dana tako što je podeljen na dva od 4.000 čipova superkompjutera.

U naučnom radu, Google navodi da su u odnosnu na sisteme slične veličine, njegovi čipovi do 1,7 puta brži i 1,9 puta efikasniji od sistema zasnovanog na A100 čipu kompanije Nvidia, koji je se pojavio na tržištu u isto vreme kada i TPU četvrte generacije.

Iz kompanije Google je nagovešteno da tehnološki gigant radi na novom TPU čipu koji će biti konkurencija sa H100 čipu komapnije Nvidia, ali detalji nisu navedeni.