Kako se performanse veštačke inteligencije mogu unaprediti uz pomoć programskih jezika, kompajlera i naprednih tehnika optimizacije?
Ovo predavanje predstavlja savremene pristupe optimizaciji AI sistema, sa posebnim fokusom na fuziju operatora — tehniku koja omogućava da se više operacija mašinskog učenja kombinuje u jednu efikasniju celinu. Na taj način poboljšava se ponovna upotreba podataka i smanjuje potreba za prenosom podataka iz globalne memorije, što je od izuzetnog značaja za rad na grafičkim procesorima.
U fokusu predavanja biće Neptune, tenzorski kompajler razvijen za naprednu fuziju operatora u složenim sekvencama redukcija, kao što su mehanizmi pažnje koji se koriste u savremenim modelima veštačke inteligencije. Za razliku od postojećih pristupa, Neptune uvodi nov način optimizacije koji omogućava efikasnije izračunavanje i bolje performanse na različitim GPU arhitekturama.
Biće prikazano kako Neptune, polazeći od običnog koda za varijante mehanizama pažnje, može da generiše operatore ekvivalentne ručno pisanim FlashAttention i FlashDecoding operatorima. Rezultati pokazuju da Neptune nadmašuje postojeće kompajlere i implementacije, uključujući Triton, TVM, FlexAttention i FlashAttention implementacije zasnovane na Triton-u. Na različitim NVIDIA i AMD GPU arhitekturama ostvarena su značajna ubrzanja, što pokazuje potencijal ovog pristupa za zahtevna radna opterećenja u dubokom učenju.
Neptune je predstavljen na konferenciji PLDI’26 i dostupan je putem DOI linka.
Na kraju predavanja biće predstavljene i mogućnosti za saradnju kroz UIUC letnje prakse i izradu doktorskih disertacija.
Predavanje će održati dr Saša Misailović, vanredni profesor na Univerzitetu Ilinois Urbana-Šempejn (University of Illinois Urbana-Champaign – UIUC), gde radi nakon doktorskih studija na MIT-u.
Njegov rad obuhvata programske jezike, kompajlere i softversko inženjerstvo, sa fokusom na programske sisteme za aplikacije u kojima su šum u podacima, nepouzdana komunikacija, aproksimativno računanje i neizvesnost sastavni deo izračunavanja. Takve aplikacije prisutne su u brojnim oblastima, uključujući veštačku inteligenciju, analitiku podataka, obradu multimedije i robotiku.
U poslednje vreme, glavni fokus njegove istraživačke grupe je razvoj inovativnih programskih sistema koji AI aplikacije čine tačnijim, pouzdanijim, robusnijim i resursno efikasnijim. Njegov rad povezuje kompajlersku infrastrukturu za složene AI sisteme, pouzdano ograničeno generisanje za velike jezičke modele, analizu robusnosti AI programa, kao i sintezu i analizu softvera koji funkcioniše u uslovima neizvesnosti.
Ulaz je slobodan.