Firma zakupiła startup Taalas, który opracował nietypową architekturę akceleratorów AI. Zamiast przechowywać wagi modelu w pamięci, zapisuje je bezpośrednio w strukturze krzemowego układu. Takie rozwiązanie ma zwiększyć wydajność wnioskowania. AMD nie ujawniło jej wartości, wiadomo jednak, że chodzi o pełne przejęcie spółki, a nie jedynie zatrudnienie jej zespołu. Strategicznie ruch ten przypomina ubiegłoroczną umowę licencyjną Nvidii z firmą Groq.

Taalas, założony w 2023 roku w Toronto startup, obrał zupełnie inną drogę niż producenci klasycznych procesorów graficznych czy akceleratorów bazujących na architekturze przepływu danych, takich jak Groq LPU lub układy Cerebrasa. Największą innowacją Taalas jest rezygnacja z pamięci HBM do przechowywania wag modelu. Zamiast tego są one trwale zapisane w strukturze układu podczas jego produkcji. W praktyce oznacza to powstanie wyspecjalizowanego układu scalonego przeznaczonego do obsługi konkretnego modelu AI.

.W lutym startup zaprezentował pierwszy układ testowy HC1, wyprodukowany w litografii 6 nm przez TSMC. Według przedstawionych wyników chip obsługiwał model Meta Llama 3.1 8B z szybkością 16 960 tokenów na sekundę. W momencie prezentacji oznaczało to wydajność około 48 razy wyższą niż w przypadku procesorów graficznych Nvidii oraz 8,5 razy większą niż akceleratorów Cerebrasa.

Wszystko wskazuje na to, że AMD zamierza połączyć swoje szafy serwerowe Helios, oparte na akceleratorach Instinct, z układami wykorzystującymi technologię Taalas. W takim scenariuszu procesory graficzne odpowiadałyby za najbardziej wymagające obliczeniowo przetwarzanie zapytań użytkowników, natomiast generowanie kolejnych tokenów zostałoby przekazane wyspecjalizowanym akceleratorom Taalas. Możliwy jest również inny model wdrożenia. Klienci mogliby najpierw trenować i testować modele na akceleratorach Instinct, a po zakończeniu prac przenosić gotowe modele na znacznie wydajniejsze układy Taalas przeznaczone wyłącznie do inferencji.

Odbiorcami tego rozwiązania mają być twórcy modeli AI, operatorzy infrastruktury oraz wyspecjalizowani dostawcy usług inferencyjnych. Według deklaracji Taalas zapisanie wag modelu bezpośrednio w strukturze układu kosztuje około 100 razy mniej niż wytrenowanie nowoczesnego modelu od podstaw.