Dział zajmujący się sztuczną inteligencją istnieje w Allegro już od kilku lat. Ilu w tej chwili liczy specjalistów?

Ireneusz Gawlik Zespół Machine Learning Research powstał w 2018 roku i obecnie liczy około 40 badaczy uczenia maszynowego. Przy czym AI w Allegro to nie tylko dział badań nad uczeniem maszynowym. Mamy już kilka różnych zespołów zajmujących się tworzeniem rozwiązań bazujących na sztucznej inteligencji. Część specjalistów jest rozproszona po obszarach produktowych, choć większość funkcjonuje w ramach działu Data and AI. Oprócz ekspertów od badań nad uczeniem maszynowym mamy też na przykład specjalistów Data Science. Są również ludzie zajmujący się adnotacją danych dla potrzeb modeli uczenia maszynowego. Ogółem w obszarze Data and AI pracuje obecnie około dwustu osób.

Allegro stworzyło kilka lat temu własny model językowy HerBERT. Czy jest on nadal wykorzystywany?

Nad HerBERT-em pracowaliśmy w latach 2019–2020. To model zgodny z opracowaną w 2018 roku przez naukowców Google’a architekturą BERT – Bidirectional Encoder Representations from Transformers. Wtedy nie było jeszcze tego typu modelu dla języka polskiego, więc stworzyliśmy go sami. Współpracowaliśmy z Polską Akademią Nauk, która udostępniła nam do tego celu Narodowy Korpus Języka Polskiego, który stanowił część zbioru treningowego. HerBERT jest nadal używany w wielu obszarach działalności firmy. Został dostosowany do naszych potrzeb z wykorzystaniem danych wewnętrznych. Służy na przykład do tworzenia rozwiązań obsługujących zapytania użytkowników do działu obsługi klienta czy tzw. wyszukiwanie semantyczne.

Będziecie go dalej rozwijać?

Nie pracujemy teraz nad nim jakoś szczególnie intensywnie. Na przyszłość interesuje nas w dużym stopniu dostrajanie już istniejących modeli językowych, udostępnianych na licencjach otwartych, do bieżących potrzeb całej firmy. Wydaje mi się, że dostosowywanie tych modeli do własnej domeny danych, dopasowywanie ich do własnych zastosowań, to jest właściwy, podstawowy kierunek rozwoju dla aplikacji NLP w języku polskim.

Czy będziecie brali pod uwagę uniwersalne modele typu ChatGPT, czy bardziej te, które są trenowane pod kątem języka polskiego, na przykład PLLuM lub Bielik?

Nie jest jasne jak istotne jest trenowanie modeli pod konkretny język w chwili, gdy istnieją modele wielojęzyczne. Istotniejsze może okazać się dopasowanie do konkretnej domeny języka, stąd skuteczność zależy w dużej mierze od rozmiaru oraz charakteru korpusu, na którym były trenowane. Wiele będzie z pewnością zależało od konkretnych potrzeb i zastosowań. W uczeniu maszynowym standardem jest ewaluacja modeli zgodnie z protokołem i to wynik ewaluacji daje ostateczną odpowiedź.

Sztuczna inteligencja to jednak nie tylko modele językowe, choć za sprawą ChataGPT zawładnęły one masową wyobraźnią. Z jakich jeszcze innych metod i technik AI korzystacie?

Są zastosowania, w których generatywna sztuczna inteligencja sprawdza się bardzo dobrze, jak na przykład przy wytwarzaniu treści w branżach kreatywnych. Natomiast tam, gdzie mamy do czynienia z optymalizacją procesów, budowaniem produktów, podejmowaniem decyzji, wyciąganiem wniosków – często szybko i na dużą skalę, na podstawie dużych ilości danych – lepiej sięgnąć do innych metod. W takich sytuacjach stosujemy głównie rozwiązania bazujące na uczeniu maszynowym opartym o modele sztucznych sieci neuronowych o mniejszej skali.

Jak to wygląda w praktyce?

Najprostszym przykładem jest wyszukiwarka. Jeżeli chcemy umożliwić użytkownikowi wyszukiwanie jakichś obiektów, na przykład dokumentów czy produktów, jak to jest w przypadku Allegro, to musimy mieć mechanizm, który będzie to obsługiwał. Po pojawieniu się zapytania trzeba najpierw wybrać odpowiedni podzbiór, a następnie go posortować tak, żeby przeglądając wyniki użytkownik zobaczył w pierwszej kolejności te, które są najbardziej istotne. Od wielu lat wykonywanie tych działań odbywa się z wykorzystaniem technik uczenia maszynowego. Ranking wyświetleń tworzony jest w oparciu o dane na temat historycznych interakcji z mechanizmem wyszukiwania – który dokument lub produkt był wyszukiwany, który przeglądany, który kupiony. Do analizy brane są miliony, jeśli nie miliardy historycznych przykładów.