Najnowsze badania Microsoftu pokazują, że wizja odesłania programistów na bezrobocie wciąż jest daleka od realizacji. Debugowanie kodu to jedna z tych dziedzin, w których ludzie nadal zdecydowanie przewyższają maszyny. Zespół Microsoft Research opracował narzędzie o nazwie debug-gym, aby przetestować, jak skutecznie modele AI radzą sobie z wykrywaniem i naprawianiem błędów w kodzie. Wyniki? W najlepszym przypadku wskaźnik sukcesu agentów AI wyniósł zaledwie 48,4% — to zdecydowanie za mało, by mówić o samodzielności takich systemów.

– Uważamy, że taki wynik jest spowodowany niedoborem danych reprezentujących sekwencyjne zachowania decyzyjne (np. ślady debugowania) w obecnym korpusie szkoleniowym LLM – czytamy na blogu Microsoftu.

Według badaczy problemem nie jest tylko sama architektura modeli, ale również braki w danych treningowych oraz niewystarczające zrozumienie sposobu działania narzędzi debugujących. Mimo to, zauważono obiecujące sygnały — poprawa wydajności modeli po odpowiednim dostrojeniu sugeruje, że rozwój w tym kierunku może przynieść rezultaty.

Microsoft zapowiada kolejny krok: dostrajanie modelu poszukiwania informacji, który pomoże agentom AI lepiej identyfikować istotne dane potrzebne do rozwiązania problemu. Ciekawym rozwiązaniem może być też budowanie mniejszych, wyspecjalizowanych modeli, które będą wspierać większe systemy, minimalizując przy tym koszty inferencji.

To nie pierwszy raz, gdy badania podważają tezę o nieuchronnym zastąpieniu programistów przez AI. Choć modele potrafią generować kod do prostych, wąsko zdefiniowanych zadań, to w praktyce często tworzą rozwiązania pełne błędów, podatności bezpieczeństwa i logicznych nieścisłości. Co więcej — nadal nie są w stanie samodzielnie tych błędów naprawiać.

Wniosek? Agent AI w najbliższej przyszłości nie zastąpi doświadczonego programisty. Ale może stać się jego asystentem, który skraca czas potrzebny na debugowanie i pozwala skupić się na bardziej kreatywnych aspektach pracy.