Kandydat pisze CV z pomocą ChatGPT. Firma screenuje je narzędziem opartym na tym samym modelu. Każdy uważa, że robi dobrze. Tyle że nowe badanie z University of Maryland, National University of Singapore i Ohio State University pokazuje, że w tym układzie jest haczyk, o którym nie wie żadna ze stron: modele językowe systematycznie preferują treści, które same wygenerowały. Nawet jeśli ludzkie CV jest obiektywnie lepsze – model i tak wybiera swoje.

Badanie przeprowadzono na 2,2 tys. prawdziwych, ludzkich CV z platformy LiveCareer, napisanych jeszcze przed erą generatywnego AI. Dla każdego z nich wygenerowano wersje przy użyciu siedmiu różnych modeli – GPT-4o, DeepSeek-V3, LLaMA, Qwen, Mistral i innych. Następnie te same modele poproszono o ocenę: które CV jest lepsze? Wynik: modele wybierały własne wersje CV w 67 do 82 proc. przypadków, nawet po kontroli jakości treści. GPT-4o osiągnął rekordowe 82 proc. Co ważne – nie dlatego, że AI-owe CV były lepiej napisane. Ludzie (oceniający na zasadzie ślepego testu) często wskazywali ludzkie CV jako lepsze. Model mimo to wybierał swoje.

Badacze poszli dalej i zasymulowali realistyczny pipeline rekrutacyjny w 24 zawodach. Kandydaci, którzy użyli tego samego modelu AI co narzędzie screenujące, mieli o 23 do 60 proc. większe szanse na shortlistę niż równie wykwalifikowani kandydaci z CV napisanym ręcznie. Największe dysproporcje pojawiły się w zawodach biznesowych – sprzedaż, księgowość, finanse. Najmniejsze – w rolnictwie i sztuce.

Mechanizm jest zaskakująco prosty

Modele językowe potrafią rozpoznawać własny styl – sposób budowania zdań, dobór słów, strukturę argumentacji. Badacze nazywają to „self-recognition” i wykazali silną korelację: im lepiej model rozpoznaje własne teksty, tym mocniej je preferuje. To trochę tak, jakby rekruter nieświadomie faworyzował kandydatów, którzy mówią dokładnie jego językiem – wcale nie dlatego, że są lepsi, tylko dlatego, że brzmią znajomo.

Jeśli firma korzysta z jednego modelu AI do screeningu, a kandydaci odkryją (lub usłyszą od znajomych), że CV pisane właśnie tym narzędziem „przechodzą” lepiej – zaczną masowo go używać. Z czasem pula aplikacji zacznie wyglądać coraz bardziej jednorodnie, styl dominującego modelu zakrzepnie w standardzie, a ludzie piszący CV samodzielnie będą systemowo wypychani z procesu. Badacze wprost ostrzegają przed takim scenariuszem.

Czy da się to naprawić?

Tak – i to stosunkowo prosto. Badacze przetestowali dwie interwencje. Pierwsza: zmiana system promptu, czyli jawne poinstruowanie modelu, żeby ignorował pochodzenie tekstu i oceniał wyłącznie treść. Druga: głosowanie większościowe – zamiast jednego modelu oceniającego, panel trzech modeli, w tym mniejszych, które mają słabsze zdolności rozpoznawania własnych tekstów. Efekt? Redukcja tendencyjności o ponad 50 proc. w obu przypadkach. GPT-4o spadł z 82 do 30 proc. To nie wymaga zmiany architektury modelu ani drogich wdrożeń – wystarczy zmienić sposób, w jaki narzędzie jest skonfigurowane.

Jestem przekonana, że termin „self-preferencing” wejdzie do branżowego słownika szybciej, niż nam się wydaje. Jeśli Twoja firma używa AI do screeningu CV – a coraz więcej firm to robi – warto zadać sobie kilka niewygodnych pytań. Jaki model stoi za Twoim narzędziem? Czy wiesz, jakimi modelami kandydaci generują swoje aplikacje? Czy Twój proces rekrutacyjny nieświadomie faworyzuje ludzi, którzy trafili na „właściwe” narzędzie AI – a nie tych, którzy mają właściwe kompetencje? Nikt rozsądny nie powie dziś, żeby przestać używać AI w rekrutacji. Jednak warto wiedzieć, co dokładnie to AI robi z naszymi procesami – i czyje CV po cichu odkłada na bok…

Agata Borek Agata Borek  

Autorka pełni funkcję Marketing Expert w Just Join IT.