Ми звикли вважати штучний інтелект дзеркалом людських вад: він вчиться на наших даних і, відповідно, успадковує наші упередження. Однак нове дослідження, проведене вченими з Принстонського університету та Університету Чикаго, перевертає цю парадигму з ніг на голову. Мовні моделі здатні не просто копіювати, а спонтанно генерувати зовсім нові соціальні стереотипи — навіть у умовах, де жодної упередженості спочатку не існувало.

Експеримент із вигаданими народами

Щоб перевірити гіпотезу про самогенерацію упереджень, дослідники відтворили класичний експеримент із найму персоналу. У ньому учасникам пропонувалося розподіляти кандидатів на вакансії та отримувати зворотний зв'язок щодо успіху чи невдачі кожного рішення. Ключова умова: усі кандидати належали до однієї з чотирьох вигаданих етнічних груп — Туфа, Айма, Реку або Веки. Між цими групами не було жодних реальних відмінностей, а шанси на успіх у будь-якій ролі були однаковими.

Коли експеримент проходили люди, негативний зворотний зв'язок дійсно формував упередження. Наприклад, якщо представник групи Туфа провалювався на посаді лікаря, учасники починали уникати найму цієї групи в майбутньому. Але у людей ці установки були гнучкими і з часом слабшали.

Нейромережі стають радикальнішими за людей

Коли ту ж задачу виконували мовні моделі, картина змінилася драматично. Рівень упередженості у ШІ виявився значно вищим, ніж у людей. Вчені протестували 15 моделей від провідних технологічних гігантів: OpenAI, Anthropic, DeepSeek, Meta, Google та Alibaba. Найбільш виражену стратифікацію вигаданих кандидатів продемонструвала модель o3 від OpenAI.

Всередині кожного сімейства моделей було виявлено чітку закономірність: чим новіша та потужніша модель, тим сильніше проявлялася упередженість. Це ставить під сумнів ідею про те, що розвиток технологій автоматично веде до більшої справедливості.

Парадокс ефективності

В основі проблеми лежить принцип, який спеціалісти називають балансом між дослідженням та використанням. Приймаючи рішення, агент обирає між освоєнням нового, невідомого варіанту з ризиком помилки та опорою на те, що вже дало хороший результат раніше.

Люди, навіть коли ставки високі, зберігають схильність до дослідження і готові ризикнути. Мовні ж моделі, за спостереженням дослідників, набагато сильніше орієнтовані на максимізацію винагороди. Більш потужна модель робить точніші висновки з минулих результатів: замість випадкового вибору вона жорстко віддає перевагу кандидатам із групи, з якою раніше був пов'язаний успіх. Це, здавалося б, раціональна поведінка обертається дисфункцією: модель перестає досліджувати альтернативи і тим самим маргіналізує цілі групи.

Реальні наслідки для бізнесу

Автори дослідження особливо зазначили, що ШІ в даному випадку не просто відтворює стереотипи з навчальних даних. Він генерує їх самостійно. Це принципово змінює характер загрози. Практичні наслідки відкриття важко переоцінити: понад 90% компаній вже використовують ШІ в процесі підбору персоналу.

Ситуація вже виходить за межі теорії. Великий постачальник ПЗ Workday стикається з колективним позовом, де його ШІ-інструменти звинувачуються в дискримінації. У схожій ситуації опинилася Meta: група співробітників подала позов, стверджуючи, що система ШІ, використана під час хвилі звільнень, систематично ущемляла працівників з інвалідністю та тих, хто брав відпустку за сімейними обставинами.

Здатність мовних моделей швидко знаходити патерни та узагальнювати досвід — саме те якість, що робить їх корисними в нових задачах — одночасно робить їх небезпечними в сценаріях із реальними людьми. Завдання розробників тепер полягає в тому, щоб знайти спосіб вибірково придушити шкідливе зіставлення патернів, не позбавивши при цьому моделі їхньої потужності.