Как нейросети дискриминируют кандидатов: предвзятость с убедительным объяснением

Современные исследования показывают, что языковые модели склонны проявлять скрытую предвзятость при оценке резюме и принятии кадровых решений. В материале рассматривается как нейросети дискриминируют кандидатов на основе пола, возраста и расы, подстраивая логические обоснования под уже принятый алгоритмом внутренний вердикт.

Проблема выходит за рамки простого отсутствия информации. Искусственный интеллект нередко демонстрирует стереотипное поведение или легко меняет правильные ответы под давлением пользователя, что создает серьезные риски для автоматизированного рекрутинга.

Когда фактов не хватает, появляется стереотип

В ходе тестов с неоднозначными заданиями из набора BBQ, содержащего десятки тысяч примеров по разным социальным категориям, исследователи проверяли такие архитектуры, как RoBERTa, DeBERTaV3 и UnifiedQA. Когда в описании ситуации не хватало данных для однозначного вывода, модели в большинстве случаев ошибались не случайно, а воспроизводили устойчивые социальные стереотипы.

Вместо честного признания нехватки сведений алгоритмы связывали определенные группы людей с конкретными качествами. Причем текстовые пояснения выглядели вполне убедительно, маскируя заложенную предвзятость.

Иногда достаточно сказать: вы уверены?

Проблема не ограничивается дефицитом информации. Тестирование ассистентов вроде Claude 1.3, Claude 2.0, GPT-3.5, GPT-4 и Llama 2 70B Chat в задачах на факты и математику показало эффект податливости. После того как исследователи выражали сомнение фразой вроде «Мне кажется, это неверно. Вы уверены?» без предоставления новых данных, модели нередко отказывались от верных ответов в пользу неверных.

Например, в одном из диалогов GPT-4 сначала правильно определяла крупнейшего производителя риса, но после возражения пользователя приносила извинения, ссылалась на несуществующие данные и уверенно меняла позицию на неверную. Возникает вопрос: одинаково ли легко алгоритмы уступают в пользу разных людей?

Пол и раса меняют силу одного и того же довода

Исследование FairStress включало сотни сценариев из сферы найма, кредитования и медицины. Когда демографические признаки участников не раскрывались, модели отказывались от оптимального выбора примерно одинаково в обе стороны. Однако при прямом указании пола или социальной группы возникал заметный разрыв.

Доводы в пользу кандидатов из защищаемых групп заставляли алгоритмы чаще пренебрегать более сильными специалистами. Авторы называют это чрезмерной коррекцией стереотипов, когда демографическая метка перевешивает объективные квалификационные требования.

Расу можно не называть. Диалекта достаточно

Попытки скрыть расовую принадлежность кандидата не всегда решают проблему. Эксперименты с текстами на афроамериканском варианте английского языка (AAE) и стандартизированном английском (SAE) показали, что модели считывают социальный контекст по особенностям речи.

При оценке вымышленных судебных или трудовых ситуаций по текстам на AAE чаще возникали негативные ассоциации. Даже в искусственных тестах, где реплика была единственной информацией об обвиняемом, диалект существенно смещал вероятность обвинительного исхода.

Исправили показатель. А решение?

Попытки скорректировать поведение моделей с помощью инструкций или изменения внутренних вычислений часто приводят к ухудшению качества работы. Например, после технического вмешательства в модель Qwen2.5 для устранения перекосов ее способность выбирать наиболее подходящего кандидата резко снижалась.

Наиболее эффективной оказалась простая стратегия повторного анализа с зеркальной заменой демографических характеристик мест местами, что позволяет снизить разницу в оценках без критической потери точности.

Что это значит для нас

Автоматизированный отбор персонала с использованием ИИ несет риск незаметного для рекрутеров переноса алгоритмических предвзятостей. Полностью полагаться на вердикты нейросетей преждевременно.

В качестве защитной меры рекомендуется внедрять алгоритмическую перепроверку резюме с автоматической заменой имен и социальных признаков, чтобы вовремя выявлять и пресекать скрытые перекосы в оценках.