Может ли чат-бот быть предвзятым: что такое алгоритмическая необъективность

Современные технологии искусственного интеллекта часто воспринимаются как эталон объективности, однако на практике они способны воспроизводить и масштабировать системное неравенство. Изучение феномена, известного как алгоритмическая предвзятость, показывает, почему цифровые системы далеко не всегда принимают справедливые решения.

Исторически идея скептического отношения к машинам восходит к работам Джозефа Вейценбаума, который еще в 1966 году создал первый чат-бот ELIZA. Ученый предупреждал, что автоматизированные системы могут усугублять социальные проблемы, создавая лишь иллюзию разумного и беспристрастного подхода.

Что понимают под алгоритмической предвзятостью

В теории под данным термином подразумевается любая систематическая ошибка или искажение в цифровых и нецифровых алгоритмах. Однако на практике определение чаще связывают с программами машинного обучения, которые усиливают дискриминацию и наносят вред уязвимым категориям населения.

Например, если система подбора персонала отдает предпочтение определенным именам, игнорируя вариации, характерные для конкретных этнических групп, речь идет о воспроизведении реальной дискриминации. Модели искусственного интеллекта не являются зеркалом объективной реальности — они отражают приоритеты, взгляды и структуру людей, которые их создавали.

Какой вред может причинить алгоритмическая предвзятость

Специалисты по этике искусственного интеллекта разделяют потенциальный ущерб от подобных систем на две основные категории.

• Вред, связанный с распределением ресурсов. Подобные ошибки укрепляют неравенство, ограничивая доступ определенных групп людей к вакансиям, медицинским услугам и другим важным возможностям.
• Вред, связанный с репрезентацией. Это искаженное отображение действительности, при котором отдельные группы населения оказываются «стертыми» или сталкиваются с негативными стереотипами. Например, поисковые системы могут выдавать изображения преимущественно светлокожих мужчин по запросам о руководящих должностях, тем самым укрепляя предрассудки.

К каким реальным последствиям приводит алгоритмическая предвзятость

В восьмидесятые годы прошлого века медицинская школа при лондонской больнице Святого Георгия использовала программу для отбора абитуриентов, основанную на прошлых решениях приемной комиссии. Выяснилось, что алгоритм занижал баллы кандидатам-женщинам и соискателям с нетипичными для европеоидной расы именами.

С развитием технологий ситуация не исчезла. В 2018 году выяснилось, что инструмент найма персонала компании Amazon дискриминировал резюме женщин. В 2021 году в США возникли вопросы к алгоритмам выдачи ипотек, которые чаще отказывали темнокожим заявителям. Кроме того, исследования систем распознавания лиц неоднократно демонстрировали более высокий уровень ошибок при анализе внешности азиатов и афроамериканцев.

Как преодолеть алгоритмическую предвзятость

Проблема может возникать на любом этапе жизненного цикла программы. Снижение рисков требует внимания к ключевым стадиям разработки.

Постановка задачи

Перед началом создания ПО необходимо четко определить цели и осознать заложенные в задачу допущения. Например, системы распознавания пола опираются на концепцию гендерной бинарности и стандарты внешности, что сужает контекст их применения.

Обучение модели

Качество работы нейросети напрямую зависит от объема и разнообразия исходных данных. Если алгоритм распознавания лиц обучали преимущественно на снимках светлокожих людей, он закономерно хуже справится с распознаванием представителей других рас.

Оценка системы

Перенос человеческих решений в цифровую среду неизбежно переносит и их изъяны. Чтобы избежать этого, разработчикам приходится устанавливать для программ стандарты строгости, превосходящие человеческие.

Почему сложно создавать этически безупречные алгоритмы

Создание полностью справедливых систем затруднено рядом фундаментальных факторов.

Алгоритмы — это черный ящик

Внутренняя логика работы нейросетей часто скрыта от пользователей и исследователей. Даже при наличии открытого исходного кода бывает сложно отследить, какие именно факторы повлияли на итоговое решение программы, например при отборе кандидатов на работу.

Вокруг алгоритмов — ореол магии

Восприятие искусственного интеллекта как чего-то сверхъестественного заставляет людей слепо доверять его результатам. Как отмечал еще создатель ELIZA Джозеф Вейценбаум, иллюзия интеллекта заставляет забывать о реальных людях и ресурсах, стоящих за технологией.

Нейтральность алгоритмов — предмет для дискуссий

Многие эксперты считают создание абсолютно нейтральной технологии невозможной задачей. В сферах с высокой ценой ошибки, таких как медицина или правосудие, целесообразность применения машинного обучения до сих пор вызывает серьезные споры.