Алгоритмическая предвзятость (Algorithmic Bias)

Представьте, что вы приходите в магазин, а система распознавания лиц не даёт вам войти, потому что алгоритм «решил», что люди вашей внешности потенциально опасны. Или вы подаёте заявку на кредит, а автоматизированная система оценки кредитоспособности отказывает вам без объективных причин — просто потому, что в обучающих данных было мало примеров успешных заёмщиков с вашим почтовым индексом. Это и есть проявления алгоритмической предвзятости.

Подробности о термине:

• Истоки проблемы. Предвзятость возникает из‑за несовершенства данных, на которых обучается модель: если в обучающей выборке преобладают примеры одного типа (например, резюме мужчин‑инженеров), алгоритм начнёт считать этот тип «нормой», а всё остальное — отклонением. Также предвзятость может закладываться на этапе проектирования: если разработчики не учитывают разнообразие потенциальных пользователей, модель будет плохо работать для «нетипичных» случаев.
• Масштаб явления. По данным исследования AI Now Institute (2019), алгоритмическая предвзятость обнаружена в системах распознавания лиц (ошибки для темнокожих людей в 10–100 раз выше, чем для белых), в алгоритмах найма (предпочтение кандидатов мужского пола в IT‑сфере), в системах прогнозирования преступности (завышенные оценки риска для афроамериканцев).
• Ключевые даты:
  • 2016 — публикация исследования ProPublica о предвзятости алгоритма COMPAS, используемого в судах США для оценки риска рецидива.
  • 2018 — скандал с Amazon: компания отказалась от ИИ‑системы для отбора резюме из‑за дискриминации женщин.
  • 2021 — ЕС предложил регламент по ИИ, включающий требования по снижению предвзятости.

Отличия от похожих терминов:

• Переобучение (overfitting) — модель слишком точно подстраивается под обучающие данные, но плохо обобщает на новые. Предвзятость же связана не с качеством подгонки, а с системными искажениями в данных или логике алгоритма.
• Смещение (bias) в статистике — общее понятие о систематической ошибке оценки. Алгоритмическая предвзятость — частный случай, специфичный для ИИ и имеющий этические последствия.

Примеры:

1. Системы распознавания лиц:

   алгоритмы от Microsoft, IBM и Face++ в 2018 году показывали точность 99 % для белых мужчин, но лишь 65–80 % для темнокожих женщин (исследование MIT Media Lab).

2. Алгоритмы найма:

   система Amazon анализировала резюме и понижала баллы кандидаткам, если в тексте встречались слова «женский клуб» или названия вузов с преобладанием студенток.

3. Кредитные скоринги:

   в 2020 году Apple Card обвиняли в том, что мужчинам одобряли лимиты в 10 раз выше, чем женщинам с тем же доходом.

Примеры использования термина:

• «При разработке чат‑бота для поддержки клиентов важно проверять модель на алгоритмическую предвзятость, чтобы избежать дискриминации по языку или акценту».
• «Регуляторы требуют от компаний проводить аудит алгоритмической предвзятости перед запуском систем принятия решений в здравоохранении».