Машинное обучение без иллюзий. Понимание возможностей и границ ML

Каждая технологическая революция проходит через предсказуемый цикл: восторженные обещания, массовое внедрение, столкновение с реальностью, переосмысление. Паровые машины должны были освободить человека от физического труда – породили фабричную систему с её жёсткой дисциплиной. Электричество обещало демократизацию комфорта – создало новые формы неравенства между электрифицированными городами и отстающей периферией. Интернет должен был стать пространством свободного обмена знаниями – превратился в поле битвы за внимание и данные.

Машинное обучение проходит через тот же цикл прямо на наших глазах. Но есть особенность: скорость прохождения этапов беспрецедентна. От первых громких успехов AlphaGo до массового разочарования в чат-ботах прошло меньше десятилетия. От обещаний полностью автономных автомобилей до признания, что даже частичная автоматизация требует постоянного человеческого контроля – ещё меньше.

Момент прозрения наступает, когда организации осознают фундаментальное противоречие. С одной стороны, технология демонстрирует впечатляющие результаты: системы распознавания изображений превосходят человека в специализированных задачах, языковые модели генерируют связные тексты, рекомендательные алгоритмы удерживают внимание миллиардов пользователей. С другой – те же системы проваливаются на элементарных с человеческой точки зрения задачах, воспроизводят и усиливают социальные предрассудки, принимают решения, логику которых невозможно объяснить.

Amazon столкнулась с этим в 2014 году. Компания, построившая империю на алгоритмах, решила автоматизировать отбор персонала. Лучшие инженеры создали систему, обученную на десятилетней истории найма. Результат оказался парадоксальным: модель систематически занижала оценки резюме, содержащих слово «женский» – будь то «капитан женской шахматной команды» или «женский колледж». Система не была запрограммирована на дискриминацию. Она просто выявила закономерность в исторических данных: в технологических ролях Amazon преобладали мужчины. Проект закрыли.

Американская система уголовного правосудия пережила похожее откровение с алгоритмом COMPAS, предсказывающим вероятность рецидива. Исследование ProPublica показало: система в два раза чаще ошибочно классифицировала чёрных подсудимых как высокорисковых по сравнению с белыми. При этом создатели алгоритма не использовали расу как переменную. Но почтовый индекс, уровень образования, история арестов родственников – все эти «нейтральные» факторы коррелировали с расовой принадлежностью в американском контексте. Алгоритм выучил расизм, не зная о существовании рас.

Медицинские алгоритмы демонстрируют схожие проблемы: система распределения медицинской помощи, используя исторические расходы на лечение как индикатор потребности, систематически недооценивала нужды пациентов из малообеспеченных групп, интерпретируя следствие неравенства как отсутствие потребности в помощи.

Финансовый сектор накопил целую коллекцию подобных откровений. Кредитные алгоритмы Apple Card выдавали мужчинам кредитные лимиты в 10—20 раз выше, чем их жёнам при одинаковых доходах и кредитной истории. Системы оценки кредитоспособности в развивающихся странах отказывали целым районам, воспроизводя практику «красных линий» – географической дискриминации, формально запрещённой десятилетия назад. Алгоритмы ценообразования страховых компаний назначали более высокие ставки водителям из бедных районов независимо от их личной истории вождения.