Враждебная атака использует тонкие, зачастую незаметные для человека изменения во входных данных, чтобы сбить модель с толку. Например, добавление специального шума к изображению может заставить нейросеть классифицировать панду как гиббона, хотя человек видит лишь слегка искажённую картинку. Такие атаки особенно опасны в системах компьютерного зрения и распознавания речи.
Механизм основан на уязвимостях в работе нейросетей, которые обучаются на гладких, «идеальных» данных. Атакующий вычисляет градиент ошибки модели и подбирает возмущения, максимизирующие эту ошибку. В 2018 году исследователи из MIT показали, что даже крошечные изменения (пиксельные сдвиги менее 0,1%) могут приводить к катастрофическим ошибкам в ResNet-50.
Противодействие включает adversarial training — дообучение модели на специально искажённых примерах. Компании вроде Google и OpenAI активно тестируют свои модели на устойчивость к таким атакам, особенно в критических областях вроде медицинской диагностики. Уязвимость остаётся серьёзной проблемой: в 2025 году 68% коммерческих CV-моделей демонстрировали уязвимость хотя бы к одному типу враждебных атак.