Интерпретируемость (XAI) — это свойство систем искусственного интеллекта, позволяющее понять, как и почему они принимают те или иные решения. В отличие от «чёрных ящиков», где внутренняя работа скрыта, объяснимые модели раскрывают логику своих выводов.
Современные нейросети, особенно глубокого обучения, часто работают как непрозрачные системы. Например, модель GPT-4 способна генерировать осмысленные тексты, но даже её создатели не всегда могут точно сказать, почему выбрано конкретное слово. XAI решает эту проблему, используя методы визуализации активаций, анализа важности признаков или упрощённые интерпретируемые модели-суррогаты.
В 2023 году DeepMind представила Tracr — инструмент для компиляции человекочитаемого кода в веса нейросетей. Это попытка сделать ИИ более предсказуемым. Другой пример — библиотека SHAP (SHapley Additive exPlanations), которая количественно оценивает вклад каждого признака в итоговое решение модели.
Объяснимость критически важна в медицине, финансах и юриспруденции, где ошибка ИИ может иметь серьёзные последствия. В Евросоюзе с 2024 года действует «Акт об искусственном интеллекте», требующий прозрачности алгоритмов, принимающих решения о людях.