Галлюцинация в языковых моделях — это ситуация, когда система генерирует правдоподобный, но фактически неверный ответ. Модель не осознаёт, что ошибается, и может подкреплять свои утверждения ложными цитатами, несуществующими источниками или искажёнными фактами.
Такие ошибки возникают из-за особенностей обучения моделей. Они предсказывают текст на основе статистических закономерностей, а не проверки истинности. Например, нейросеть может «придумать» научное исследование, которое никогда не публиковалось, или ошибиться в дате исторического события, сохраняя при этом убедительный стиль изложения.
Классический пример — когда ChatGPT называл неверные даты жизни известных писателей или приписывал им несуществующие произведения. Другой случай: модель уверенно описывает медицинские симптомы, которых нет в реальных справочниках.
Проблема галлюцинаций критична для областей, где важна точность: медицина, юриспруденция, образование. Разработчики борются с этим через улучшение обучающих данных, введение внешних проверок и специальных алгоритмов-корректоров.