Малая языковая модель (Small Language Model, SLM) — это компактная версия языковой модели искусственного интеллекта, предназначенная для выполнения задач обработки естественного языка с меньшим количеством параметров и ресурсов. Такие модели создаются для оптимизации вычислительных затрат и повышения доступности ИИ-решений.
SLM работают на основе тех же принципов, что и крупные языковые модели, но с существенно меньшим числом параметров. Например, GPT-NeoX с 20 миллиардами параметров считается малой моделью по сравнению с GPT-4, у которой более 170 миллиардов. Это позволяет SLM быть эффективными на устройствах с ограниченными ресурсами, таких как смартфоны или микроконтроллеры.
Малые языковые модели применяются в областях, где не требуется высокая точность, но важны скорость и экономичность. Например, они используются в чат-ботах для простых запросов или в устройствах Интернета вещей для обработки голосовых команд. В отличие от крупных моделей, SLM легче адаптировать под конкретные задачи и развернуть в локальных системах.
Важность малых языковых моделей растёт из-за их доступности и гибкости. Они позволяют внедрять ИИ-технологии в небольших компаниях и домашних устройствах, где использование мощных моделей экономически неоправданно. Примером SLM может служить модель Phi-1 от Microsoft, разработанная специально для обучения с минимальными ресурсами.