Обучение в контексте — это способность модели ИИ анализировать предоставленные данные и генерировать ответы, учитывая контекст задачи, без необходимости дообучения или изменения своих внутренних весов. Этот механизм особенно важен для больших языковых моделей, таких как GPT-4, которые могут решать новые задачи, просто получая примеры в рамках одного запроса.
Работает это так: пользователь предоставляет модели несколько примеров (few-shot learning) или даже один пример (one-shot learning), а затем формулирует задачу. Модель, анализируя контекст, выстраивает логическую связь и выдаёт ответ, соответствующий шаблону. Например, если дать GPT-4 пару примеров перевода с английского на французский, она сможет продолжить перевод новых фраз без предварительного обучения на параллельных корпусах.
Ключевое отличие от традиционного машинного обучения — отсутствие этапа тонкой настройки (fine-tuning). Модель не меняет свои параметры, а использует контекст как временную инструкцию. Это делает её гибкой для разнообразных задач без необходимости переобучения.
Важность подхода в его универсальности: одна и та же модель может работать с переводами, генерацией кода, анализом текста и другими задачами, просто получая разные контексты. Например, ChatGPT использует этот механизм для ответов на вопросы, следуя стилю и тону, заданному в диалоге.