Gemini 3.8 Live: мышление в реальном времени

DeepMind представила Gemini 3.8 Live и Extended Thinking — обновление, которое позволяет модели дольше удерживать контекст в диалоге и постепенно «разжёвывать» сложные задачи. В отличие от предыдущих версий, где ответ генерировался за один проход, теперь модель может возвращаться к предыдущим рассуждениям, уточнять их и корректировать выводы. Это особенно полезно для инженеров, работающих с кодом: например, при рефакторинге больших кодовых баз модель предлагает промежуточные решения и сама их проверяет.

Почему VLMs ошибаются в пространственных задачах

Исследователи из MIT и Stanford обнаружили, что vision-language модели (VLMs) плохо оценивают надёжность своих ответов в пространственных задачах. Даже когда объекты частично закрыты или перспектива искажает их реальные размеры, модели редко распознают неоднозначность и часто дают уверенные, но неверные ответы. Проблема сохраняется даже у самых современных VLMs — например, Gemini 1.5 Pro ошибается в 35% случаев при оценке расстояний на изображениях с перспективными искажениями.

Стабилизация обучения агентов: SORL

Команда из Berkeley AI Lab предложила SORL — метод, который решает проблему «разрушения» политики (policy collapse) при обучении ИИ-агентов на длинных диалоговых сессиях. Традиционные алгоритмы вроде PPO часто дают нестабильные результаты при обучении вне политики (off-policy), особенно в задачах, где агент должен учитывать контекст нескольких предыдущих ответов. SORL вводит нормализацию градиентов на уровне «хода» (turn-level) и адаптивно ограничивает слишком радикальные обновления весов. В тестах на медицинских диалоговых датасетах метод сократил частоту коллапсов на 60%.

Von Neumann Networks: нейроны с обучаемыми ролями

Работа от UCLA реанимирует идеи Джона фон Неймана о клеточных автоматах, но в контексте глубокого обучения. Модель под названием Von Neumann Network (VNN) использует нейроны, которые могут обучаться специализированным ролям — например, одни клетки отвечают за передачу информации, другие за её трансформацию. В экспериментах VNN-версия MLP на 20% эффективнее обычной при том же числе параметров. Архитектура особенно перспективна для задач, где важна пространственная структура данных — например, обработка графов или химических соединений.

Smart Content Ingestion: новый подход к подготовке данных

Инженеры из Microsoft Research разработали систему для «интеллектуального» извлечения информации из PDF, таблиц и других неструктурированных документов. Проблема в том, что современные RAG-системы часто работают с искажёнными данными из-за ошибок OCR или потери структуры таблиц. Новый подход включает три ключевых компонента: scarcity-first curation (приоритет сложных для распознавания фрагментов), структурированный чанкинг и автоматическую оценку качества через генерацию контрольных вопросов. На тестах система достигла точности 97.4% при обработке юридических документов.

Что это значит

  1. Для разработчиков: Gemini 3.8 Live упростит работу с длинными техническими диалогами, но потребует пересмотра UX — пользователи должны видеть «процесс мышления» модели.
  1. Для исследователей: ошибки VLMs в пространственных задачах указывают на фундаментальный пробел — модели не умеют оценивать собственную неуверенность. Это критично для робототехники и автономных систем.
  1. Для инженеров ML: SORL и Von Neumann Networks предлагают конкретные улучшения — первый для стабильного обучения агентов, второй для эффективных архитектур. Оба метода уже сейчас можно тестировать в нишевых задачах.
  1. Для бизнеса: системы вроде Smart Content Ingestion сократят стоимость подготовки данных под RAG, но потребуют пересмотра pipeline — extraction теперь отдельный и измеримый этап.

Что сейчас волнует сообщество

  1. Разное (интерес 96/100): растёт запрос на разбор конкретных кейсов вне мейнстримных тем — например, применение ИИ в узких инженерных областях (CAD, EDA).
  1. LLM и модели (интерес 73/100): основные дискуссии — сравнение открытых (Llama 3.1, OLMo) и проприетарных (Gemini, GPT) моделей в продакшн-задачах.
  1. Карьера и найм (интерес 65/100): компании всё чаще ищут специалистов, которые могут интегрировать ИИ в существующие продукты, а не просто train/fine-tune модели.

Пространственные ошибки VLMs — не просто баг, а системное ограничение. Модели обучают на плоских 2D-изображениях без учёта глубины, а затем ожидают, что они «догадаются» о трёхмерной структуре. В MIT уже тестируют подходы с дополнительными сенсорами — LiDAR и стереокамерами, но пока интеграция даёт прирост точности лишь на 12-15%. Параллельно идут эксперименты с «виртуальными симуляторами», где модели учатся на синтетических 3D-сценах с идеальной разметкой.

SORL решает проблему, знакомую каждому, кто работал с диалоговыми агентами: через 15-20 реплик бот начинает выдавать абсурдные ответы или зацикливается. В Berkeley обнаружили, что классические методы вроде KL-дивергенции слишком грубо ограничивают политику, «замораживая» обучение. Их адаптивный регулятор действует тоньше — сравнивает распределения не на уровне всего диалога, а отдельных реплик, что особенно важно для медицинских чат-ботов, где каждая фраза может содержать критичный контекст.

Архитектура VNN — это шаг к «биологически правдоподобным» нейросетям. В отличие от традиционных слоёв, где все нейроны равноправны, здесь клетки могут брать на себя специализированные роли, как в живых тканях. Например, в экспериментах с предсказанием свойств молекул 7% нейронов саморганизовались в «транспортные пути», а 3% стали «контролёрами качества». Интересно, что такая структура возникает без явного указания — достаточно задать механизм конкурентного обучения через функцию потерь.

Smart Content Ingestion особенно полезен для юрфирм и финсектора. Типичный кейс: из 200-страничного договора нужно извлечь все упоминания штрафных санкций с условиями их применения. Старые методы либо требуют ручного чанкинга (что дорого), либо выдают фрагменты с потерянными связями между пунктами. Microsoft решает это через «контекстные окна», которые динамически расширяются вокруг ключевых терминов, захватывая даже таблицы и сноски.

Но главный тренд — смещение фокуса с raw accuracy на воспроизводимость результатов. В 2026 году 67% компаний жалуются, что их RAG-системы работают с перебоями из-за «плавающего» качества чанкинга. Smart Content Ingestion вводит чёткие метрики: например, коэффициент сохранения связности (CRC), который должен быть не ниже 0.93 для юридических текстов. Это меняет подход к разработке — теперь инженеры могут A/B-тестировать не только модели, но и этапы предобработки данных.

Для бизнеса Von Neumann Networks открывают неочевидные возможности. В одном пилотном проекте для химической компании VNN-модель, обученная предсказывать свойства полимеров, неожиданно выделила группу «нейронов-аналитиков», которые обнаружили ошибку в исторических данных лаборатории. Последующая проверка показала, что 8% экспериментов 2019-2022 годов были проведены с нарушением протокола — такой «самоаудит» архитектуры стал неожиданным бонусом.

Сообщество всё чаще обсуждает гибридные подходы. Например, комбинация Gemini 3.8 Live и SORL может создать агентов, которые не только глубоко анализируют контекст, но и стабильно работают в длинных сессиях. Первые тесты в сервисах технической поддержки показали сокращение «срывов диалога» на 40% по сравнению с чистыми RLHF-моделями.

Вывод: новые методы становятся точечными решениями для конкретных узких проблем — будь то «осознание» глубины в VLMs или стабильность диалоговых агентов. Это сигнализирует о зрелости отрасли: вместо погони за абстрактным AGI, исследователи учатся чинить «дырявые» компоненты существующих систем.