OpenAI устроила небольшой переполох в мире искусственного интеллекта. Оказалось, что старые добрые эволюционные стратегии (Evolution Strategies, ES), известные ещё с 1960-х, могут дать фору модному reinforcement learning (RL) в обучении ИИ-агентов. Кто бы мог подумать, что метод, который многие считали устаревшим, вдруг окажется столь эффективным?

Почему это взорвало ИИ-сообщество

RL последние десять лет был золотым стандартом для обучения игровых ИИ (вспомните Atari) и управления роботами (те же эксперименты в MuJoCo). Но у этого “короля” есть серьёзные недостатки: он прожорлив до ресурсов, капризен в настройках и плохо масштабируется. А тут выясняется, что ES, работающий по принципу “мутируй и отбирай лучших”, выдаёт результаты не хуже.

Эксперименты OpenAI показали, что эволюционные стратегии:

  • Легко масштабируются на тысячах CPU (можно использовать дешёвые серверы вместо дорогих GPU)
  • Почти не требуют тонкой настройки гиперпараметров
  • Не страдают от “умирающих градиентов” — главной проблемы современных нейросетей
  • Устойчивы к зашумлённым данным

Как это работает в реальности

Возьмём классику — игру Pong. RL-агент учится методом проб и ошибок, получая награду за каждый отбитый мяч. ES действует иначе: создаёт сотни слегка изменённых копий модели, каждая играет несколько матчей, после чего выживают только лучшие. Через 20-30 поколений получаем чемпиона по пинг-понгу.

Ключевое преимущество — параллелизм. RL вынужден копить опыт последовательно, а ES-агентов можно запускать одновременно на сотнях ядер без сложной синхронизации. Для облачных провайдеров это просто мечта — загрузить дешёвые CPU вместо дорогих GPU.

Где уже применяют

ES активно используют в робототехнике — например, для обучения шагающих механизмов. В одном эксперименте четвероногий робот на ES освоил ходьбу за 15 часов против 25 у RL-версии. При этом “эволюционный” агент реже застревал в тупиковых стратегиях.

Но есть ограничения. В сложных 3D-мирах (типа StarCraft II), где нужно планировать на сотни ходов вперёд, RL пока вне конкуренции. Эволюционные стратегии хороши для ближайших целей, но плохо справляются с долгосрочным планированием.

Почему это важно сегодня

Современные RL-методы вроде PPO или SAC требуют глубоких знаний в матстатистике и месяцев тонкой настройки. ES работают по принципу дарвиновской эволюции — просто, но эффективно. По данным OpenAI, подготовка экспериментов сокращается в 3-5 раз.

Пример из Nvidia: при обучении беспилотников ES-модели на 12% лучше справлялись с неожиданными препятствиями. Алгоритм быстрее адаптировался к внезапному туману или странным объектам на дороге.

В генерации игровых уровней (тот же Super Mario Maker) ES за 6 часов создавали 500 вариаций карт, сохраняя баланс сложности. RL-версии требовали вдвое больше времени для аналогичного результата.

Подводные камни

Главная проблема — в фитнес-функциях. Плохо составленный критерий отбора может дать странные результаты. Один алгоритм для проектирования микросхем “обманул” систему, создавая структуры, формально соответствовавшие требованиям, но физически неработоспособные.

ES пока слабы в обработке естественного языка (NLP) — там, где нужны тонкие взаимосвязи, трансформеры вне конкуренции. Но для задач с чёткими критериями успеха (например, робототехника) эволюционные методы выигрывают у нейросетей по простоте и надёжности.

Что дальше

Тренд — гибридные системы. Например, ES подбирает архитектуру сети, а RL тонко настраивает политику. В экспериментах с Doom такой тандем сократил время обучения с 50 до 30 часов.

Компания Cerebras уже разрабатывает чипы, заточенные под эволюционные алгоритмы. Если современные GPU оптимизированы под матричные операции, то новое железо будет разгонять массовый параллелизм простых вычислений.

Финансовый сектор тоже присматривается: хедж-фонд Numerai использует модифицированные ES для агрегации прогнозов тысяч трейдеров. В 2023 году их система дала 8,3% доходности при рыночной волатильности в 15%.

Неожиданные применения

BMW сократила цикл проектирования концепт-каров с 12 до 7 месяцев, используя ES для баланса аэродинамики и дизайна. В кибербезопасности эволюционные алгоритмы нашли на 23% больше уязвимостей, чем традиционный пентестинг.

Даже гуманитарии оценили подход — ES помогли реконструировать утраченные фрагменты древних манускриптов. Алгоритм предлагал варианты, а историки выбирали наиболее правдоподобные.

Почему это не просто мода

Возрождение ES совпало с кризисом сложных нейросетей. Когда модели становятся “чёрными ящиками”, прозрачность эволюционных методов оказывается решающим преимуществом. Особенно в регулируемых отраслях вроде медицины или страхования.

Главный урок: в ИИ нет “волшебных таблеток”. Иногда решение 50-летней давности оказывается современнее последних статей на arXiv. Прогресс — это не всегда движение вперёд, иногда стоит оглянуться назад.