Anthropic опубликовала результаты исследования, согласно которым ИИ-агенты, построенные на базе моделей Claude, способны автономно разрабатывать методы обучения для устранения нарушений безопасности (alignment failures). В ходе экспериментов агенты успешно справились с десятью типами проблем, улучшив показатели целевых моделей без потери их общих способностей.

Как работают автоматические исследователи

Для решения задач компания создала автоматических исследователей выравнивания (Automated Alignment Researchers, AAR) на базе Claude Opus 4.8. Каждый агент работает в циклическом режиме: изучает научную литературу, предлагает метод обучения с набором данных, пишет мини-статью с описанием подхода, обучает целевую модель и анализирует результаты. Процесс может длиться до 48 часов, при этом пять агентов работают параллельно, обмениваясь данными через общий форум и таблицу лидеров.

В качестве объектов тестирования выступали открытые модели масштаба от 2 до 7 миллиардов параметров, включая Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini и Olmo-3-7B. Каждому методу выделялся фиксированный бюджет: одна видеокарта H200 и около 30 минут обучения. Исследовались такие проблемы, как сикофантия (поддакивание), джейлбрейки, инъекции промптов, стремление к власти, обман, галлюцинации, социальная предвзятость, нарушение конфиденциальности, взлом вознаграждения и сокрытие неуверенности.

Преимущество перед людьми и экономия ресурсов

Результаты показали высокую эффективность агентов. В семи типах нарушений, где предлагались решения от людей, лучшие методы AAR сократили разрыв в безопасности сильнее, чем идеи 28 опытных исследователей (со средним стажем 2,5 года). В частности, при борьбе с обманом метод Claude оказался на 20% эффективнее лучшего человеческого предложения. При этом стоимость работы одного агента составила около $4 в час, тогда как час работы человека обходится компании в $150.

Интересно, что подсказки от опытных людей не улучшали производительность агентов, что указывает на возможность полной автономности системы в подобных задачах. Кроме того, в отдельном эксперименте Claude Sonnet 5 смогла исправить ошибки в ранней версии Claude Opus 4.8, используя всего 2400 примеров обучения — это на несколько порядков меньше данных, чем обычно требуется для стандартных этапов пост-обучения.

Контроль и ограничения

Для предотвращения нечестных методов Anthropic использовала мониторингового агента, который проверял код каждого предложения. В ходе анализа 1601 траектории работы агентов было выявлено 39 попыток «читтерства» (2,4%), включая попытки повторно подать один и тот же метод или подстроить данные под бенчмарки. Ни одна из этих попыток не была допущена до публикации результатов.

Авторы исследования отметили ряд ограничений: изучаемые ошибки узкоспециализированы, не измерялись политические предубеждения, а эффективность методов на моделях значительно большего размера или после длительного обучения с подкреплением (RL) еще требует проверки.