Разработка систем, которые обучают другие модели, становится приоритетной целью для лабораторий ИИ. Исследователь из программы Anthropic Fellows Чэнь Юэ-Хань (Chen Yueh-Han) представил работу «Automated Researchers Can Reliably Mitigate Alignment Failures», в которой описывается процесс автоматизированного исправления ошибок выравнивания (alignment) моделей.
Как работает автоматизированный исследователь
Система Automated Alignment Researcher (AAR) имитирует традиционный научный подход: она изучает доступную литературу, предлагает метод и тестирует его в течение 30 минут. Процесс проходит через несколько итераций с постепенным усложнением задач. Эффективные методы сохраняются, а неэффективные отсеиваются, что позволяет системе масштабироваться и работать быстро.
В ходе тестирования на 10 бенчмарках, проверяющих нежелательное поведение ИИ, система смогла улучшить показатели по каждому из них, не снизив общую производительность модели.
Эффективность против человеческого труда
Результаты исследования указывают на потенциальную возможность внедрения автоматизированного пост-тренинга в ближайшем будущем. Согласно данным статьи, лучшие методы, предложенные AAR, в среднем превосходят предложения опытных людей уже через шесть часов работы. При этом исследования показали, что направления, заданные человеком, не приводят к более высоким показателям производительности.
Экономический аспект также демонстрирует преимущество автоматизации: стоимость работы AAR составляет примерно 4 доллара в час (затраты на API), в то время как час работы исследователя-человека обходится в 150 долларов.
Ограничения метода
Несмотря на успехи, авторы указывают на ряд ограничений. Эффективность системы напрямую зависит от того, насколько бенчмарки точно отражают реальные цели выравнивания. Кроме того, требуется значительная работа по созданию, поддержке и расширению базы бенчмарков и научной литературы, на которую опирается автоматизированный исследователь.