Новый подход к работе ИИ-агентов

Meta* представила модель Muse Glimmer с 30 миллиардами параметров. Главная особенность новинки — возможность запускать её локально на потребительских видеокартах. Это решает проблему зависимости от облачных сервисов, которые требуют постоянного интернет-соединения и централизованной инфраструктуры.

Локальный запуск позволяет создавать персональных ИИ-агентов, имеющих доступ к частным данным пользователя: сообщениям, файлам и расписанию, не передавая их в облако.

Возможности и функционал

Разработчики могут использовать Muse Glimmer для написания кода, вызова функций и создания локальных агентов. Модель также подходит для оценки качества работы других языковых моделей.

Одной из важных функций является способность воспринимать не только текст, но и изображения. Благодаря специальному кодировщику восприятия, агенты могут анализировать скриншоты, графики и документы в рамках диалога.

Результаты тестирования

В тестах на способности агентов выполнять многошаговые задачи Muse Glimmer показала высокие результаты, обойдя модели Gemma4-31B и Qwen3.6-27B в ряде бенчмарков, таких как MCP Atlas и DeepSearch QA. В задачах по программированию модель также продемонстрировала конкурентоспособность, показав лучший результат в тесте SWE-Bench Pro.

Однако в некоторых тестах, ориентированных на специфические задачи, лидировали другие модели. Например, Qwen3.6-27B показала лучшие результаты в тестах SkillsBench и OSWorld-Verified. Это говорит о том, что ни одна модель не является универсальным лидером во всех областях.

Технические особенности и оптимизация

Для работы на домашнем оборудовании Meta* применила метод квантования (снижения точности весов). Это позволило уменьшить объем занимаемой памяти с 55 ГБ до менее чем 20 ГБ, что делает модель пригодной для видеокарт с 24 или 32 ГБ памяти.

Для ускорения генерации текста используется технология DFlash. Она позволяет модели предлагать целые блоки токенов для проверки параллельно, что делает общение с агентом более плавным и быстрым по сравнению со стандартным посимвольным выводом.

Что это значит

Выпуск Muse Glimmer открывает возможности для создания приватных и быстрых ИИ-помощников, работающих прямо на устройствах пользователей без необходимости подключения к интернету.

* Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.