Новый масштаб в открытом доступе

Компания Moonshot AI представила Kimi K3 — масштабную модель с 2,8 триллионами параметров. Это переводит её в категорию моделей класса 3T, в которую ранее не входила ни одна модель с открытыми весами.

Разработчики создали архитектуру, которая позволяет эффективно работать в условиях ограничений на поставку высокопроизводительных чипов. Вместо того чтобы пытаться компенсировать нехватку вычислительной мощности, компания сосредоточилась на оптимизации использования памяти.

Архитектурные хитрости

Для снижения нагрузки на процессоры в K3 используется метод Mixture-of-Experts (смесь экспертов). Вместо запуска всей модели целиком для генерации каждого слова, система активирует лишь 16 специализированных секций из 896 доступных. Это резко снижает объем необходимых вычислений, хотя объем требуемой памяти остается прежним, так как все параметры должны быть постоянно доступны.

Еще одно решение — квантование (снижение точности). K3 обучалась работать с точностью 4 бита на параметр вместо стандартных 16. Это позволяет сократить объем занимаемой памяти с 5,6 ТБ до примерно 1,4 ТБ, обеспечивая при этом совместимость с широким спектром оборудования.

Работа с длинными текстами

При обработке документов объемом до миллиона токенов основной нагрузкой становится не сама модель, а хранилище накопленной информации. Для решения этой задачи в K3 применена технология Kimi Delta Attention, которая ускоряет декодирование в несколько раз.

Для эффективного запуска модели Moonshot рекомендует объединять в единый пул не менее 64 ускорителей. Такой подход позволяет собирать необходимый объем памяти из множества отдельных чипов, что критически важно в условиях дефицита передовых вычислительных мощностей.

Рыночные перспективы и возможности

Kimi K3 ориентирована на корпоративный сектор, где важны контроль над данными и локальное размещение моделей. Однако из-за огромных требований к памяти для запуска модели требуется инфраструктура уровня дата-центра, а не отдельного сервера.

Несмотря на высокие показатели в некоторых тестах, разработчики признают, что K3 пока уступает лидерам рынка, таким как Claude Fable 5 и GPT 5.6 Sol, в качестве генерации и удобстве использования. Также стоит учитывать, что стандартные инструменты для запуска моделей еще не полностью поддерживают новые архитектурные решения K3.

Что это значит

Выход Kimi K3 демонстрирует новый вектор развития китайских ИИ-лабораторий: переход от погони за вычислительной мощностью к оптимизации использования памяти. Это позволяет создавать сверхкрупные модели даже при ограниченном доступе к передовым чипам.