Обвинения в краже технологий

Советник Белого дома по науке Майкл Крациос заявил, что компания Moonshot, создавшая Kimi K3 — крупнейшую доступную модель с открытыми весами, — копировала модель Fable от Anthropic. По словам Крациоса, при этом использовались чипы, экспорт которых в Китай запрещен. Он назвал подобные действия скрытым промышленным шпионажем, направленным на подрыв американских исследований.

Министр финансов Скотт Бессент также отметил, что в китайских моделях находят «водяные знаки» американских нейросетей. Точный характер этих меток пока не раскрывается, но власти США рассматривают возможность запрета китайских моделей с открытыми весами.

Скепсис экспертов относительно дистилляции

Дистилляция — это процесс, при котором одна модель обучается на ответах другой, чтобы скопировать ее возможности. Однако специалисты сомневаются, что именно этот метод помог создать Kimi K3. Брэден Хэнкок из Laude Institute отмечает, что модель Fable от Anthropic появилась на рынке только в начале июля. За две недели невозможно успеть собрать данные через дистилляцию, обучить новую модель и выпустить ее в свет.

Исследователь Нейтан Ламбер полагает, что роль дистилляции снижается по мере усложнения моделей. Для достижения уровня Kimi K3 недостаточно простого дообучения на готовых данных. Для этого требуются более сложные методы, такие как обучение с подкреплением, где одна модель оценивает ответы другой.

Сложность процесса обучения

Методы, позволяющие достичь высокой производительности, требуют огромных вычислительных мощностей. Например, масштабные циклы обучения с подкреплением могут задействовать десятки миллионов агентов. Использование API сторонних компаний для таких целей было бы слишком дорогим и медленным процессом, который вряд ли даст нужный прирост качества.

Ранее Anthropic уже обвиняла китайские компании в систематическом использовании своих моделей для извлечения данных. Компания заявляла, что обнаружила миллионы запросов, которые не были похожи на обычное использование и были направлены на целенаправленное копирование способностей нейросети.

Проблема доступа к оборудованию

Помимо вопросов копирования программного обеспечения, звучат обвинения в обходе санкций на поставку оборудования. Речь идет о получении передовых чипов Nvidia, таких как Grace Blackwell 300, которые запрещены к экспорту в Китай. Существует черный рынок, через который компании могут получать доступ к современным серверам.

Эксперты указывают на необходимость ужесточения контроля за дата-центрами. В США уже предлагались правила, обязывающие проверять, кто именно использует передовое оборудование для масштабных вычислений, чтобы предотвратить нецелевое использование технологий.

Что это значит

Несмотря на обвинения в копировании, эксперты указывают на высокий уровень компетенций китайских инженеров. Существует мнение, что прогресс китайских моделей обусловлен не только использованием чужих данных, но и реальными научными разработками, которые продолжат развиваться даже при ограничении доступа к американским технологиям.