Стартап Deep Cogito привлек $43 млн в рамках раунда серии А под руководством TQ Ventures. В инвестициях также приняли участие Benchmark, Nexus Venture Partners, Atreides Management, South Park Commons и компания Zscaler. С учетом предыдущих раундов общий объем финансирования лаборатории превысил $56 млн.
Новый подход к обучению ИИ
В отличие от крупных лабораторий, которые соревнуются в создании всё более масштабных базовых моделей через пре-тренинг, Deep Cogito делает ставку на этап пост-тренинга. Если пре-тренинг дает модели широкую базу знаний, то пост-тренинг определяет её поведение, способность рассуждать, следовать инструкциям и использовать инструменты.
Основатели компании Дришан Арора и Друв Малрана, ранее работавшие над продуктами Google AI Search, считают, что именно в алгоритмах обучения после основного этапа заложен наибольший потенциал роста интеллекта. Это может стать экономически выгодной альтернативой постоянному наращиванию вычислительных мощностей и объемов данных для пре-тренинга.
Метод итеративной дистилляции
В основе исследований Deep Cogito лежит метод итеративной дистилляции и усиления (Iterated Distillation and Amplification, IDA). Суть подхода заключается в том, что модели выделяется дополнительная вычислительная мощность для поиска более сложных и точных ответов. Полученные результаты затем «дистиллируются» обратно в параметры модели, позволяя ей усваивать сложные логические цепочки и превращать их в своего рода «интуицию».
Такой подход позволяет сократить длину цепочек рассуждений при инференсе (выводе), что снижает потребление токенов, задержки и общую стоимость использования модели. Например, модель Cogito v2 с 671 млрд параметров показала цепочки рассуждений примерно на 60% короче, чем у DeepSeek R1, сохраняя при этом конкурентоспособность в тестах.
Специализация для бизнеса
Помимо разработки открытых моделей семейства Cogito, компания развивает направление корпоративного ИИ. Вместо использования универсальных моделей, бизнес может обучать специализированные системы на своих проприетарных данных и рабочих процессах. Это дает более глубокую интеграцию знаний, чем технология RAG (Retrieval-Augmented Generation), так как изменения вносятся непосредственно в веса модели.
Одним из первых клиентов и стратегических инвесторов стал разработчик облачной безопасности Zscaler. Компания использует технологии Deep Cogito для создания специализированных моделей в сфере кибербезопасности, обученных на данных конкретной организации. Привлеченные средства планируется направить на расширение штата инженеров, развитие вычислительной инфраструктуры и создание новых моделей Cogito.