Что такое ZML/LLMD и зачем он нужен

Французский ИИ-стартап ZML выпустил ZML/LLMD — инференс-сервер нового поколения, который позволяет запускать открытые большие языковые модели на самых разных аппаратных платформах. По словам основателя компании Стива Морена (Steeve Morin), ZML/LLMD призван разрушить существующие информационные «силосы» и сделать так, чтобы различные чипы работали с ИИ-задачами на максимальной доступной скорости — а иногда и быстрее.

По мере того как искусственный интеллект всё глубже интегрируется в рабочие процессы и повседневную жизнь, оптимизация инференса — обработки запросов — обгоняет по значимости обучение моделей. Однако за кулисами эта область по-прежнему страдает от программных и архитектурных барьеров, ведущих к привязке к конкретному вендору (vendor lock-in). ZML надеется изменить эту ситуацию, предложив предприятиям и облачным провайдерам возможность комбинировать чипы, часть из которых может быть дешевле или потреблять меньше энергии.

Кроссплатформенность: работа на чипах NVIDIA, AMD, Google, Apple и Intel

Ключевое преимущество ZML/LLMD — поддержка широкого спектра аппаратных платформ. Продукт совместим с решениями NVIDIA, AMD, Google TPU, Apple Metal и Intel Arc. Такая кроссплатформенность — технологическое достижение, которое одновременно может стать рыночным деструктором на фоне растущих опасений по поводу стоимости ИИ-инфраструктуры.

Морен подчеркнул, что ZML стремится вернуть компаниям возможность самостоятельно создавать свои системы и достигать реальной эффективности, позволяющей шире распространять технологии ИИ. «Идея — дать людям возможность создавать собственные системы и достигать реальных выигрышей в эффективности, которые позволят [ИИ] распространяться», — цитирует Морена TechCrunch.

Конкуренция и финансирование

На рынке инференс-решений ZML уже сталкивается с серьёзными конкурентами. Среди них — Baseten, недавно оценённый в $13 млрд; Inferact, созданный командой open-source проекта vLLM; а также RadixArk — коммерческая компания за SGLang. И vLLM, и SGLang частично конкурируют с LLMD, однако амбиции Морена охватывают более широкий спектр задач.

Стартап привлёк $20 млн от венчурных фондов, включая 20VC Гарри Стеббинга, >commit, AALVC, Drysdale Ventures, Kima Ventures Ксавье Неля, Kindred Capital, LocalGlobe и Puzzle Ventures. Морен также отметил, что ZML поддерживает хорошие отношения с NVIDIA, которая активно готовится к росту спроса на инференс — направление, которое уже окрестили «золотой лихорадкой инференса».

Европейская экосистема и перспективы

Морен убеждён, что программная поддержка ZML может помочь европейским производителям ИИ-чипов, среди которых названы Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud и VSORA. Для него важнее не их географическое происхождение, а возможность работать над тем, «чего раньше нигде в мире не делали».

Несмотря на амбициозные планы, Морен не враждебен к NVIDIA — в том числе из-за её существующих поставок. Команда ZML насчитывает всего 20 человек в Париже, но именно компактность позволяет стартапу двигаться быстро, с планами по новым релизам. Стоит отметить, что ZML/LLMD не является open source, однако запускается как бесплатный продукт с целью изучения паттернов использования. «Я предпочитаю сначала измерять, а затем генерировать выручку там, где это наиболее эффективно, не мешая своему росту из-за чрезмерной жадности с самого начала», — пояснил Морен.

Пока рано говорить, когда ZML/LLMD станет платным продуктом и каким будет его принятие. Однако список инвесторов и партнёров говорит сам за себя: среди них основатель Dagger и Docker Соломон Хайкс, Клем Деланж и Жюльен Шомон из Hugging Face, а также Ян Лекун, ныне работающий в AMI Labs. Этот факт укрепляет аргумент о том, что европейские ИИ-стартапы способны строить глобальные компании из дома. «Я не мог создать ZML нигде, кроме как в Париже», — резюмировал Морен.