Новые возможности для физического ИИ

Фронтियर физического ИИ - это игра в Дженгу в складском помещении в Сан-Леандро, Калифорния. Этот склад занимает компания Encord, которая строит инструменты для работы с данными, используемых для обучения моделей ИИ.

Эндрю Сейджа - пилот, или, как называет его компания, робот-тренер, - осторожно вынимает деревянные блоки из колеблющегося башни, надев на голову камеру, которая отслеживает, что он видит.

Это необычно для сбора данных для обучения роботов, но эта камера также включает в себя датчики, измеряющие мозговые волны, когда он осторожно разбирает башню.

Новые технологии измерения мозговых волн

Encord - одна из растущего числа компаний, которые ставят следующую реальную ограничение на humanoid и складской робототехники - это скудость реальных данных для обучения, и которая строит бизнес не только для управления данными, но и для их производства.

Камера мозговых волн, которую носит Сейджа, была разработана компанией Zander Labs, немецким стартапом по нейронаукам, который ставит на карту измерение мозговой активности - для определения психологических состояний, таких как ошибка, намерение и удивление - для создания более полезных данных для обучения моделей.

Текущая работа Encord и Zander - это пробная версия; Encord говорит, что цель - создать первоначальный набор данных мозговых волн, пройти его через модели роботов клиентов, и оценить, действительно ли это улучшает результаты, прежде чем решить, стоит ли его масштабировать.

Лукас Гехрке, нейроученый Zander, руководящий этой работой, говорит, что количество мозговой активности, используемое в любой момент во время задачи, дает подсказки для создателей моделей, пытаясь понять, когда им нужно применять свои самые сложные модели.

Ботлнекк для робототехники

Это «кровоточащая грань» усилий по решению ботлнекк для робототехники, говорит Винеэт Велмуруган, глава Encord по обучению роботов.

Ветеран OpenAI's robot lab и Berkshire Grey, фирмы по автоматизации склада, Велмуруган присоединился к Encord, чтобы построить внутреннюю команду по созданию данных.

Encord была основана для того, чтобы помочь компаниям, которые строят приложения машинного зрения, аннотировать данные и оценивать модели.

Когда их клиенты - Велмуруган говорит, что они работают с многими ведущими фирмами по робототехнике, но что он не имеет права называть их - начали применять конечное обучение к задачам манипулирования роботами, руководители поняли, что им придется производить данные сами, а не просто их управлять.

«Данные просто не существуют», - говорит Велмуруган.

Бет, что генеративный ИИ может сделать для роботов то же самое, что он сделал для чатботов, продолжает встречать эту же стену.

Компании, которые разрабатывают самоходные автомобили, собирают физические данные сами, но это сложно масштабировать.

Обучение по видео может работать, но оно не имеет той же точности, что и реальные данные.

Велмуруган говорит, что для прорыва потребуется набор данных, примерно в пять раз больше, чем видео-корпус YouTube - это масштаб, который помогает объяснить, почему создание данных стало бизнесом, а не просто проблемой исследований.

Компании, которые разрабатывают роботов, теперь обращаются к двум основным источникам: «эгоцентричному» видео, собранному работниками, которые носят камеры, часто дополненные дополнительными углами камер и другими метриками, и данным от роботов, управляемых удаленно.

Encord делает оба, собирая эгоцентричные данные из нескольких заводов по всему миру, и экспериментируя с новыми модальностями, такими как мозговые волны, или собирая наборы данных вокруг конкретных навыков для тонирования.

Когда TechCrunch посетил, пилоты использовали лидер-фоллоуер-ригги - парные роботизированные руки, одна из которых управляется напрямую человеком-оператором, а другая имитирует его движения - для создания данных о задачах, таких как заливание кофе из чашки в чашки (очень скользкое) и стэкинг карт.

«Каждая компания по humanoid-роботам просила нас о этих кусках», - говорит Велмуруган.

Хранилища держали коробки с фальшивыми цветами в вазах, книгами, пластиковыми овощами, кошачьими лотками и лопатками, мешками и пачками проводов - товары для обучения манипуляторов для домашних задач.

На одной из этих станций другой пилот, София Инфанте, управляет роботизированными руками, чтобы подключать и отключать электрические кабели от задней части сервера - работу, которую операторы центров данных хотели бы автоматизировать, если бы только роботы могли манипулировать ими с необходимой точностью.

Пройдя за штурвалом, я смог увидеть, почему это все еще за пределами досягаемости: когти роботов намного менее ловкие, чем человеческие пальцы и не имеют той же степени свободы, которую мы принимаем за данность в наших руках.

Новая модальность данных, которую разрабатывает Encord, использует набор датчиков, закрепленных на предплечье, чтобы обнаруживать электрические сигналы в мышцах.

Видео, снятые с человеческих рук, манипулирующих объектами, обычно не отражают всю руку, но Велмуруган надеется создать трехмерное представление о том, где находится рука в любой момент, на основе датчиков на предплечье, создавая более надежное понимание для моделей.

Наборы данных Encord аннотируются физическими описаниями того, что содержится в каждом видео - «правая рука сжимает болт» - для помощи моделям LLM в понимании того, что происходит.

Велмуруган оценивает, что такой плотный аннотированный набор данных будет стоить примерно 5 миллиардов долларов.