ИИ в физическом мире: новая эра рисков
Автономные ИИ-системы начинают выходить за пределы программных сред и проникать в склады, логистические сети и городское пространство. Этот переход ставит острый вопрос: покрывают ли существующие правила регулирования ИИ системы, которые действуют в физическом мире? Большинство действующих рамок управления ИИ сосредоточены на онлайн-угрозах — предвзятости моделей, дезинформации и вредоносном контенте. Однако «воплощённый» ИИ (embodied AI) несёт риски в физической среде, где сбои могут затронуть инфраструктуру, имущество и безопасность людей.
По словам доктора Я-Цин Чжана, декана основанного при Университете Тунцзи Института исследований ИИ-индустрии, системы воплощённого ИИ усиливают риски, уже присущие автономному программному обеспечению. «Любой риск в цифровой области усиливается в физической среде, а физическая среда порождает физические последствия», — заявил Чжан в интервью MLlex на полях саммита. Он предупредил, что транспортные системы, дроны, логистические сети и критическая инфраструктура становятся всё более зависимыми от встроенных ИИ-систем.
Сингапур представляет фреймворк для агентного ИИ
Управление по развитию инфокоммуникаций и медиа Сингапура (IMDA) 20 мая опубликовало версию 1.5 своей Model AI Governance Framework for Agentic AI. Документ содержит рекомендации для организаций, разворачивающих ИИ-агентов, способных планировать, принимать решения и выполнять действия на нескольких этапах для достижения пользовательских целей. Фреймворк учитывает, что агенты могут взаимодействовать с инструментами, внешними системами и другими агентами — включая системы обновления баз данных, записи файлов, управления устройствами и проведения транзакций.
Среди мер управления framework называет контроль доступа, мониторинг и обязательное одобрение человеком. Организациям рекомендуется оценивать случаи использования агентного ИИ на основе доступа к данным, доступа к внешним системам, уровня автономии и сложности задач. Также учитываются масштаб и обратимость действий агента, участие третьих сторон и общая сложность системы. Фреймворк предписывает ограничивать доступ агентов к инструментам и системам, применять принцип минимальных привилегий и определять стандартные операционные процедуры для рабочих процессов агентов. Кроме того, организации должны иметь механизмы для вывода агентов из эксплуатации при сбоях.
Безопасность и надёжность: подход Grab и дискуссии на саммите
На AI-саммите в Сингапуре обсуждения робототехники и воплощённого ИИ сосредоточились на операционных вопросах безопасности, которые традиционно ассоциируются с авиацией, промышленными системами и надзором за критической инфраструктурой, а не с обычным регулированием программного обеспечения. Спикеры затронули вопрос о том, могут ли автономные системы безопасно и надёжно работать в непредсказуемых реальных условиях на протяжении длительного времени.
Grab, которая тестирует автономные автомобили и роботы-доставщики в районе Пунгол в Сингапуре, подчёркивает, что управление при развёртывании в значительной степени зависит от моделирования, тестирования и непрерывного мониторинга. «Мы проводим множество симуляций и тестов на закрытых и открытых трассах, чтобы убедиться, что наши роботы надёжны», — сказал Suthen Thomas Paradatheth, технический директор Grab, на одной из панелей саммита. — «Прежде чем масштабироваться до сотен роботов, мы должны сначала отладить систему в симуляции и на небольшом количестве роботов». Компания также указала на системы мониторинга, предназначенные для отслеживания производительности роботов и выявления непредвиденных сбоев после развёртывания. «Существует длинный хвост проблем, которые могут возникнуть», — добавил Paradatheth.
Ответственность и цепочка создания стоимости
По данным MLlex, системы воплощённого ИИ могут вовлекать множество сторон — от разработки и производства до развёртывания. К ним относятся разработчики ИИ, производители робототехники, поставщики полупроводников и операторы инфраструктуры. Ответственность становится сложнее распределить, когда системы продолжают адаптироваться после развёртывания через программные обновления, телеметрию и операционные данные.
IMDA подчёркивает, что организации и люди остаются ответственными за действия агентов, даже когда те действуют автономно. Фреймворк призывает к чёткому распределению ответственности по всей цепочке создания ценности агентного ИИ — от поставщиков моделей и платформ до разворачивающих сторон, поставщиков инструментов и конечных пользователей. IMDA также рекомендует постепенное развёртывание, непрерывный мониторинг и дополнительное тестирование после релиза, поскольку агенты динамически взаимодействуют со средой и не все риски можно предвидеть до выпуска.
Полупроводники и аппаратная база для робототехники
Applied Materials отмечает, что масштабное развёртывание робототехники тесно связано с экономикой полупроводников и интеграцией систем. Om Nalamasu, технический директор компании, заявил, что робототехнические системы будут зависеть от улучшенных датчиков, энергоэффективности, передовых технологий упаковки и вычислительных архитектур. По его словам, робототехнические системы потребуют специализированных проектных решений, адаптированных под конкретные задачи и условия эксплуатации.