Новые вызовы для регуляторов
ИИ-системы начинают выходить за пределы программного обеспечения. Теперь они работают на складах, в сетях доставки и общественных пространствах. Это создает новые риски: если ошибка в цифровой среде ведет к неверному тексту, то ошибка в физической может повредить инфраструктуру, имущество или угрожать безопасности людей.
Традиционные правила управления ИИ фокусировались на онлайн-угрозах: предвзятости, дезинформации и вредном контенте. Однако «воплощенный» ИИ (embodied AI) требует иного подхода, схожего с правилами авиации или надзором за критической инфраструктурой.
Подход Сингапура к автономным агентам
Управление медиа и развития Информационных технологий Сингапура (IMDA) представило обновленные рекомендации для работы с ИИ-агентами. Это системы, которые могут самостоятельно планировать действия, принимать решения и выполнять задачи в несколько этапов, взаимодействуя с внешними инструментами, базами данных и другими устройствами.
Регулятор предлагает оценивать сложность таких систем по уровню их автономности и возможности отмены действий. Важным элементом является ограничение прав доступа: агент должен иметь только те разрешения, которые необходимы для выполнения конкретной задачи. Также необходимо иметь механизмы для мгновенного отключения системы в случае сбоя.
Безопасность через тестирование и мониторинг
В отличие от разовой сертификации, управление автономными системами должно быть непрерывным. Эксперты на саммите в Сингапуре подчеркнули важность использования симуляций и телеметрии. Компания Grab, тестирующая роботов-доставщиков, отмечает: прежде чем масштабировать парк роботов, нужно полностью отработать сценарии в симуляции и на ограниченных участках.
Поскольку ИИ-агенты динамично взаимодействуют с окружением, не все риски можно предсказать заранее. Поэтому компании должны внедрять системы мониторинга, которые отслеживают работу роботов в реальном времени и фиксируют непредвиденные ошибки уже после запуска.
Проблема ответственности и цепочки поставок
Когда в работе системы участвуют разработчики ИИ, производители роботов, поставщики полупроводников и операторы инфраструктуры, распределить ответственность становится сложнее. Особенно это касается систем, которые продолжают обучаться и адаптироваться после запуска через обновления ПО.
Регуляторы настаивают: ответственность за действия агентов всегда несут люди или организации. Необходимо четко разграничивать обязанности на всех этапах — от создателей модели до конечных пользователей.
Человеческий контроль и риски
Несмотря на высокую автономность, человек остается ключевым звеном. Однако при масштабировании систем постоянная проверка каждого действия человека становится невозможной. Поэтому рекомендуется внедрять контроль на критических этапах: при совершении необратимых действий или при необычном поведении системы.
Существует риск «усталости от уведомлений» и чрезмерного доверия автоматике (automation bias). Чтобы этого избежать, необходимо проводить аудит эффективности контроля, отслеживая скорость реакции человека на сигналы системы и частоту ручного вмешательства.
Что это значит
Переход ИИ в физический мир требует смены парадигмы управления: от контроля контента к обеспечению операционной безопасности, непрерывному мониторингу и четкому распределению ответственности между всеми участниками технологической цепочки.