Проблемы управления ИИ в финансовом секторе
Австралийский орган пруденциального регулирования (APRA) предупредил финансовые организации о недостаточно эффективных методах управления и контроля за использованием ИИ-агентов. Это предупреждение прозвучало на фоне того, как банки и трасти пенсионных фондов активно внедряют искусственный интеллект во внутренние процессы и работу с клиентами.
В ходе проверки крупных регулируемых организаций в конце 2025 года выяснилось, что ИИ используется повсеместно, однако уровень зрелости процессов управления рисками и операционной устойчивости сильно разнится. Хотя советы директоров проявляют высокий интерес к ИИ для повышения продуктивности, многие компании всё еще находятся на этапе формирования механизмов контроля за рисками.
Недостаточный контроль и ошибки в подходах
Регулятор отметил, что советы директоров не всегда уделяют достаточно внимания рискам, связанным с непредсказуемым поведением моделей и возможными сбоями ИИ в критически важных операциях. Часто компании полагаются на презентации и краткие отчеты поставщиков, не проводя глубокого анализа.
APRA подчеркнула, что ИИ-стратегия должна соответствовать принятым в организации уровням риска и включать четкие процедуры действий в случае ошибок. Также выявлены пробелы в мониторинге поведения моделей, управлении изменениями и процессах вывода систем из эксплуатации. Регулятор рекомендует вести инвентаризацию всех инструментов ИИ и закреплять за каждым экземпляром ответственное лицо.
Новые угрозы кибербезопасности
Внедрение ИИ меняет ландшафт угроз, создавая новые пути для атак, такие как инъекции промптов (prompt injection) и небезопасные интеграции. Существующие методы управления доступом и идентификацией не всегда адаптированы к работе с нечеловеческими элементами, такими как ИИ-агенты.
Кроме того, использование ИИ для написания программного кода создает дополнительную нагрузку на процессы контроля изменений и выпуска обновлений. Регулятор рекомендует проводить обязательное тестирование безопасности кода, созданного искусственным интеллектом, и усиливать контроль за автономными рабочими процессами.
Зависимость от поставщиков и стандарты доступа
Одной из серьезных проблем стала зависимость некоторых институтов от единственного поставщика ИИ-решений. При этом лишь немногие компании смогли представить план действий на случай необходимости смены поставщика или стратегии замещения. При этом ИИ может присутствовать в цепочках поставок на более ранних этапах, о чем организации могут даже не знать.
В ответ на эти вызовы международные организации уже разрабатывают новые стандарты. Например, альянс FIDO создает технические спецификации для аутентификации агентов и совершения ими коммерческих операций, так как текущие модели авторизации рассчитаны на взаимодействие человека с системой, а не на делегированные действия программного обеспечения.
Что это значит
Финансовым организациям необходимо внедрять человеческий контроль в принятие высокорискованных решений, развивать навыки управления ИИ на уровне советов директоров и обеспечивать прозрачность цепочек поставок технологий.