От моделей к данным: смена парадигмы ИИ-безопасности

Основная часть дискуссий об ИИ-безопасности традиционно сосредоточена на моделях — том, как они обучаются и контролируются. Однако по мере роста автономности систем внимание всё больше переключается на данные, от которых эти системы зависят. Если данные, питающие ИИ-систему, фрагментированы, устарели или не подвергаются надлежащему контролю, поведение системы становится всё более непредсказуемым.

Data governance становится неотъемлемой частью того, как управляются автономные системы. Denodo — одна из компаний, работающих в этом направлении, — сосредоточена на том, как организации получают доступ к данным и управляют ими из различных источников.

Проблема разрозненности: почему данные ИИ-систем ненадёжны

Автономные ИИ-системы выполняют задачи с ограниченным надзором: извлекают информацию, принимают решения на её основе и инициируют действия в бизнес-процессах. Главная сложность — такие системы зависят от непрерывного потока данных. В регулируемых отраслях непредсказуемые результаты могут создавать риски нарушения нормативных требований. В системах, работающих с клиентами, это может приводить к ошибочным решениям и некорректным ответам.

Данные часто распределены по множеству систем. Крупные организации хранят информацию в облачных платформах, внутренних базах данных и сервисах сторонних провайдеров. Это создаёт «информационные силосы», в которых разные подразделения компании работают с различными версиями одних и тех же данных.

Denodo и подход к управлению данными без их перемещения

Denodo решает эту проблему, предоставляя способ доступа к данным без необходимости перемещать их в единое хранилище. Платформа формирует унифицированное представление данных из разных источников для приложений, включая ИИ-системы. Организации могут применять единообразные политики ко всем источникам данных — правила доступа, требования комплаенса и ограничения использования определяются в одном месте.

Платформа также поддерживает подходы, позволяющие ИИ-системам запрашивать корпоративные данные через заданные структуры и политики. Система ведёт журнал всех запросов и возвращённых данных, формируя аудит-трейл. Это помогает организациям понять, как ИИ-система пришла к тому или иному решению, и поддерживает требования регуляторов. Кроме того, команды могут в реальном времени отслеживать использование данных и выявлять аномальную активность.

Governance как основа для масштабирования автономного ИИ

Если несколько ИИ-систем опираются на один и тот же управляемый уровень данных, они с большей вероятностью будут выдавать согласованные результаты, что снижает риск противоречивых ответов в разных частях бизнеса.

По мере того как автономные ИИ-системы становятся всё более распространёнными, управление применяется на нескольких уровнях. Data governance, расположенный под моделями и приложениями, помогает обеспечить надёжность входных данных для этих систем. Хорошо управляемая модель всё равно может давать плохие результаты, особенно если она опирается на некачественные данные. Сильное управление данными способствует лучшим результатам даже когда системы работают с определённой степенью автономии.

Будущее: от возможностей к управлению

Именно поэтому компании, специализирующиеся на данных, становятся частью более широкого разговора об ИИ-governance. Контролируя способ доступа к данным и их использования, они влияют на то, как автономные системы ведут себя на практике.

На мероприятии AI & Big Data Expo North America 2026 обсуждения, посвящённые ИИ, включают вопросы надзора и поведения систем. Denodo входит в число компаний, участвующих в этих дискуссиях, в частности в тематике управления данными и корпоративного ИИ. Ранние развёртывания часто фокусировались на том, что ИИ-системы могут делать. Сегодняшние обсуждения всё больше касаются того, как эти системы должны управляться после внедрения. Следующий этап внедрения ИИ, вероятно, будет зависеть меньше от новых функций моделей и больше от того, насколько хорошо организации управляют системами вокруг них. Governance — это не дополнительная опция, а необходимое условие для систем, которые должны действовать самостоятельно.