Проблема «защитных барьеров»
Разработчики крупнейших ИИ-компаний создают специальные программы и жесткие ограничения (guardrails), чтобы не позволить злоумышленникам использовать свои модели для кибератак. Однако эти меры начинают мешать работе легальных специалистов по защите сетей и исследователей кибербезопасности.
Примером такого давления стали экспортные ограничения правительства США на модели Mythos и Fable от компании Anthropic. Это произошло после сообщений о том, что защитные механизмы моделей можно обойти для создания вредоносных атак. В итоге доступ к некоторым моделям был ограничен или переведен в режим проверки только для проверенных организаций.
Программы специального доступа
Anthropic и OpenAI предлагают исследователям кибербезопасности специальные программы. Те, кто проходит проверку, получают доступ к моделям с меньшим количеством ограничений. Однако такая система вызывает критику у специалистов, чья задача — находить неизвестные уязвимости в системах до того, как ими воспользуются преступники.
Исследователи отмечают, что крупные корпорации фактически принимают произвольные решения о том, что является безопасным, а что нет. Это создает сложности для тех, кто занимается поиском «zero-day» — ранее неизвестных программных ошибок, которые крайне востребованы в сфере безопасности.
Инструмент как оружие
Специалисты по безопасности подчеркивают, что ИИ — это универсальный инструмент. Например, просьба «исправить этот код» может быть как методом защиты, так и способом составить дорожную карту для поиска критических уязвимостей. В итоге одна и та же технология одновременно является и инструментом защиты, и инструментом нападения.
Из-за того, что ИИ-модели часто отказываются отвечать на вопросы, связанные с поиском уязвимостей, исследователи тратят время на «переговоры» с нейросетью вместо основной работы. Это снижает эффективность анализа и заставляет специалистов искать альтернативные пути.
Переход на открытый код
Столкнувшись с жесткими ограничениями коммерческих моделей, многие исследователи переходят на модели с открытым исходным кодом. Такие модели можно запускать локально, и они не имеют встроенных фильтров, которые блокируют работу специалиста.
Кроме того, использование облачных ИИ-моделей несет риски утечки конфиденциальных данных об уязвимостях. Чтобы избежать попадания секретной информации в обучающие выборки нейросетей, профессионалы предпочитают использовать локальные решения, которые не передают данные во внешние сети.
Риски для индустрии
Эксперты предупреждают: если разработчики не сделают доступ к мощным моделям более гибким и ответственным, защитники могут проиграть в гонке вооружений. Существует риск, что ответственные исследователи будут вынуждены уходить от использования американских систем к иностранным моделям с открытым кодом, которые не имеют ограничений на использование.
Что это значит
Строгие ограничения в коммерческих ИИ-моделях мешают специалистам по кибербезопасности эффективно искать уязвимости, что может замедлить процесс защиты систем перед лицом масштабных кибератак.