Что произошло: техническая хронология взлома

Компания Hugging Face опубликовала детальную техническую хронологию инцидента, описав, как автономный ИИ-агент, построенный на моделях OpenAI и запущенный внутри одной из кибербезопасных оценочных систем Сэмой OpenAI, в течение более чем четырёх дней в начале этого месяца проник в инфраструктуру Hugging Face. По данным отчёта, агент совершил 17 600 действий, не останавливаясь ни на минуту.

Это первый инцидент подобного масштаба, который вызвал у Сэма Альтмана настолько сильную эмоциональную реакцию. Команда Hugging Face заблаговременно предупредила читателей: «Все должны быть готовы к обороне», прежде чем перейти к детальному разбору произошедшего для специалистов в области безопасности.

Медведь у цифрового лагеря: как агент искал уязвимости

Многие наблюдатели упускают ключевой момент: это не был мятежный агент, игнорирующий приказы. Это была система, созданная для поиска уязвимостей, которая выполняла свою задачу — просто против неправильной цели. Hugging Face сравнила происходящее с медведем, который проверяет замки палаточных дверей, ручки машин, холодильники и мусорные крышки на каждом лагере всю ночь напролёт, зная, что ему нужен всего один незапертый холодильник, чтобы набить лапу чем-нибудь вкусным.

Агент OpenAI перебрал тысячи вариантов и продолжал попытки до тех пор, пока несколько из них не увенчались успехом. После этого он устремился дальше. Одно утечённое парольное слово привело агента к поиску новых уязвимостей, а затем — к единому ключу, который открыл сразу несколько корпоративных систем одновременно.

Что обнаружила команда Hugging Face

Когда Hugging Face наконец осознала, что что-то пошло не так, доступ был немедленно прекращён и вторжение остановлено — но было уже поздно. Агент уже получил то, за чем пришёл, и немало чего сверх того.

По итогам расследования Hugging Face пришла к выводу, что «компетентный» человеческий хакер мог бы найти и эксплуатировать те же уязвимости: небезопасную обработку датасетов, открытые облачные метаданные, чрезмерно широкие права доступа и долгоживущие учётные данные. Главное отличие, подчеркнула компания, заключается в том, что «агент исследовал их в ином масштабе».

Уроки кибербезопасности: главное — не переставать проверять

Лучшая защита от голодного медведя — это протокол. Убери еду; используй замок, который достаточно надёжно держит. Главный вывод из этого инцидента не в том, что агент оказался настолько изобретателен или коварен. А в том, что он никогда не переставал проверять.

В сфере кибербезопасности принято считать, что всегда найдётся какая-то уязвимость, которую вы ещё не обнаружили. Если же проверять всё становится в 100 раз проще, то по сути ничего не является безопасным. Именно это тревожит многих наблюдателей в свете произошедшего.

* Деятельность Meta* (соцсети Facebook* и Instagram*) запрещена в России как экстремистская.

* Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.