Борьба с ИИ-мусором в сети

Нью-Йоркский стартап Pangram привлек 9 миллионов долларов инвестиций. Эти средства направлены на борьбу с лавиной ИИ-контента, который заполняет интернет. Инвесторами выступили Menlo Ventures, Haystack, ScOp, Script Capital и Cadenza.

Основатели компании, выпускники Стэнфорда Макс Сперо и Брэдли Эми, запустили проект два года назад. Они столкнулись с проблемой массового появления ботов, ИИ-контента для SEO и дезинформационных кампаний в социальных сетях после появления ChatGPT.

Новые технологии обнаружения

В рамках раунда компания представила модель Pangram 4. Она предназначена для распознавания текстов и способна с точностью более 99% определять материалы, созданные или отредактированные ИИ. Система также эффективно находит попытки скрыть использование нейросетей с помощью специальных программ-гуманизаторов.

Параллельно компания представила Pangram Image — инструмент для поиска ИИ-изображений. В отличие от методов OpenAI или Google DeepMind, которые полагаются на цифровые водяные знаки, Pangram анализирует распределение пикселей. Это позволяет находить ИИ-объекты, даже если они встроены в реальные фотографии.

Метод обучения модели

Технология Pangram основана на машинном обучении. Сначала модель обучали на десятках миллионов документов, написанных людьми. Затем для каждого документа создавалось «синтетическое зеркало» — копия того же текста, но написанная продвинутой языковой моделью.

Благодаря этому система выучила стилистические различия и характерные паттерны, которые свойственны нейросетям. При этом детектор не использует скрытые метаданные или водяные знаки, а опирается на анализ самого текста или изображения.

Проблема смешанного контента

Pangram фокусируется не только на полностью сгенерированных текстах. Система умеет определять степень участия ИИ в работе человека, например, когда автор использует нейросеть для редактирования или очистки текста. По мнению основателей, использование ИИ допустимо, если автор сообщает об этом.

Проблема неконтролируемого использования ИИ уже приводит к реальным последствиям. Это проявляется в ошибках политиков, использовании вымышленных цитат адвокатами и в академической среде. Например, архив arXiv ввел правила, по которым за публикацию материалов с невыверенным ИИ-контентом (например, с «галлюцинациями» или техническими комментариями от нейросети) можно получить бан на год.

Доступ к инструментам

Пользователи могут использовать Pangram через веб-интерфейс по подписке за 20 долларов в месяц или через расширение для Chrome. Расширение позволяет в реальном времени помечать посты в таких соцсетях и сервисах, как X, LinkedIn, Substack, Reddit и Medium.

Инструмент также предоставляет «оценку здоровья ленты» (feed health score), которая показывает процентное соотношение человеческого и ИИ-контента на экране пользователя.

Что это значит

Развитие технологий обнаружения необходимо для того, чтобы человеческий контент не был полностью вытеснен бесконечно растущим объемом ИИ-генерации.