Проблема «уверенной лжи»

Типичный RAG из обучающих материалов часто работает некорректно, но незаметно для пользователя. При тестировании базовой схемы (фиксированные чанки по 500 токенов и стандартный эмбеддер) на корпусе из 46 000 фрагментов античной истории выяснилось, что recall@5 составляет всего 35,2%. Это означает, что в двух случаях из трех нужный фрагмент даже не попадает в контекст модели. Самая опасная ловушка заключается в том, что LLM продолжает отвечать уверенно и гладко, даже если информации в найденных фрагментах нет. Без системы метрик невозможно отличить качественный ответ от правдоподобной выдумки.

Тестовый набор как главный инструмент

Единственный способ контролировать качество RAG — создать собственный тестовый набор. Он должен включать 30–50 реальных вопросов по вашему корпусу с зафиксированными ответами, а также 5–10 «ловушек» — вопросов, на которые в данных ответа нет. Это позволяет измерять два ключевых параметра: извлечение (попадает ли нужный фрагмент в топ-k результатов) и генерацию (насколько ответ обоснован найденными данными и умеет ли модель отказываться от ответа, когда информации недостаточно).

Что действительно влияет на результат

Практика показывает, что многие популярные приемы не дают результата без проверки на конкретных данных. Например, гибридный поиск (BM25 + векторы) на тестовом наборе автора оказался идентичен обычному векторному поиску. В то же время другие изменения дают колоссальный эффект:

  • Замена эмбеддера: переход от BGE-M3 к qwen3-embedding-8b поднял recall@5 с 35% до 53%, особенно эффективно решив проблему синонимов.
  • Обогащение чанков: добавление контекста (название книги, главы) в начало каждого фрагмента привело к росту recall@5 на 18,2 пункта в сложных категориях.
  • Модель-генератор: смена LLM может радикально изменить способность системы честно отказываться от ответов на вопросы вне корпуса.

В то время как реранкинг и гибридный поиск могут лишь незначительно улучшить показатели, увеличивая при этом задержку и стоимость, правильная работа с контекстом и выбор сильного эмбеддера являются критически важными для успеха системы.