ATLAS Benchmark: почему RAG-агенты ошибаются в 30% случаев

Проблема галлюцинаций и неточностей в RAG-системах долгое время списывалась на ограниченное окно контекста или слабую логику моделей. Однако отчет Exa по ATLAS Benchmark меняет парадигму: теперь узким местом стала не интеллект агента, а способность поискового API вытягивать релевантные крупицы данных из шума. В отличие от старых тестов вроде WideSearch, где модели могли выехать на внутренней памяти с меморизацией до 60%, ATLAS требует работы с фактами, которых нет в весах моделей. Это не сработает - если поисковик выдает только заголовки без глубокого анализа содержимого страниц.

#Почему старые бенчмарки больше не работают

До 2026 года оценка агентов строилась на задачах, где ответ можно было угадать. В ATLAS уровень меморизации составляет всего 9%. Это значит, что если ваш поисковик не нашел страницу, агент гарантированно ошибется. Я сам долго бился над тем, почему модель упорно игнорирует свежие отчеты, пока не понял: она их просто не видит в выдаче.

Когда мы открываем страницы полноценным браузером, критически важно найти именно те 30% данных, которые конкуренты теряют из-за поверхностной индексации. В срезAI мы решаем эту проблему через глубокое сканирование и семантическое ранжирование. Система видит смысл, а не просто ключевые слова.

#Стоимость ошибки: Pareto frontier в 2026 году

Исследование ATLAS выявило линейную зависимость: чем больше поисковых шагов делает агент, тем выше точность, но стоимость задачи при этом взлетает до $2-5. При использовании стандартных провайдеров ни один агент дешевле $1 не смог достичь показателя F1 выше 0.5. Это создает экономический барьер для массового внедрения ИИ.

Для оптимизации мы используем подход, где JavaScript выполняется на нашей стороне. Это позволяет отдавать агенту чистый Markdown из отрисованной страницы сразу. Мы убираем лишние циклы попытка-ошибка, которые съедают бюджет на токены в LLM. В итоге p50 задержки в 976 мс позволяет строить быстрые цепочки без потери данных.

Даже самые дорогие поисковые агенты пропускают около 1/3 золотых результатов, что указывает на значительное пространство для улучшения веб-поиска в сценариях, где критична полнота.

#Как закрыть гэп в 30% с помощью срезAI

Пока западные бенчмарки соревнуются в глобальном поиске, в Рунете разрыв становится еще больше из-за специфики индексации кириллицы. Мы в срезAI занимаем второе место в мировом бенчмарке GAIA (87,3%). Наш headless-браузер обрабатывает динамический контент там, где обычные краулеры видят пустую страницу.

• Используйте answer_search с глубиной deep для синтеза ответа по 10 независимым источникам.
• Применяйте verify_claim для автоматической проверки фактов, которые агент считает сомнительными.
• Снижайте затраты: один запрос к срезAI стоит 0,10 ₽, что дешевле многошаговых агентов на базе сырых поисковиков.