Старые тесты вроде BrowseComp или WideSearch страдают от одной проблемы: модели уже видели ответы в обучающей выборке. По данным блога Exa, уровень меморизации в DeepSearchQA достигает 61%, тогда как в ATLAS этот показатель составляет всего 9%. Это заставляет агента открывать страницы браузером, а не выдавать заученные факты.
Что такое row F1 и почему его сложно набрать
Метрика row F1 в ATLAS оценивает полноту всей строки данных. Если нужно найти 10 характеристик для 20 компаний, пропуск одной детали в строке обнуляет результат по этой позиции. Это имитирует работу аналитика, которому нужен полный список конкурентов, а не пара случайных примеров из выдачи.
| Бенчмарк | Запоминание (Memorization) | Сложность задач | Гарнитура |
|---|---|---|---|
| BrowseComp | 48% | Низкая (Single-hop) | Scout |
| DeepSearchQA | 61% | Средняя | Нейтральная |
| ATLAS | 9% | Высокая (10+ сущностей) | Scout harness |
Результаты: цена против качества
Экономия на поисковых запросах приводит к потере половины критически важной информации. Ни один агент стоимостью менее $1 за задачу не преодолел порог в 0,5 row F1. Даже дорогие системы на базе GPT-6 Astra с сотнями итераций упускают около 1/3 целевых результатов.
Протестируйте полноту поиска в Рунете: глубокая индексация и чистый Markdown для ваших агентов.
Попробовать срезAI бесплатноПочему западные API пасуют в Рунете
Бенчмарк ATLAS построен на англоязычных данных. При попытке собрать список ИТ-компаний с лицензией ФСТЭК в Приволжье западные API часто выдают пустой результат. В таких задачах срезAI выигрывает за счет локальной индексации. Headless-браузер вытягивает динамический контент с российских госпорталов, что критично для наполнения CRM-систем.
Comprehensive search at a reasonable cost is far from solved. Even the most expensive search agents miss about 1/3 of the golden results.
Как оптимизировать бюджет на поиск
Чтобы не тратить $10 на одну задачу, разработчики внедряют жесткую фильтрацию. В срезAI инструмент extract забирает только нужные поля и экономит токены. Я долго мучился с тем, что без разметки схемы данных агент начинает придумывать детали, которых нет в источнике. Это не сработает - если вы не используете JSON-схемы для контроля структуры ответа.
Почему агенты упускают 33% данных даже при высоком бюджете?
Сказываются ограничения поисковых индексов и ошибки при синтезе ответов из множества источников. Модель часто игнорирует найденные данные из-за перегрузки контекстного окна.
Можно ли использовать ATLAS для тестирования моделей на русском языке?
Да, методология применима к любому региону.
Что такое Scout harness?
Программная среда для запуска агента, которая позволяет сравнивать именно качество выдачи API без влияния сторонних оптимизаций кода.
Какая модель показала лучший результат в ATLAS?
Лидируют связки Exa Agent с GPT-6 Astra, но стоимость их работы превышает $2-5 за одну сложную задачу.
Свой веб-доступ для агента: поиск, чтение страниц и извлечение данных по одному ключу.
