Parallel for Finance: разбор таблицы цены и точности

#Как считали цену и точность

FinSearchComp - это набор из 635 вопросов, которые написали 70 финансовых экспертов. Они воспроизводили работу аналитика по глобальным рынкам и рынкам Большого Китая. T3 - тир сложных исторических расследований, самый трудный в наборе; результат считается по 172 оценённым вопросам.

CPM считают в долларах за 1000 вопросов end-to-end. В сумму входят токены модели-ответчика, поиск и чтение страниц по прайсу провайдера.

Все поисковые API работали в одном цикле агента, вопросы и LLM-судья были общими. Переменной остаётся только поисковый слой. Parallel Advanced, Exa Auto, OpenAI native search, Perplexity Finance + Web и Tavily отвечали моделью GPT-6 Sol с reasoning high, Parallel Fast - GPT-6 Luna. Оценки - усреднение трёх прогонов, у Tavily - один. Замеры сделаны 22 октября 2026 года, у Tavily - 28 октября.

#Таблица FinSearchComp T3: кто точнее и кто дешевле

#Сколько стоит правильный ответ

Делим CPM на долю верных ответов и получаем цену правильного ответа. У Parallel Fast это 15,2 / 0,537 ≈ 0,028 доллара, около 2,8 цента; у Tavily - 481,8 / 0,43 ≈ 1,12 доллара. Разница в точности между ними 10,7 процентного пункта, в цене верного ответа - примерно 40 раз.

Точность без цены обманывает.

Абсолютного превосходства при этом нет. На FrontierFinance Exa Auto набирает 47,2 % против 46,8 % у Parallel Advanced. Условия там другие: 220 запросов по инвестиционному циклу, оценка панелью из трёх судей, бюджет 20 вызовов инструментов на вопрос.

На длинных исследовательских ответах Exa доступ Parallel по точности и проигрывает по цене. Это тот случай, когда таблица показывает реальную развилку. Свои расходы считайте по тарифам: в срезAI один вызов стоит 0,10 ₽ независимо от числа результатов, а фактический расход видно в отчёте MCP-сервера.

#Что делать с раскрытиями российских эмитентов

Ни одного российского эмитента, ни одной формы раскрытия ЦБ РФ и ни одного реестрового источника в методологии FinSearchComp нет: вопросы собраны по рынкам США, Европы, Большого Китая и Азиатско-Тихоокеанского региона. Свой замер - единственный способ понять, значат ли эти цифры что-то для вашего агента.

Соберите 15-20 вопросов трёх типов: факт из раскрытия эмитента (дата события, сумма сделки), данные реестрового источника (кто владелец, когда менялся состав), цифра из отчётности (выручка за период, размер дивиденда). Эталонный ответ берите из первоисточника, вручную. Выдаче поисковика здесь доверять нельзя.

Когда я делал такой набор по раскрытиям, дольше всего занял поиск машиночитаемой версии документа. Разметка ответов пошла быстрее. Часть событий лежит в PDF, который открывается только отрендеренной страницей.

import os
import requests H = { 'Authorization': f"Bearer {os.environ['SREZAI_API_KEY']}", 'Content-Type': 'application/json',
} # Шаг 1: находим страницу с раскрытием эмитента
search = requests.post( 'https://srezai.ru/api/v1/search', headers=H, json={'query': 'раскрытие существенного факта эмитент 2026', 'num': 5},
).json() # Шаг 2: забираем только нужные поля, не весь текст страницы
schema = { 'issuer': 'string', 'event_date': 'string', 'event_type': 'string', 'amount_rub': 'number?',
}
fact = requests.post( 'https://srezai.ru/api/v1/extract', headers=H, json={'url': search['results'][0]['url'], 'schema': schema},
).json()
print(fact)

Схема extract возвращает объект без текста страницы: контекст агента не разрастается, расход остаётся на уровне двух вызовов. Спорные утверждения сверяйте с первоисточником. Остальные режимы описаны в документации.

#Ограничения, о которых таблица молчит

Три оговорки, без которых числа читаются неправильно. OpenAI native search получил 64,0 % до поправки. Ответы, совпавшие с опубликованными копиями набора, засчитали неверными, и только после этого вышло 48,3 %. У Tavily единственный замер, у остальных - три. Бенчмарки запускала сама Parallel, независимого измерения в отчёте нет.

Не сработает, если ваш агент ищет факты про российских эмитентов: ни Parallel, ни Exa, ни Perplexity не дают гарантии по локальным раскрытиям, а таблица этого не измеряет вовсе. Второй слой под такие задачи придётся проверять самому - на своих вопросах и своих источниках.