Проверка утверждения

Когда использовать

• Перед тем как выдать пользователю дату, число, цену, статус - всё, что модель может «вспомнить» неверно.
• Проверить утверждение, пришедшее извне: из письма, тикета, чужого текста, ответа другой модели.
• Понять, есть ли по вопросу консенсус: расхождение источников - самостоятельный, полезный ответ.
• Убедиться, что факт не устарел, - с timeRange проверка пойдёт только по свежим страницам.

Не для этого: развёрнутый разбор темы с выводами - это DeepResearch; нужны конкретные значения с известной страницы - извлечение по схеме; нужен просто список ссылок - веб-поиск. Проверка отвечает на закрытый вопрос «так это или нет», а не на открытый «расскажи про».

Пример запроса

curl -X POST https://srezai.ru/api/v1/verify \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer srz_live_ВАШ_КЛЮЧ" \
  -d '{
    "claim": "GPT-4 вышла в марте 2023 года",
    "maxSources": 4
  }'

Параметры тела

Батч-режима здесь нет намеренно, в отличие от чтения и извлечения: одна проверка - это уже поиск, до пяти чтений и вызов модели. Несколько утверждений - несколько запросов, их можно вести параллельно с оглядкой на burst-лимит.

Как устроена проверка

1. Поиск. По тексту утверждения (или по query) - до 20 результатов.
2. Отбор. Берём по одной ссылке с домена: три статьи на одном сайте - это один голос, а не три, и бюджет чтения они тратят полностью.
3. Чтение. Выбранные страницы читаются параллельно, по 6000 символов с каждой, с потолком 18 секунд на страницу. К отобранным адресам добавляется небольшой запас кандидатов: если сайт не открылся, слот не теряется - вместо него читается следующий по классу источник из выдачи, и только когда запас исчерпан, неоткрывшийся адрес получает повторную попытку с более щедрым сроком. Считать вердикт по случайно уцелевшей половине выдачи - не проверка. Что именно не удалось прочитать и почему, видно в meta.sourcesUnread и meta.unreadSources, это попадает в caveats, а при вердикте unverified - ещё и в саму строку вердикта: неполная проверка и «источники прочитаны и молчат» - разные факты.
4. Вердикт. Модель получает только тексты источников и обязана опираться исключительно на них: если данных в текстах нет, вердикт - unverified, а не догадка по общим знаниям.
5. Сверка цитат. Каждая цитата ищется в тексте той страницы, на которую сослалась модель. Не найденная выбрасывается вместе с доводом, счётчик уходит в meta.quotesRejected, а уверенность понижается пропорционально потерям. Затем проверяется предмет: если в тексте страницы нет ни имени, ни домена из утверждения, цитата отбрасывается как не относящаяся к делу (meta.quotesOffSubject) - страница про похожую, но чужую организацию не подтверждает и не опровергает утверждение, как бы ни была похожа фраза.
6. Согласование. Вердикт приводится в соответствие с выжившими цитатами - см. Вердикт и уверенность.

Ответ

{
  "claim": "GPT-4 вышла в марте 2023 года",
  "verdict": "supported",
  "confidence": 0.86,
  "agreeing": 3,
  "disagreeing": 0,
  "evidence": [
    {
      "url": "https://en.wikipedia.org/wiki/GPT-4",
      "title": "GPT-4 - Wikipedia",
      "source": "en.wikipedia.org",
      "tier": "reference",
      "quote": "GPT-4 was released on March 14, 2023",
      "stance": "supports",
      "note": "прямое указание даты релиза"
    },
    {
      "url": "https://openai.com/index/gpt-4-research/",
      "title": "GPT-4",
      "source": "openai.com",
      "tier": "unknown",
      "quote": "March 14, 2023",
      "stance": "supports",
      "note": "дата публикации анонса на сайте разработчика"
    }
  ],
  "caveats": [
    "Речь о публичном релизе модели, а не о доступности через API всем пользователям."
  ],
  "meta": {
    "tookMs": 24180,
    "sourcesFound": 11,
    "sourcesPicked": 4,
    "sourcesRead": 4,
    "sourcesUnread": 0,
    "unreadSources": [],
    "quotesRejected": 1,
    "quotesOffSubject": 0,
    "independentDomains": 3,
    "independentSources": 2,
    "mirrors": 1,
    "model": "gemini-3-flash-lite",
    "inputTokens": 21460,
    "outputTokens": 312
  }
}

Поля ответа

Вердикт и уверенность

• supported - источники подтверждают утверждение.
• refuted - источники его опровергают.
• mixed - источники расходятся между собой. Если есть и подтверждающие, и опровергающие цитаты, вердикт становится mixed, даже когда модель выбрала сторону: агенту нужен сам факт разногласия, а confidence при этом не превышает 0.5.
• unverified - в прочитанных текстах нет данных по существу утверждения, либо ни одна цитата не подтвердилась.

Последние два - нормальный результат, а не ошибка. HTTP-статус остаётся 200, повторять запрос бессмысленно: источников по такому утверждению нет. Осмысленный следующий шаг - сузить формулировку или задать query, а не звать проверку второй раз. Исключение - когда часть поисковых движков не ответила: тогда в caveats прямо сказано, что это сбой поиска, а не доказательство отсутствия источников, и проверку стоит повторить.

{
  "claim": "Redis быстрее Memcached на любых нагрузках",
  "verdict": "mixed",
  "confidence": 0.4,
  "agreeing": 1,
  "disagreeing": 2,
  "evidence": [ "…" ],
  "caveats": [
    "Сравнения относятся к разным версиям и профилям нагрузки.",
    "Подтверждение только из одного источника - независимой проверки нет."
  ]
}

Потолки уверенности, которые мы ставим независимо от мнения модели:

• цитат не осталось → unverified, confidence: 0;
• есть и подтверждающие, и опровергающие → mixed, не выше 0.5;
• supported без ни одной подтверждающей цитаты → unverified, не выше 0.3 (то же для refuted);
• потолок по числу НЕЗАВИСИМЫХ источников (домены за вычетом перепечаток одного текста): один → 0.5, два → 0.7, три и больше → 0.9;
• среди прочитанного нет первоисточника (документации, справочника, медиа, сообщества) → не выше 0.6 плюс оговорка;
• часть цитат отброшена → уверенность умножается на долю выживших;
• 1.00 из веб-источников не бывает вовсе: верхняя граница - 0.9.

Перепечатки считаются одним источником: тексты прочитанных страниц сравниваются по пересечению восьмисловных фрагментов, и страницы, у которых совпадает больше 30% текста, попадают в один кластер. Три сайта с одним пресс-релизом дают один голос, а не три, и в caveats появляется строка с названиями этих доменов. Источники для чтения при этом выбираются не только по порядку выдачи: сначала площадки известного типа (документация, справочники, медиа, сообщества), и лишь потом unknown и перепечатки - чтобы подборка SEO-зеркал не заняла все места раньше первоисточника.

tier - тип площадки, не оценка правдивости

У каждой цитаты есть tier: docs (официальная документация и стандарты), reference (энциклопедии, научные базы), media, community (форумы, GitHub, Хабр), aggregator (площадки, живущие перепечаткой), unknown.

Через MCP: verify_claim

Тот же функционал доступен агенту как инструмент verify_claim MCP-сервера - с теми же параметрами. Ответ приходит текстом, сверстанным под чтение моделью: сначала вердикт и уверенность, потом сколько источников прочитано и как они разделились, дальше блоки цитат с доменом, ярлыком и ссылкой, в конце оговорки и строка про отброшенные цитаты. Порядок такой намеренно: модель внимательнее читает начало ответа, а главное здесь - не что нашлось, а можно ли этому верить.