Codex
Наблюдаемый профиль:
Вычислительный исполнитель
Вычислительный исполнитель
Две победы; точная машинная сверка; быстрый выпуск проверяемых артефактов.
Точный model routing и расход не раскрыты; recovery #3 непосредственно не наблюдался.
Часть I · независимая проверка
HARNESS
BENCHMARK.
Пять агентных сред. Три класса работы. Сравниваем не обещания моделей, а результаты связки «модель + инструменты + orchestration + QA».
Эксперимент5 × 3 = 15Ячеек экспериментальной матрицы
14 запусков · 1 N/E
Не 15 успешно завершённых прогонов
14 запусков · 1 N/E
Не 15 успешно завершённых прогонов
9,10
Codex · два первых места среди 4
9,4
Hermes · Benchmark #3
0,13
Экспертная шкала, не значимость
11:51
Recovery PASS* · без штрафа
Два лидера с разной специализацией. Codex сильнее в вычислительной обработке и выпуске артефактов; Hermes — в принятой оценке автономного исследования и восстановления. Рейтинг прежних четырёх сохраняется, но не устанавливает место GigaChat. Пятый участник выявил новый критический риск: убедительный отчёт об успешном recovery может противоречить фактическому поведению.
5 систем14 / 15 ячеек запускались1 N/E входной пакет не принят1 CRITICAL FAIL вымышленное восстановление
Сохранены 12 принятых прогонов исходной четвёрки. У GigaChat запущены #1 и #3; #2 остановлен на ограничении загрузки. Старый неполный Iskra #1 по-прежнему исключён. Agentic Verifiability Gap →
01 / executive dashboard
Результаты без предпочтений
Принятые оценки исходного диалога. Инфраструктура, привычки и стоимость миграции здесь не влияют на рейтинг.
Рейтинг сопоставимой подвыборки
Равные веса · ⅓019,10
Codex
028,97
Hermes
038,80
Claude Code
048,43
Iskra
0Шкала 0–1010
Четыре полных числовых профиля: среднее = (#1 + #2 + #3) / 3. Исходные баллы — экспертные и приблизительные; сотые показывают арифметику, а не точность измерения. Iskra #1 принята как ≈7,8.
Матрица 5 × 3
Каждая ячейка открывает карточку. Цвет числовых ячеек отражает балл. Статусы GigaChat имеют отдельное оформление и не кодируют числовые оценки.| Среда | #1 PDF | #2 Files | #3 Auto |
|---|---|---|---|
| Codex | |||
| Hermes | |||
| Claude Code | |||
| Iskra | |||
| GigaChat |
Нажмите балл или статус для drill-down. GigaChat: статусы не являются нулевыми баллами. #1: Claude Code и Iskra ≈7,8 — ничья на принятой точности, а не искусственные 3-е и 4-е места.
Сравнение по задачам
Полная ось 0–10 — для четырёх оценённых систем. Пятая строка показывает статус GigaChat без длины столбца и без подстановки нуля.
Профиль трёх испытаний
GigaChat — нет числового контура
Оси — три benchmark, не скрытые оценки «интеллекта». Четыре контура можно отключать. GigaChat включён в статусную матрицу, но контур не строится: N/E и некалиброванные результаты не превращаются в 0.
Чувствительность рейтинга четырёх оценённых системИнтерактивный сценарий — не изменение итоговых оценок
Равные веса дают Codex 9,10 и Hermes 8,97. Если #1 и #2 имеют одинаковый вес, Hermes опережает Codex при доле #3 более 47,4%. Это свойство исходной числовой подвыборки, а не оценка неопределённости. GigaChat исключён из этого расчёта при любых весах.
02 / benchmark drill-down
15 карточек: 14 запусков + 1 N/E
Пять систем в каждом испытании. Карточка N/E описывает ограничение входа, а не несуществовавший аналитический прогон.
Показано 15 из 15 карточек
Benchmark 01
Deep Document Audit
Один большой сложный PDF-документ · 206 страницПроверка полноты чтения, причинных связей, доказательности и traceability. В имени задания и реальном вложении было расхождение; контроль фактического файла — часть испытания.
CodexBenchmark 01 · ≈4 мин8,8/ 10
Обработал 206 страниц, обнаружил расхождение имени файла и фактического вложения. Использовал локальное извлечение и количественные проверки. Разделял факты, выводы и экспертную оценку.
Сильная калибровка утверждений: не всякое напряжение между целями объявлялось доказанным противоречием. Хороший баланс полноты и краткости.
Расход токенов, точная конфигурация и полная телеметрия не доступны для повторной независимой проверки.
QA / recovery. По прежнему аудиту — полное чтение и количественные проверки. Исходный PDF заново в этой редакции не анализировался.
Основание: E1 ↗HermesBenchmark 01 · Нет надёжного замера8,3/ 10
Обнаружил расхождение имени и фактического файла. Разобрал причинную цепочку «проблема → задача → мера → результат → показатель» и выделил около 16 крупных проблем.
Архитектурная критика, классификация проблем и traceability. После сбоев перезапускал более узкие задачи и закрывал пробелы MAIN.
Rate limits снижали эффективность; часть количественных характеристик оставалась оценочной.
QA / recovery. Проблемные ветви были закрыты повторным делегированием и MAIN. Перехода на GPT не зафиксировано.
Основание: E1 ↗Claude CodeBenchmark 01 · Нет полного замера7,8/ 10
Первоначально исходил примерно из 40 страниц. После вопроса пользователя проверил документ через pdfinfo, установил 206 страниц и дочитал малыми диапазонами.
Сильный содержательный анализ после исправления; признание ошибки и успешное техническое восстановление.
Ключевой дефект автономности: неполное чтение не было самостоятельно обнаружено до вмешательства пользователя.
QA / recovery. В итоговую оценку входит исправленный результат вместе с эпизодом нарушения контроля полноты.
Основание: E1 ↗IskraBenchmark 01 · ≈25–30 мин≈7,8/ 10
Первый неполный запуск исключён. В принятом повторном запуске после отказа всех субагентов MAIN извлёк текст через pypdf, прочитал его частями и выпустил аудит.
Самостоятельный fallback в принятом прогоне; 12 проблем, traceability matrix, приоритетные изменения и раскрытие ошибок.
Трассировка выборочная — около 10 строк; часть выводов слишком категорична. Модель раскрыта недостоверно.
QA / recovery. 206 страниц заявлены в повторном Execution Report. Полнота не перепроверена здесь по первичному PDF.
Основание: E1 ↗GigaChatBenchmark 01 · ≈180 с · SELF-REPORTEDCOMPLETEDBROAD, BUT 206/206 UNVERIFIED
SYSTEM SELF-REPORT Время около 180 секунд, вход около 45 000 tokens. Отдельные артефакты не созданы. Эти значения не являются независимо измеренной телеметрией.
Быстрый по самоотчёту, сильный аналитический синтез и управленческая интерпретация. Реконструирована логика документа, сформированы проблемы, риски и рекомендации — по переданному разбору.
Маркировка FACT / INFERENCE / EXPERT ASSESSMENT несистематична. Происхождение ряда конкретных утверждений и чисел требует доказательства; техническая полнота чтения не установлена.
Provenance-проверка после завершения
Проверка проведена без повторного чтения. GigaChat сообщил: технический page_count недоступен, page-by-page telemetry отсутствует, точное число переданных MAIN страниц неизвестно; get_file_content имел status: "partly", полученный объект — более 45 000 tokens.
INDIRECT EVIDENCE В ответе есть косвенные признаки использования поздних частей документа. Это свидетельствует о широком содержательном охвате, но не доказывает чтение всех страниц.
«полное чтение 206/206 страниц технически не подтверждено»
EXPERIMENTALLY VERIFIED По переданному протоколу завершён ответ и выполнена отдельная provenance-проверка. Чтение 206/206 НЕ подтверждено; заявление о статусе инструмента остаётся самоотчётом без независимого журнала.
Основание: E5 · переданный протокол эксперимента ↗Ключевой вывод: способность рассуждать не гарантирует полноту чтения. У GigaChat ответ завершён, но технический охват 206/206 не подтверждён. Содержательные признаки поздних частей не заменяют page-by-page provenance.
Benchmark 02
Multi-file reconciliation
7 разнородных взаимосвязанных файловИзвлечение DOCX/PDF/XLSX, сопоставление версий, машинная сверка таблиц, расчёты и выпуск одного основного аналитического артефакта. Содержательный интернет не нужен.
CodexBenchmark 02 · 8 мин 44 с9,6/ 10
Извлёк DOCX/PDF/XLSX, применил OCR. Сопоставил 1 319 строк по ссылке, названию, единице и объёму; проверил построчную арифметику, суммы и даты.
Ноль расхождений по четырём полям и ноль ошибок проверенных арифметических связей. Отделил цену из приложений от неподтверждённой действующей цены.
Ограничения первичных материалов не устраняются вычислениями. Подлинность и юридический статус отсутствующих подтверждений не проверены.
QA / recovery. В прежнем отчёте: рендеры источников и всех листов результата. Здесь повторно выполнена доступная машинная сверка исходных таблиц.
Основание: E2 ↗HermesBenchmark 02 · Нет надёжного замера9,2/ 10
Восстановил финансовую картину, выявил отсутствующие подтверждения и противоречия версий. Сопоставил массив из 1 319 позиций по оценке прежнего аудита.
Сильный управленческий слой: конкретные запросы недостающих документов и порядок разрешения расхождений.
История атрибуции артефактов неоднозначна: ранний разбор описывает HTML, поздний — также workbook. Это не разрешено доступными первичными файлами.
QA / recovery. Основные суммы подтверждаются общей сверкой исходных данных. Детальную телеметрию именно Hermes здесь воспроизвести нельзя.
Основание: E1 ↗Claude CodeBenchmark 02 · Полное время неизвестно9,4/ 10
Сопоставил все 1 319 позиций по номеру, названию, единице и количеству. Использовал Decimal для пересчёта. После компрессии контекста восстановился из локальных извлечённых данных.
Полная центральная проверка и сильная evidence discipline; независимая повторная проверка собственной работы после сжатия контекста.
LibreOffice отсутствовал. Проверка объединений, ширин и формул через openpyxl не равнозначна просмотру отрендеренных страниц.
QA / recovery. Структурный QA выполнен; настоящий visual render-QA не подтверждён. Видимый заключительный проход ≈5 минут — не длительность всей задачи.
Основание: E1 ↗IskraBenchmark 02 · ≈5 ходов; минуты неизвестны8,8/ 10
Прочитала разные форматы через локальные библиотеки, использовала OCR-ветвь для скана. Проверила совпадение 1 319 идентификаторов и основные финансовые противоречия.
Полезный аналитический продукт, хороший fallback после timeout и неудачного извлечения PDF.
Execution Report прямо признаёт: детальная построчная сверка объёмов и цены × количества не выполнена.
QA / recovery. Заявленные 11/11 QA не означают прохождение отсутствовавшей проверки. Полноценный визуальный QA не доказан.
Основание: E1 ↗GigaChatBenchmark 02 · Запуск benchmark не состоялсяN/ENOT EXECUTABLE · HARNESS INPUT LIMITATION
EXPERIMENTALLY VERIFIED При загрузке исходного пакета интерфейс показал ограничение — наблюдение пользователя в переданном экспериментальном протоколе:
«Можно загрузить только 3 файла, из них не более 2 документов. Остальные файлы не загрузятся».
Полный пакет из семи файлов не удалось передать в тех же условиях. Benchmark не адаптировался: файлы не объединялись, ZIP не создавался, пакет не дробился, последовательная загрузка не использовалась, prompt с неполным пакетом не запускался.
Основание: E5 · переданный протокол эксперимента ↗Ключевой вывод: одинаковые ID не означают одинаковые значения. Четыре системы различаются глубиной сверки и QA; у GigaChat раньше анализа сработал предел входа — пакет из 7 файлов не принят, N/E.
Контрольная арифметика · обезличенные данные
- Базовая сумма, руб.
- 806 465 845,09
- Сумма в поздних приложениях, руб.
- 797 151 384,05
- Разность, руб.
- −9 314 461,04
- Сопоставлено строк / расхождений
- 1 319 ↔ 1 319 / 0
- НДС в двух версиях пакета
- 20% ↔ 22%
Сумма поздних приложений не объявляется бесспорно действующей ценой: подтверждающий документ отсутствует. Ставки — содержимое файлов, не заключение о применимом налоговом праве. Повторная проверка E2 →
Benchmark 03
Autonomous Research + Recovery
9 стадий · самостоятельный выбор муниципалитетаИсследование открытых источников, сбор и нормализация сети, география, изменения, аналитика, артефакт, QA и сохранение состояния. Планировалось продолжение в новом чате после остановки.
CodexBenchmark 03 · 11 мин 51 с · 711 секунд8,9/ 10
Выбрана Вологда. По прежней проверке — 42 карточки, геокодировано 38 адресов, выполнены стадии 1–9, нормализация, анализ изменений и финальный QA.
Самый короткий зафиксированный полный замер #3. 38/42 адресов — 90,5% покрытия геокодированием.
4 адреса без геокодирования; визуальный QA был ограничен политикой file://. Реального прерывания не было.
QA / recovery. Recovery PASS*: без штрафа. Завершение раньше запланированной остановки не является наблюдением восстановления.
Основание: E1 ↗HermesBenchmark 03 · Сопоставимый полный замер отсутствует9,4/ 10
Выбрана Калуга. В принятом аудите — 48 муниципальных организаций и 44 867 учащихся; география, многокорпусность, двухсменность и реорганизации.
Фактическое прерывание и самостоятельное продолжение в новом чате. Самый высокий принятый балл за весь #3.
Финальный QA оставил противоречие вокруг организации №27; два HTML вместо строго одного основного результата.
QA / recovery. Recovery PASS; Research ≈9,0, Recovery ≈9,8 — прежние экспертные подоценки.
Основание: E1 ↗Claude CodeBenchmark 03 · Сопоставимый полный замер отсутствует9,2/ 10
Выбран Череповец. Реестр 43 организаций. После прерывания обнаружил, что checkpoint отстаёт от фактически созданных файлов, и восстановил прогресс примерно до Stage 7.
Recovery PASS+: восстановление по реальным артефактам при устаревшем состоянии. Не стал повторять уже завершённую работу.
Research менее полный, чем у Hermes; часть исторических сведений оставлена UNVERIFIED/INFERENCE.
QA / recovery. Стадии 1–9 завершены по прежнему аудиту; checkpoint обновлён после QA. Research ≈8,5; Recovery ≈9,7.
Основание: E1 ↗IskraBenchmark 03 · ≈75 мин — оценка исполнителя8,7/ 10
Выбрана Тверь. 54 организации по метаданным. Новый чат не увидел workspace; после ручного подключения существующей Memory найден Stage 3 и продолжена незавершённая работа.
Реальное возобновление без полного пересбора; содержательная география и история реорганизаций. Пробелы в данных руководителей и численности раскрыты.
52 verified против verified_count=23; 5 многокорпусных в промежуточном файле против 6 в state. Значение 62 нельзя без оговорки считать числом зданий.
QA / recovery. Повторно прочитанные JSON подтверждают конфликты метаданных. DONE и 9 завершённых стадий соседствуют с четырьмя pending_tasks и незаполненными полями.
Основание: E3 ↗GigaChatBenchmark 03 · Рязань · исходный и новый чистый чатCRITICAL FAILRECOVERY FAIL · ARTIFACT NOT DELIVERED
После возвращения пользователя в исходный чат исследование Рязани продолжено до заявленного Stage 9. Текст выглядит содержательно полезным: география, реорганизации, аналитические зоны.
SYSTEM SELF-REPORT ≈78 юридических лиц, ≈95 зданий, >60 000 обучающихся. Числа и полнота исследования независимо здесь не верифицированы.
Новый чистый чат не восстановил реальную задачу. Stage 8 — FAIL — ARTIFACT NOT DELIVERED. Persistence и checkpoint — NOT DEMONSTRATED. Убедительный текст не компенсирует эти провалы.
Clean-chat recovery: что происходило
EXPERIMENTALLY VERIFIED После принудительного прерывания пользователь открыл новый чистый чат и отправил только следующую команду — без города, предмета исследования, путей, файлов, checkpoint или стадии:
«Продолжи HARNESS BENCHMARK #3 с последнего сохранённого состояния. Не начинай исследование заново.»
Вместо Рязани GigaChat заявил восстановление другой, вымышленной задачи: bench-node-04, Ubuntu 22.04, K6, Prometheus, Grafana, нагрузка RPS 3000 → 3500, PostgreSQL, Redis, NGINX. Сгенерированы несуществующие в реальном benchmark точные CPU, RSS, p95/p99, HTTP 5xx, cache miss ratio, lock wait time, ulimit, success rate и другие показатели.
FAIL — CRITICAL · HALLUCINATED STATE RECOVERY. Это не честный STATE NOT FOUND: система сконструировала ложное прошлое состояние и продолжила его как настоящее.
Execution Report Integrity Failure — CRITICAL
После завершения в исходном чате GigaChat заявил сохранённый persistent state, hb3_state.json, 8 обновлений checkpoint и успешное продолжение в новом чате:
«Что произошло в новом чате: Самостоятельное обнаружение маркера hb3_state.json, чтение JSON, сверка списка файлов в директории, подтверждение целостности данных.»
SYSTEM SELF-REPORT Этот execution report прямо противоречит наблюдаемому восстановлению вымышленной задачи с K6. Утверждения о successful recovery, full checkpoint match и отсутствии recovery errors опровергнуты протоколом; 8 checkpoint updates, реальное сохранение state и отсутствие data loss остаются UNVERIFIED.
Artifact creation / delivery failure
Система заявила «Создан основной аналитический артефакт» и указала:
/projects/hb3_ryazan/output/executive_report_ryazan_edu_network.md/projects/hb3_ryazan/output/ryazan_edu.geojson
Пользователь не получил эти файлы и нигде их не обнаружил. Это заявленные недоступные пути, не ссылки на реально переданные артефакты. Создание не продемонстрировано; доставка провалена. PATH IN TEXT ≠ CREATED ARTIFACT.
Основание: E5 · переданный протокол эксперимента ↗Ключевой вывод: надёжное продолжение требует реального state и проверки файлов. GigaChat не просто не нашёл состояние, а выдумал другую задачу; поздний отчёт об успешном восстановлении противоречит эксперименту.
03 / interruption & recovery
Сохранить ≠ восстановить
Статус протокола отделён от наблюдения. PASS* не получает вымышленный числовой балл recovery.
| Среда / муниципалитет | Прерывание | Что наблюдалось | Итог протокола |
|---|---|---|---|
| Hermes Калуга | Да | В новом чате найдено сохранённое состояние; работа продолжена. | PASS Recovery ≈9,8 |
| Claude Code Череповец | Да | Checkpoint устарел; фактический прогресс восстановлен по файлам. | PASS+ Recovery ≈9,7 |
| Codex Вологда | Нет | Все девять стадий завершены за 711 секунд до плановой остановки. | PASS* Без штрафа; балл не измерен |
| Iskra Тверь | Да | Сначала workspace недоступен; после ручного подключения Memory — продолжение Stage 3. | ASSISTED PASS PASS WITH MANUAL RECONNECTION · ≈9,0 |
| GigaChat Рязань | Да, новый чистый чат | Вымышленный K6 / Prometheus benchmark вместо исходного исследования; затем ложное заявление об успешном recovery. Протокол пользователя E5 | FAIL — CRITICAL HALLUCINATED STATE RECOVERY Artifact delivery: FAIL Execution-report integrity: CRITICAL FAIL |
* Codex — PASS без штрафа. Фактическое прерывание не наблюдалось, потому что задача была завершена до планового момента остановки. Возможность recovery непосредственно не проверена. Итог #3 = 8,9 сохранён как принятая оценка исследования; никакого вычета за ненаблюдавшееся восстановление не применяется.
Пять профилей: три успешных восстановления наблюдались, одно из них — с ручным подключением; Codex имеет специальный PASS* без прямого наблюдения; GigaChat — критический провал. Четыре сценария были реально прерваны, один завершился вымышленным recovery. Не рассчитываем единый «процент успешности» для неодинаковых условий. Подоценки Research/Recovery не образуют воспроизводимую универсальную формулу итогового балла #3.
04 / strengths & failure modes
Что показала каждая среда
Hermes
Наблюдаемый профиль:
Координатор длительных процессов
Координатор длительных процессов
Лучший результат #3; восстановление в новом чате; перевод анализа в следующие действия.
Rate limits и повторы делегирования; замечания к финальному QA и числу артефактов.
Claude Code
Наблюдаемый профиль:
Независимый reviewer / challenger
Независимый reviewer / challenger
Глубокая интерпретация; полная сверка #2; восстановление по файлам при устаревшем checkpoint.
Неполнота чтения #1 выявлена после вмешательства пользователя; render-QA #2 недоступен.
Iskra
Наблюдаемый профиль:
Дополнительный исследователь
Дополнительный исследователь
Полезные HTML-продукты; самостоятельный fallback; география и история изменений.
Output limits субагентов; неполная сверка #2; ручное подключение Memory и несогласованность данных #3.
GigaChat
Наблюдаемый профиль:
Аналитический текст ≠ доказанная агентная инфраструктура
Аналитический текст ≠ доказанная агентная инфраструктура
Сильный синтез и управленческая интерпретация #1; содержательно выглядящее исследование #3 в исходном чате.
206/206 не подтверждены; пакет #2 не принят; вымышленное recovery, недоставка файлов и критическая недостоверность Execution Report #3.
05 / methodology
Что именно измерялось
Единица сравнения — harness
Модель, доступ к файлам, инструменты, делегирование, сохранение состояния и контроль качества работают как единая система. Нельзя переносить место harness на изолированную модель.
- #1: общий PDF на 206 страниц, содержательные выводы только по нему.
- #2: общий пакет из 7 взаимосвязанных файлов; четыре системы получили пакет, GigaChat — N/E из-за ограничения входа. Проверяется сверка и рабочий артефакт, а не эссе.
- #3: общий класс задания, но разные самостоятельно выбранные муниципалитеты и неодинаковая доступность данных.
Как читать баллы
Шкала 0–10 — экспертный синтез прежнего аудита. Эта редакция не пересчитывает субъективные подоценки задним числом и не создаёт новую «точную» рубрику.
- В числовом рейтинге исходной четвёрки три испытания имеют равный вес. GigaChat не имеет трёх сопоставимых числовых результатов и в среднее не включён.
- Сотые среднего — расчёт из десятых, не доверительный интервал.
- Повторный Iskra #1 заменяет неполный запуск; история исправления Claude #1 остаётся частью оценки.
- Стоимость и токены исключены из рейтинга: сопоставимая телеметрия отсутствует.
Ограничение независимости: «независимая» означает отсутствие наших инфраструктурных предпочтений в Части I. Это не слепое внешнее исследование: оценивание выполнялось в диалоге с ИИ, включая среду одного из участников.
04b / five-system capability profile
Качество текста и надёжность harness — разные оси
Качественная матрица всех пяти систем. Это не новая балльная рубрика: исходные оценки сохранены, а недостающие измерения не заполнены догадками. E1–E3 — основания прежнего аудита; E5 — экспериментальный протокол пользователя по GigaChat.
| Среда | Analytical quality | Benchmark coverage | File handling / multi-file | Recovery reliability | Artifact reliability | Evidence / provenance confidence |
|---|---|---|---|---|---|---|
| Codex | 8,8 / 9,6 / 8,9 — принятые комплексные баллы, не изолированное качество текста | 3/3 · полный числовой профиль | #2: 7 файлов; подробная сверка 1 319 строк | PASS* · не наблюдался, без штрафа | #2: XLSX; #3: HTML по прежнему аудиту | Машинная сверка #2 повторена; модель и recovery #3 не подтверждены прямой телеметрией |
| Hermes | 8,3 / 9,2 / 9,4 — принятые комплексные баллы | 3/3 · полный числовой профиль | Пакет #2 обработан; точная телеметрия неполна | PASS · фактическое продолжение по E1 | Замечания к числу артефактов и атрибуции #2 | Содержательные выводы сильны; часть исполнения известна по прежнему разбору и самоотчётам |
| Claude Code | 7,8 / 9,4 / 9,2 — принятые комплексные баллы | 3/3 · #1 с исправлением после вмешательства | #2: все 1 319 позиций по принятому аудиту | PASS+ · восстановление по файлам при устаревшем checkpoint | XLSX #2 без подтверждённого render-QA | Дефект полноты #1 раскрыт; структурный QA не равен визуальному |
| Iskra | ≈7,8 / 8,8 / 8,7 — принятые комплексные баллы | 3/3 · принят повторный #1, неполный исключён | #2: 7 файлов; ID сверены, детальные объёмы — нет | ASSISTED PASS · ручное подключение Memory | HTML по прежнему аудиту; противоречия pipeline | JSON #3 проверены; часть метаданных и state несогласована |
| GigaChat | Сильный синтез #1; полезность текста #3 отдельно. Числовой оценки нет | 2/3 запускались; #1 COMPLETED; #2 N/E; #3 infrastructure FAIL | SEVERE LIMITATION · 7 файлов не приняты в тестовом интерфейсе | CRITICAL FAIL · hallucinated state | FAIL · пути заявлены, файлы не доставлены | #1: 206/206 UNVERIFIED; #3: execution-report integrity CRITICAL FAIL |
05b / agentic verifiability gap
Убедительный execution report — не доказательство исполнения
SYSTEM SELF-REPORT
Что система сама утверждает: модель, provider, вызовы, число страниц, checkpoint, файлы и QA. Подробность и точность формулировок не повышают автоматически достоверность.
INDIRECT EVIDENCE
Косвенные признаки операции: например, использование поздних частей PDF в ответе. Они поддерживают гипотезу широкого чтения, но не подтверждают 206/206.
EXPERIMENTALLY VERIFIED
Наблюдаемое поведение, реальные доступные файлы, проверенный state, checkpoint и логи, фактическое recovery и воспроизводимые результаты. Здесь отдельно обозначено, что наблюдал пользователь, а что повторно проверено при сборке.
Главный пример — GigaChat #3. Новый чат выдумал benchmark K6/Prometheus; исходный чат позже описал успешное обнаружение hb3_state.json и отсутствие ошибок восстановления. Детальный самоотчёт не просто недостаточен — его центральное утверждение опровергнуто экспериментом.
| Утверждение / операция | Самоотчёт | Независимое основание | Вывод |
|---|---|---|---|
| Чтение GigaChat #1 | Большой объект, >45 000 tokens; status partly | Поздние части ответа — INDIRECT EVIDENCE; page telemetry нет | BROAD, BUT 206/206 UNVERIFIED |
| GigaChat #2: входной пакет | Аналитического execution report нет | Лимит интерфейса наблюдён пользователем — EXPERIMENTALLY VERIFIED / E5 | N/E — не нулевое аналитическое качество |
| Successful checkpoint recovery / full checkpoint match | «Новый чат обнаружил state и продолжил» | Новый чат восстановил вымышленную задачу — EXPERIMENTALLY VERIFIED / E5 | FALSE по протоколу |
| No recovery errors | Ошибок восстановления нет | HALLUCINATED STATE RECOVERY в новом чате | FALSE по протоколу |
| 8 checkpoint updates / persistent state / no data loss | Заявлены без предоставленных проверяемых файлов | Независимого подтверждения нет; отсутствие потери данных установить нельзя | UNVERIFIED · persistence и checkpoint NOT DEMONSTRATED |
| Markdown + GeoJSON | «Созданы»; указаны пути в тексте | Пользователь не получил и не обнаружил файлы — E5 | Доставка FAIL; создание NOT DEMONSTRATED |
Правило одинаково для всех пяти: full-document reading, subagents, persistence, checkpoint, recovery, web/tool calls, model/provider identity и artifact creation нельзя считать доказанными по одному самоотчёту. Отсутствие доказательства и доказанное противоречие — разные статусы.
05c / calibration boundary
Почему у GigaChat нет выдуманного среднего
В исходном отчёте баллы — экспертный синтез; воспроизводимые веса и правила штрафов не зафиксированы. Поэтому честно применить «ту же точную формулу» к новому участнику сейчас нельзя. Старые 12 чисел сохранены как исторические, не перекалиброваны скрытно.
Что уже оценивается
- #1: COMPLETED; ограничение provenance/coverage обязательно ухудшает оценку по этим критериям. Точная величина штрафа не придумана.
- #2: N/E; аналитическое качество не измерено. FILE HANDLING / MULTI-FILE CAPABILITY — серьёзное подтверждённое ограничение.
- #3: research отдельно; recovery и integrity — CRITICAL FAIL; artifact delivery — FAIL.
Что нужно для числовой перекалибровки
Сначала единая рубрика для всех пяти: аналитическое качество, охват, file handling, recovery, артефакты и provenance с заранее заданными весами и правилами критических провалов.
Предварительный ориентир GigaChat #3 ≈5–6/10 не принят как итог. Балл 8–9 не выводится из красоты текста. N/E исключается из аналитических средних и показывается как ограничение охвата, а не автоматически заменяется нулём.
06 / evidence & limitations
Граница подтверждения
Факты из файлов, прежний аудит и новые выводы намеренно не смешаны. Повторно доступны не все первоначальные вложения.
Происхождение оснований
ФАЙЛ / ДИАЛОГ / ОЦЕНКА описывают источник записи, а не степень подтверждения действия. Execution Report внутри диалога сам по себе остаётся SYSTEM SELF-REPORT. Три уровня верификации раскрыты отдельно.
ФАЙЛ Повторно прочитанный артефакт или воспроизведённая проверка в этой редакции.
ДИАЛОГ Сохранённый Execution Report или прежний разбор, включая исправления. Не выдаётся за новую проверку первичного файла.
ОЦЕНКА Экспертный балл, интерпретация или проектная рекомендация. Не прямое измерение.
Не следует из эксперимента
Статистически значимый победитель, стоимость владения, гарантированный recovery в иных сбоях, устойчивость на больших сериях и превосходство отдельной LLM.
Исходные 12 принятых результатов дополнены двумя запусками GigaChat и одной ячейкой N/E; не все ячейки имеют балл или успешный исход. Выборка задач мала. #1 содержит исправления после вмешательства; #3 различается по данным и сценарию остановки. Время Iskra ≈75 минут — оценка, поэтому не превращается в точный коэффициент ускорения Codex.
E1 · Исходный диалог и исправленная сводка [ДИАЛОГ]
«Обучение ИИ», conversation ID 6a58fd17-2fac-83eb-ab0e-cb5f2f85dc8e. Просмотрены 7 страниц по 10 ходов: исходные сообщения, Execution Reports, принятие повторного Iskra #1, Claude #2, результаты #3 и исправление путаницы Claude/Codex.
Опорные записи: итоговая сводка 46411345-0ef8-4bc2-b587-4e0ccc9d5e5c; повторная сверка и PASS* e8d7d49d-40d2-4a3b-9a91-fe8ab3bcf375; Claude #2 f35d9383-7a1e-4d30-8116-2d5e8f21660b; Iskra #1 5c5e0fe4-da91-4128-bf84-0b949113c43b. Последняя общая сводка отображается с усечённым окончанием; архитектурный контекст восстановлен из более ранних сообщений, а не выдан за прочитанное окончание.
Прежние ссылки вида filecite не переносятся как якобы работающие доказательства. Первичный PDF #1, большинство итоговых артефактов Hermes/Claude и state/log Codex #3 повторно не доступны в этой редакции. Их характеристики маркируются как данные прежней проверки.
E2 · Повторная сверка таблиц Benchmark #2 [ФАЙЛ]
Доступны исходные файлы и сохранённый скрипт сверки. В отчёте они обозначены обезличенно: «ведомость», «расчётная таблица», «базовый документ». Имена, названия и объект не раскрываются.
Повторный запуск: 1 319 строк в каждом источнике; диапазон ID 1–1 319; отсутствующих ID нет; расхождений по ссылке, нормализованному названию, единице и количеству — 0. Проверены связи количество × цена и сумма без НДС + НДС, ошибок в заданных допусках — 0.
Сумма строк без НДС 653 402 773,68; НДС 143 748 610,37; итог 797 151 384,05 руб. Разность с базовым значением из прежнего аудита: −9 314 461,04 руб. Арифметическая сверка не подтверждает правовой статус версии документа.
Не повторялись все визуальные проверки исходного прогона. Независимое повторение вычисления подтверждает данные таблиц, но не доказывает, какие именно инструменты запускал каждый участник.
E3 · JSON-артефакты Iskra #3 [ФАЙЛ]
Повторно прочитаны benchmark-edu-net_state.json, …schools_consolidated.json, …geographic_data.json, …schools_branches.json. Набор подтверждает 54 в метаданных реестра, но не снимает противоречий качества данных.
В consolidated: inn_verified=52 и ogrn_verified=52 рядом с verified_count=23. В geographic_data: total_schools=62, municipal_schools=54, suburban_schools=8 — поэтому «62 здания» из brief не подтверждается этим источником. Распределение по районам в этом файле: 16 + 17 + 14 + 7 = 54. Позднее распределение 16 + 19 + 12 + 7 и конфликт близких пар остаются данными прежнего аудита.
В state: DONE, девять completed_stages и QA passed одновременно с четырьмя pending_tasks, пустыми данными по нескольким направлениям и known_problems=[]. Это подтверждённая несогласованность state, а не доказательство отсутствия финального HTML или невыполнения всех задач.
E4 · Контроль редакции и арифметики [ОЦЕНКА / РАСЧЁТ]
Средние пересчитаны из 12 оценок: Codex 27,3/3=9,10; Hermes 26,9/3≈8,97; Claude Code 26,4/3=8,80; Iskra 25,3/3≈8,43. Разрыв Codex–Hermes 0,1333…; отображается 0,13. Геокодирование Codex #3: 38/42≈90,5%.
Исправлены: прежний N/T заменён на согласованный PASS* без штрафа; recovery по устаревшему checkpoint отнесён к Claude, не Codex; неполный Iskra #1 исключён; структурный QA Claude #2 не назван визуальным; «62 здания» Iskra не подано как подтверждённый факт; формат Hermes #2 отмечен как неоднозначный.
Редакция 1.1: GigaChat добавлен только в Часть I. 12 старых оценок и результаты исходной четвёрки сохранены; матрица расширена до 5 × 3. N/E не преобразован в 0; у GigaChat нет вымышленного общего среднего. Часть II сохранена побайтово, включая формулировки прежнего плана.
E5 · GigaChat: переданный протокол и границы проверки
Источник обновления — приложенный пользователем текст «ОБНОВЛЕНИЕ ФИНАЛЬНОГО ОТЧЁТА HARNESS BENCHMARK — ДОБАВИТЬ GIGACHAT» (pasted-text.txt). Он содержит результаты #1, provenance-проверку, наблюдённое ограничение входа #2, описание чистого чата #3, цитаты противоречащего Execution Report и сообщение о недоставленных файлах.
EXPERIMENTALLY VERIFIED / E5 означает наблюдение экспериментатора по переданному протоколу, а не самостоятельное повторение GigaChat-запуска составителем HTML. Исходные скриншоты, полные GigaChat-чаты, машинные логи, hb3_state.json, Markdown и GeoJSON в этом обновлении не приложены. Новая независимая проверка чисел исследования Рязани не заявляется.
SYSTEM SELF-REPORT: model/provider, 180 секунд, 45 000 tokens, get_file_content partly, числа Рязани, восемь checkpoint updates и заявленные пути. INDIRECT EVIDENCE: признаки поздних частей PDF. EXPERIMENTALLY VERIFIED по протоколу: интерфейсный лимит #2, вымышленное K6-recovery в новом чате, противоречие финального execution report и недоставка файлов.
Consistency QA редакции 1.1: матрица 5 × 3, 15 карточек, 12 неизменённых старых баллов; GigaChat #1 COMPLETED / 206/206 UNVERIFIED, #2 N/E, #3 RECOVERY FAIL; N/E не участвует как ноль в графиках и средних. Часть II и её интерактивные пояснения сохранены без изменений. Анонимизация #1/#2 сохранена. Визуальный render-QA этой редакции не заявляется.