Реестр измерений / обновлён 14 августа 2026
Бенчмарк моделей для извлечения данных
Четыре сценария и точные маршруты провайдеров. Для новых запусков обязательна проверка фактической модели; исходные результаты сохранены с датой запуска и статусом доказательств.
B1
CRM CSV
5 строк
B2
Финансовый CSV
332 строки
B3
Русский счет
OCR + кириллица
B4
Инвесторская таблица
32 строки
Единый реестр
Исторические и новые модели
Исходный запуск 27 моделей сохранён как база. Десять новых моделей добавлены в ту же таблицу; дата и статус отделяют исторические результаты от строгого аудита.
| Модель / маршрут | B1 | B2 | B3 | B4 | Принято | Качество | Принятое время | Расч. стоимость | Запуск | Статус |
|---|---|---|---|---|---|---|---|---|---|---|
GPT-4.1 mini gpt-4.1-mini | 100% | 90% | 100% | 100% | 4 / 4 | 97,5% | 994 с | $0,090 | 14.03.2026 | исторический |
Gemini 3.1 Flash gemini-3.1-flash | 100% | 90% | 100% | 100% | 4 / 4 | 97,5% | 579 с | $0,034 | 14.03.2026 | исторический |
DeepSeek V3 openrouter/deepseek-v3 | 100% | 90% | 100% | 100% | 4 / 4 | 97,5% | 217 с | ~$0,10 | 14.03.2026 | исторический |
Gemma 4 31B google/gemma-4-31b-it | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 761,83 с | $0,028998 | 14.08.2026 | проверено |
Step 3.5 Flash openrouter/step-3.5-flash | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 171 с | Бесплатно | 14.03.2026 | исторический |
DeepSeek V3 Free openrouter/deepseek-v3-free | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 182 с | Бесплатно | 14.03.2026 | исторический |
Kimi K2.5 openrouter/kimi-k2.5 | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 212 с | Нет данных | 14.03.2026 | исторический |
MiMo V2 Flash openrouter/mimo-v2-flash | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 221 с | Нет данных | 14.03.2026 | исторический |
GLM 5 openrouter/glm-5 | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 246 с | Нет данных | 14.03.2026 | исторический |
Arcee Trinity openrouter/arcee-trinity | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 259 с | Бесплатно | 14.03.2026 | исторический |
Kimi K2 (Groq) groq/kimi-k2 | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 270 с | $0,039 | 14.03.2026 | исторический |
Qwen3 235B openrouter/qwen3-235b | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 325 с | ~$0,08 | 14.03.2026 | исторический |
Grok 4.1 Fast openrouter/grok-4.1-fast | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 343 с | Нет данных | 14.03.2026 | исторический |
MiniMax M2.5 openrouter/minimax-m2.5 | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 350 с | Нет данных | 14.03.2026 | исторический |
Claude Sonnet 4.6 openrouter/claude-sonnet-4-6 | 100% | 90% | 87,5% | 100% | 4 / 4 | 94,4% | 560 с | ~$1,10 | 14.03.2026 | исторический |
GPT-5.4 gpt-5.4 | 100% | 90% | 100% | 80% | 4 / 4 | 92,5% | 495 с | $0,715 | 14.03.2026 | исторический |
Qwen3.6 27B qwen/qwen3.6-27b | 100% | 90% | 87,5% | Без оценки | 3 / 4 | 92,5%* | 707,40 с | $0,040607 | 14.08.2026 | частично |
GPT-5.6 Terra openai/gpt-5.6-terra | 100% | 90% | 87,5% | 80% | 4 / 4 | 89,4% | 102,19 с | $0,226598 | 14.08.2026 | проверено |
Muse Spark 1.2 meta/muse-spark-1.2 | 100% | 90% | 87,5% | 80% | 4 / 4 | 89,4% | 115,53 с | $0,247949 | 14.08.2026 | проверено |
GLM 5.2 z-ai/glm-5.2 | 100% | 90% | 87,5% | 80% | 4 / 4 | 89,4% | 207,88 с | $0,135988 | 14.08.2026 | проверено |
Gemini 3.7 Flash google/gemini-3.7-flash | 100% | 90% | 87,5% | 80% | 4 / 4 | 89,4% | 260,51 с | $0,150934 | 14.08.2026 | проверено |
Muse Glimmer 30B meta/muse-glimmer-30b | 100% | 90% | 87,5% | 80% | 4 / 4 | 89,4% | 271,41 с | $0,080912 | 14.08.2026 | проверено |
Mistral Large openrouter/mistral-large | 100% | 90% | 87,5% | 80% | 4 / 4 | 89,4% | 284 с | ~$0,50 | 14.03.2026 | исторический |
GPT-4.1 Nano gpt-4.1-nano | 100% | 90% | 87,5% | 80% | 4 / 4 | 89,4% | 372 с | $0,023 | 14.03.2026 | исторический |
Gemini 3.6 Flash google/gemini-3.6-flash | 100% | 90% | 87,5% | 80% | 4 / 4 | 89,4% | 433,51 с | $0,318894 | 14.08.2026 | проверено |
Llama 4 Scout (Groq) groq/llama-4-scout | 100% | 90% | 87,5% | 73% | 4 / 4 | 87,6% | 210 с | $0,009 | 14.03.2026 | исторический |
Llama 3.1 8B (Groq) groq/llama-3.1-8b | 100% | 90% | 87,5% | 73% | 4 / 4 | 87,6% | 226 с | Бесплатный тариф | 14.03.2026 | исторический |
Llama 3.3 70B (Groq) groq/llama-3.3-70b | 100% | 90% | 87,5% | 73% | 4 / 4 | 87,6% | 289 с | $0,022 | 14.03.2026 | исторический |
Qwen3 32B (Groq) groq/qwen3-32b | 100% | 90% | 87,5% | 73% нестабильно | 3 / 4 стабильно | 87,6%* | 315 с | Бесплатный тариф | 14.03.2026 | частично |
GPT-4.1 gpt-4.1 | 100% | 90% | 100% | 60% | 4 / 4 | 87,5% | 348 с | $0,458 | 14.03.2026 | исторический |
GPT-5.3 Codex gpt-5.3-codex | 100% | 90% | 100% | 60% | 4 / 4 | 87,5% | 462 с | $0,721 | 14.03.2026 | исторический |
GPT-5 Mini gpt-5-mini | 100% | 90% | 100% | 60% | 4 / 4 | 87,5% | 792 с | $0,106 | 14.03.2026 | исторический |
Claude Sonnet 5 anthropic/claude-sonnet-5 | 100% | 90% | 87,5% | 60% | 4 / 4 | 84,4% | 398,53 с | $0,784292 | 14.08.2026 | проверено |
Llama 4 Maverick (Groq) groq/llama-4-maverick | 100% | 90% | 87,5% | 60% | 4 / 4 | 84,4% | 225 с | Бесплатный тариф | 14.03.2026 | исторический |
GPT OSS 120B (Groq) groq/gpt-oss-120b | 100% | 90% | 87,5% | 60% | 4 / 4 | 84,4% | 358 с | $0,013 | 14.03.2026 | исторический |
GPT OSS 20B (Groq) groq/gpt-oss-20b | 100% | 90% | 87,5% | 60% | 4 / 4 | 84,4% | 407 с | $0,014 | 14.03.2026 | исторический |
DeepSeek V4 Flash deepseek/deepseek-v4-flash-0731 | 100% | Без оценки | 87,5% | 60% | 3 / 4 | 82,5%* | 237,53 с | $0,003618 | 14.08.2026 | частично |
* Качество рассчитано только по принятым сценариям. Сценарии без оценки или с нестабильным результатом явно отмечены и не превращаются в ноль.
Правила оценки
Только измеренные результаты
- 01 / модельЗапрошенный маршрут должен присутствовать в runtime-аудите.
- 02 / вызовИзвлечение должно содержать хотя бы один подтвержденный LLM-вызов.
- 03 / качествоДля каждого сценария сравниваются строки, колонки и значения.
- 04 / ошибкиПодмены и ошибки видны, но никогда не получают балл.
Проверить модели на ваших документах
Запустим тот же аудируемый контур на репрезентативной выборке.