Бурение, разработка месторождений, транспортировка нефти. Закрытый экзаменационный набор, человеческий базлайн и публичный рейтинг — вместо оценки «на глаз».
Десятки систем на LLM уже в промышленной эксплуатации, но ни одна не измерена по отраслевому эталону. Качество систем, влияющих на решения о бурении и разработке месторождений, сегодня оценивается «на глаз». Ниша открыта: ни в России, ни в мире отраслевого эталона для нефтегаза нет.
на языковых моделях, заявленный эффект цифровизации — свыше 45 млрд ₽
документов в базе ассистента «Гуру», до 10 тыс. обращений сотрудников в день
ассистент «АФИДА» оценивается вручную — таблицей Excel по трёхбалльной шкале
Бурение скважин, разработка месторождений, транспортировка нефти. Оценка: точные ответы (EM) и сбалансированная точность (F1).
Суточные рапорты бурения, технологические регламенты, проектные документы разработки. Точность + обязательная подтверждающая цитата.
Советчик по режимам бурения, анализ причин осложнений, гидравлический расчёт трубопровода. Экспертные рубрики + автоматический судья.
* Объём слоёв подобран под оценку трудоёмкости 1 500 ч экспертного авторинга. Закрытый экзаменационный набор защищает задания от утечки в обучающие данные моделей.
Синтез лучших практик MERA (ACL 2024), MedHELM, LegalBench, HELM и GPQA. Оригинальные задания от экспертов со ссылкой на первоисточник; раздельные роли автора, редактора и не менее трёх независимых проверяющих. Опубликованный результат живых экспертов на тех же заданиях — человеческий базлайн для сравнения с моделями.
Компактный скоуп трёх доменов позволяет выйти на публичный рейтинг за 6 месяцев.
Без доли и без размытия: взнос — операционный расход, решение на уровне бюджета. Выход в любой момент. Взнос отбивается экономией уже на двух корпоративных треках.
Следующий шаг: рабочая сессия по детализации таксономии трёх доменов с экспертами компании — 2 недели.