// отраслевой бенчмарк LLM для нефтегаза

Единый эталон
качества моделей
в нефтегазе.

Бурение, разработка месторождений, транспортировка нефти. Закрытый экзаменационный набор, человеческий базлайн и публичный рейтинг — вместо оценки «на глаз».

etalon_scope.log● этап 1
знаниевый1 100 вопросов
документный300 пар «вопрос–ответ»
прикладной60 инженерных задач
экспертный авторинг1 500 ч
// проблема

Отрасль внедряет языковые модели вслепую.

Десятки систем на LLM уже в промышленной эксплуатации, но ни одна не измерена по отраслевому эталону. Качество систем, влияющих на решения о бурении и разработке месторождений, сегодня оценивается «на глаз». Ниша открыта: ни в России, ни в мире отраслевого эталона для нефтегаза нет.

«Газпром нефть»
22 проекта

на языковых моделях, заявленный эффект цифровизации — свыше 45 млрд ₽

«Татнефть»
500 тыс.

документов в базе ассистента «Гуру», до 10 тыс. обращений сотрудников в день

«Газпром ЦПС»
1 / 0,5 / 0

ассистент «АФИДА» оценивается вручную — таблицей Excel по трёхбалльной шкале

// бенчмарк из трёх слоёв задач
01~1 100 вопросов

Знаниевый

Бурение скважин, разработка месторождений, транспортировка нефти. Оценка: точные ответы (EM) и сбалансированная точность (F1).

02~300 пар «вопрос–ответ»

Документный

Суточные рапорты бурения, технологические регламенты, проектные документы разработки. Точность + обязательная подтверждающая цитата.

03~60 инженерных задач

Прикладной

Советчик по режимам бурения, анализ причин осложнений, гидравлический расчёт трубопровода. Экспертные рубрики + автоматический судья.

* Объём слоёв подобран под оценку трудоёмкости 1 500 ч экспертного авторинга. Закрытый экзаменационный набор защищает задания от утечки в обучающие данные моделей.

// три домена таксономии

Бурение скважин

  • <Проектирование: конструкция, профиль, КНБК
  • <Растворы и промывка
  • <Режимы бурения и осложнения: ГНВП, поглощения, прихваты
  • <Суточные рапорты и супервайзинг

Разработка месторождений

  • <Системы разработки и сетки скважин
  • <Заводнение и методы увеличения нефтеотдачи
  • <Анализ разработки: обводнённость, темпы падения
  • <ГТМ: гидроразрыв пласта, обработки призабойной зоны

Транспортировка нефти

  • <Промысловый сбор и подготовка нефти
  • <Магистральные нефтепроводы: гидравлика, режимы перекачки
  • <Резервуарные парки, учёт и качество (СИКН)
  • <Целостность трубопроводов и нормативная база
// методология

Один прогон.
Тот же результат.

Синтез лучших практик MERA (ACL 2024), MedHELM, LegalBench, HELM и GPQA. Оригинальные задания от экспертов со ссылкой на первоисточник; раздельные роли автора, редактора и не менее трёх независимых проверяющих. Опубликованный результат живых экспертов на тех же заданиях — человеческий базлайн для сравнения с моделями.

$ etalon verify --set golden --public
> закрытый набор: обучение на заданиях запрещено
> детектор «подглядывания»: активен
> условия экзамена: единые для всех моделей
> человеческий базлайн: опубликован ok
> вердикт: измеримо [эталон]
// дорожная карта
мес 0–1
Запуск
NDA, детализация таксономии с экспертами компаний, гайдлайны и обучение экспертов
мес 1–4
Производство заданий
Авторинг тремя доменными группами, независимая валидация 30% часов, пилотные прогоны
мес 4–6
Релиз этапа 1
Результат живых экспертов, калибровка автоматического судьи, публичный рейтинг
мес 6–12
Этап 2 и монетизация
Зарубежный бенчмарк, тарифы: взносы, подключения, подписки, корпоративные треки

Компактный скоуп трёх доменов позволяет выйти на публичный рейтинг за 6 месяцев.

// предложение для корпоративных фондов

Станьте якорным
членом консорциума.

9 млн ₽/год · 2–3 места

Без доли и без размытия: взнос — операционный расход, решение на уровне бюджета. Выход в любой момент. Взнос отбивается экономией уже на двух корпоративных треках.

  • 01Место в наблюдательном совете: стратегия, бюджет, тарифы, приём новых членов
  • 02Полный срез рейтинга за 4 недели до публикации + закрытая аналитика по доменам
  • 03Скидка 50% на закрытые корпоративные треки и приоритет в очередях
  • 04Голос в методологическом совете — влияние на стандарт оценки AI в отрасли
  • 05Бренд соучредителя первого отраслевого стандарта оценки AI в нефтегазе
Запросить предложение →

Следующий шаг: рабочая сессия по детализации таксономии трёх доменов с экспертами компании — 2 недели.