В нашу жизнь ворвалось много AI-терминов: модели, агенты, скиллы, базы знаний, семантические слои, инструменты, воркфлоу, evals.

По отдельности слова вроде бы понятные. Но стоит собрать их на одном слайде — и появляется ощущение, что нам снова продают обычную автоматизацию, только теперь с восемью прямоугольниками и стрелками.

При этом большинство этих терминов совсем не новые. В английском языке давно существуют skills, tools, workflows и evaluations — навыки, инструменты, рабочие процессы и оценка качества. Новым оказался не словарь, а объект, к которому мы начали его применять.

Попробуем разобраться с помощью простой аналогии. Представим, что компания нанимает нового сотрудника — только не кожаного, а искусственного.

Модель: образование и базовые способности

Модель — это базовые интеллектуальные способности нашего нового сотрудника.

Она умеет читать, писать, программировать, анализировать документы, искать закономерности и довольно убедительно рассуждать почти обо всём. Что-то вроде очень способного универсала, который прочитал огромную библиотеку и способен быстро разобраться в незнакомой теме.

Но этот универсал ничего не знает о вашей компании.

Он не понимает:

  • как именно здесь считают выручку;
  • какая таблица считается надёжным источником;
  • почему показатель «активный пользователь» у трёх команд определяется по-разному;
  • кому можно вернуть деньги без согласования;
  • почему таблица final_revenue_v7_really_final всё равно не финальная.

У модели есть общая компетентность, но нет локального контекста.

Это похоже на нового аналитика с хорошим математическим образованием. Он знает статистику и SQL, но ещё не знает, почему данные за прошлый март нужно брать не из основной витрины, а из файла, который присылает Наташа по четвергам.

База знаний: корпоративная память

Чтобы искусственный сотрудник разобрался в компании, ему нужна KB — knowledge base, база знаний.

Это корпоративная Wiki, документация, описания продуктов, правила, регламенты, результаты исследований, ответы на типовые вопросы и прочие залежи организационной памяти.

KB отвечает на вопрос:

Что сотрудник должен знать?

Например, в базе знаний могут находиться:

  • описание тарифов;
  • правила возврата;
  • документация к продукту;
  • список известных ограничений;
  • история прошлых экспериментов;
  • определения внутренних метрик;
  • инструкция по работе с системой;
  • описание ответственности разных команд.

В аналогии с человеческим сотрудником KB — это библиотека, корпоративный портал и архив документов.

Но доступ ко всей корпоративной Wiki ещё не делает человека хорошим специалистом. Можно посадить нового сотрудника перед Confluence и считать, что он прошёл онбординг. Информация у него появилась. Профессия — пока нет.

Кроме того, документы внутри компании часто противоречат друг другу или просто говорят на разных языках.

Семантический слой: корпоративный словарь

Для маркетинга клиент — тот, кто оставил контакты. Для продукта — зарегистрированный пользователь. Для финансов — тот, кто уже заплатил.

Даже слово «выручка» может обозначать несколько разных вещей:

  • сумму оплаченных заказов;
  • сумму без учёта возвратов;
  • сумму с налогами или без налогов;
  • признанную бухгалтерскую выручку;
  • прогнозируемую выручку;
  • выручку в момент оплаты или оказания услуги.

Человек часто разбирается с этим по контексту. Он знает, что в отчёте финансов речь идёт об одной выручке, а на продуктовой встрече — о другой.

Искусственный сотрудник может уверенно выбрать не то определение и так же уверенно построить на нём весь дальнейший анализ.

Здесь появляется semantic layer — семантический слой.

В нашей аналогии это корпоративный словарь и переводчик между человеческим языком и данными. Он фиксирует:

  • какие сущности существуют в бизнесе;
  • что именно означают используемые термины;
  • как сущности связаны между собой;
  • по каким правилам рассчитываются метрики;
  • где находятся соответствующие данные;
  • какие ограничения и допущения нужно учитывать.

KB может содержать десятки документов, в которых встречается слово «выручка». Семантический слой должен объяснить, какую именно выручку мы имеем в виду в конкретном контексте и как получить её из данных.

Поэтому различие можно сформулировать так:

База знаний хранит информацию, а семантический слой договаривается о значениях.

На практике граница между ними может быть размытой. Описание метрики вполне может лежать в корпоративной Wiki. Но функционально это разные задачи.

KB помогает найти документ или факт. Семантический слой помогает не перепутать смысл и связать бизнес-понятие с конкретными данными.

Скилл: профессия, разложенная на инструкции

Даже доступ к документам и единый словарь ещё не превращают сотрудника в профессионала.

Для этого нужен skill — скилл.

На скилл удобно смотреть как на должностную инструкцию для искусственного сотрудника. Только это не просто должностная инструкция, а смесь самой инструкции, регламента работы, руководства по использованию инструментов, чек-листа качества и правил эскалации.

Искусственному сотруднику мало сообщить, за что он отвечает. Нужно объяснить:

  • что делать;
  • в какой последовательности;
  • какие данные использовать;
  • что обязательно проверить;
  • какими инструментами воспользоваться;
  • какие ошибки особенно опасны;
  • в каких случаях можно действовать самостоятельно;
  • когда нужно остановиться и позвать человека;
  • в каком формате выдать результат.

Человеку можно поставить довольно общую задачу:

Изучи результаты A/B-теста и дай рекомендацию.

Опытный аналитик сам достроит недостающую процедуру. Он вспомнит про дизайн эксперимента, единицу рандомизации, SRM, качество данных, длительность теста, доверительные интервалы и множественные проверки.

Скилл делает эту невидимую профессиональную процедуру явной:

Сначала проверь дизайн эксперимента и единицу рандомизации. Затем проверь SRM, длительность теста и качество данных. Оцени эффект и доверительный интервал. Учти множественные проверки. Не путай статистическую значимость с практической. Если дизайн сломан, не маскируй проблему красивыми расчётами.

Руководителю или пользователю не нужно каждый раз писать полный регламент. Он формулирует задачу на привычном человеческом уровне, а скилл подхватывает её и раскрывает, какие профессиональные действия стоят за словами «изучи» и «дай рекомендацию».

В этом смысле скилл — не просто длинный промпт.

Промпт обычно описывает конкретное поручение:

Подготовь отчёт по итогам эксперимента.

Скилл описывает воспроизводимый способ выполнения целого класса задач:

Вот как в этой компании нужно анализировать эксперименты, какие проверки обязательны, какие источники допустимы и что считается качественным результатом.

Это уже ближе не к разовой просьбе сотруднику, а к закреплённой профессиональной компетенции.

В чем разница между скиллом, семантическим слоем и базой знаний

Различие можно свести к трём вопросам:

  • KB: что известно?
  • Семантический слой: что именно это означает?
  • Скилл: что теперь с этим делать?

Допустим, клиент просит вернуть деньги.

База знаний сообщает:

Возврат возможен в течение 14 дней, кроме нескольких категорий товаров.

Семантический слой уточняет, что в компании считается датой покупки, завершённым заказом и фактом возврата.

Скилл задаёт процедуру:

Найди заказ. Проверь дату покупки и категорию товара. Сопоставь ситуацию с правилами. Если условия выполнены, оформи возврат. Если случай относится к исключениям, передай его человеку.

Знать правила возврата ещё не значит уметь обрабатывать возвраты. Знать формулу метрики ещё не значит уметь проводить эксперимент. Иметь доступ к документации ещё не значит уметь работать.

Инструменты: доступ к рабочему месту

Даже профессиональный сотрудник мало полезен, если у него нет доступа к рабочим системам. Поэтому следующая часть конструкции — tools, инструменты. Инструментом может быть:

  • браузер;
  • база данных;
  • Python;
  • электронная почта;
  • календарь;
  • CRM;
  • редактор документов;
  • поисковая система;
  • корпоративный API;
  • система управления задачами.

База знаний может объяснить правила возврата. Скилл — задать порядок действий. Но только инструмент позволяет действительно найти заказ, проверить его статус и вернуть деньги.

У человека инструментами будут Excel, SQL-клиент, почта и внутренняя админка. У искусственного сотрудника — примерно то же самое, только доступ оформлен через программные интерфейсы. Инструменты превращают модель из советчика в исполнителя.

Workflow: производственный процесс

Отдельная инструкция ещё не образует полноценный рабочий процесс. Допустим, нужно обработать обращение клиента:

Получить сообщение → определить его тип → найти соответствующие правила → проверить данные клиента → выполнить операцию → подготовить ответ → при необходимости передать человеку.

Это и есть workflow — рабочий процесс. Workflow соединяет несколько действий, инструментов и скиллов в одну производственную цепочку. Один скилл может классифицировать обращение. Второй — применять правила возврата. Третий — писать ответ клиенту. Инструменты дают доступ к CRM и платёжной системе. Workflow определяет, в каком порядке всё это должно происходить.

Поэтому скилл и workflow тоже не одно и то же. Скилл отвечает на вопрос:

Как хорошо выполнить определённый тип работы?

Workflow отвечает:

Как несколько видов работы соединяются в один процесс?

Агент: сотрудник, которому разрешили действовать

Где-то здесь появляется агент. Агент — это уже не просто модель, которая отвечает на один вопрос. Это система, которой дали:

  • цель;
  • контекст;
  • знания;
  • скиллы;
  • инструменты;
  • возможность выполнить несколько шагов;
  • некоторую свободу выбора следующего действия.

Модель может написать инструкцию по возврату. Агент может сам найти заказ, проверить условия, вызвать нужный инструмент и подготовить ответ.

Поэтому фраза «агент — это модель с инструментами» полезна, но немного упрощает картину. Инструменты действительно важны, однако агентность появляется ещё и там, где система сама планирует несколько шагов, отслеживает промежуточный результат и выбирает дальнейшее действие.

В нашей аналогии модель — это способности человека, а агент — сотрудник, которого посадили на рабочее место, дали ему задачу, доступы и некоторую самостоятельность.

Evals: не экзамен по красноречию, а приёмка работы

Чем больше самостоятельности получает искусственный сотрудник, тем важнее evals — процедуры оценки качества. Evals часто понимают слишком узко: как набор тестовых вопросов, на которых измеряется качество ответов модели.

Для реальной системы этого недостаточно. Нужно проверять не только итоговый текст, но и весь способ выполнения задачи:

  • нашёл ли агент правильный документ;
  • выбрал ли нужное определение метрики;
  • не пропустил ли обязательную проверку;
  • использовал ли допустимый источник данных;
  • правильно ли вызвал инструмент;
  • не выдумал ли отсутствующую информацию;
  • остановился ли при недостатке данных;
  • передал ли решение человеку в неоднозначном случае;
  • соответствует ли результат требованиям бизнеса.

Для человека это смесь экзамена, испытательного срока, ревью, контроля качества и аудита. Причём хороший eval должен проверять не то, выглядит ли ответ умным, а то, выполнена ли работа правильно.

Как всё складывается вместе

В итоге получается почти обычная компания:

  • модель — базовые способности и общее образование сотрудника;
  • KB — корпоративная память и набор доступных знаний;
  • семантический слой — общий язык компании и связь бизнес-понятий с данными;
  • скилл — профессиональный способ выполнения конкретного класса задач;
  • tools — рабочие инструменты и доступ к системам;
  • workflow — производственный процесс, связывающий несколько действий;
  • агент — сотрудник, которому разрешили самостоятельно двигаться к результату;
  • evals — приёмка, аттестация и контроль качества.

Эта схема, конечно, не является строгой научной классификацией. В разных продуктах термины используются немного по-разному. Скилл может содержать кусок базы знаний, агент — реализовывать целый workflow, а семантический слой — храниться в той же системе, что и документация.

Но как ментальная модель эта аналогия помогает увидеть главное: речь идёт не о наборе модных технических компонентов, а о попытке собрать искусственного участника рабочего процесса.

Возвращение должностных инструкций

Интересно наблюдать за организациями, которые годами гордятся отсутствием подробных инструкций: плоские иерархии, самоорганизация, минимум бюрократии. Взрослые профессионалы сами разберутся, договорятся и примут решение по ситуации.

С человеческими сотрудниками это иногда работает. Они считывают контекст, спрашивают коллег и постепенно осваивают корпоративный здравый смысл. Это называется культурой, автономией и зрелостью команды, хотя часто просто означает, что никто не хочет писать документацию.

Большая часть реальной работы существует не в формальных документах, а в головах сотрудников:

  • каким данным можно доверять;
  • кого нужно предупредить перед запуском;
  • какое исключение действительно допустимо;
  • какие цифры выглядят подозрительно;
  • когда формальное правило лучше не применять буквально;
  • что именно подразумевается под фразой «сделай нормальный отчёт».

Человек усваивает это через общение, наблюдение, ревью и собственные ошибки. Один раз ломает прод — и получает особенно качественный онбординг. Но искусственный сотрудник корпоративный вайб считывает плохо.

Ему недостаточно сказать:

Действуй самостоятельно, ориентируйся на ценности компании и проявляй здравый смысл.

Быстро выясняется, что ценности нужно разложить на правила, здравый смысл — на проверяемые шаги, а автономию — на конкретные границы полномочий. Организации, которые долго объясняли, почему инструкции мешают творчеству и инициативе, теперь сами пишут для AI подробные скиллы:

Сначала сделай это. Затем проверь то. В эту систему ходить можно, в эту нельзя. В этом случае действуй самостоятельно, а в этом обязательно позови человека.

Ирония в том, что нейросети могут вернуть в бирюзовые организации процессы, регламенты и должностные инструкции, от которых те когда-то торжественно отказались. Только теперь это называется skill engineering и выглядит достаточно инновационно.

AI как инструмент организационного самоанализа

Самое интересное здесь не сами слова. Модель, скилл, инструмент, рабочий процесс и оценка качества — по большей части старые понятия. AI просто заставляет нас применить их к новому типу исполнителя. Но вместе с этим он заставляет компании вытаскивать наружу работу, которая раньше существовала только в головах людей.

Как именно мы принимаем решения? Что обязательно проверяем? Какими источниками пользуемся? Что считаем ошибкой? Где заканчивается самостоятельность сотрудника? В каком случае нужно передать решение руководителю? Что вообще считается хорошим результатом?

Для человеческого сотрудника плохой процесс ещё можно прикрыть опытом, инициативой, интуицией и разговором у кофемашины. Искусственному приходится объяснять всё словами. И тут внезапно выясняется, что проблема часто не в том, что нейросеть плохо понимает задачу, а в том, что компания сама никогда толком не формулировала, как эта задача должна выполняться.