Человек в контуре ИИ: почему «проверено сотрудником» ещё не означает контроль

ИИ подготовил аналитическую записку, ответ клиенту или фрагмент кода. Сотрудник просмотрел результат, исправил пару формулировок и передал его дальше.

Формально человек остался в контуре. Но был ли результат действительно проверен?

Не обязательно.

Убедительный ответ легко принять за правильный. Особенно если он хорошо написан, совпадает с ожиданиями и позволяет быстро закрыть задачу. В этот момент человек может присутствовать в процессе, но почти не влиять на качество решения.

Есть и другая крайность: сотрудник заново выполняет всю работу вручную, чтобы убедиться, что ИИ не ошибся. Тогда контроль становится настолько дорогим, что поглощает значительную часть полученного ускорения.

Поэтому вопрос не в том, должен ли человек «посмотреть результат». Важно понять, какое профессиональное суждение требуется в конкретной точке процесса и есть ли у сотрудника условия, чтобы его применить.

Присутствие человека не создаёт сильную систему автоматически

Формулу human-in-the-loop часто используют как универсальную гарантию: ИИ предлагает, человек проверяет и принимает окончательное решение.

Однако исследования показывают, что простого соединения возможностей человека и технологии недостаточно.

Систематический обзор и метаанализ 106 экспериментов показал: системы «человек + ИИ» в среднем превосходили человека, работающего без ИИ, но не превосходили лучшего участника – человека или ИИ – по отдельности. В задачах создания контента сочетание чаще давало выигрыш, а в задачах принятия решений нередко возникали потери.

Авторы подчёркивают высокую неоднородность исследований: этот вывод нельзя механически переносить на любой рабочий процесс. Но он ставит под сомнение распространённое ожидание, что добавление человека к ИИ само по себе даст лучший результат.

Причина может быть не только в качестве модели. Значение имеет то, как распределены внимание, доверие и ответственность.

Если сотрудник считает ИИ надёжнее себя, он рискует принять ошибочную рекомендацию. Если не доверяет ему совсем – будет перепроверять каждый шаг и потеряет время. Исследователи называют желаемое состояние appropriate reliance – обоснованным доверием: способностью принять корректный результат и остановить некорректный.

Это сложнее, чем просто «доверять, но проверять».

Убедительное объяснение тоже может мешать

Кажется логичным: если ИИ не только выдаёт ответ, но и объясняет его, человеку будет легче заметить ошибку.

На практике объяснение не всегда улучшает решение. Оно может повысить доверие даже к неверной рекомендации – особенно если звучит последовательно и подкрепляет первоначальную интуицию сотрудника.

В одном из экспериментов более полезными оказались так называемые cognitive forcing functions – механизмы, которые не позволяют принять рекомендацию автоматически. Например, человеку сначала предлагают сформулировать собственное мнение или рассмотреть альтернативный вариант и только затем показать ответ ИИ.

Важен не сам интерфейс приёма результата, а момент, в который сотрудник начинает думать самостоятельно.

Если первое суждение уже сформировано моделью, дальнейшая проверка легко превращается в поиск подтверждений. Если критерии определены заранее, человеку проще оценивать результат не по общему впечатлению, а по соответствию задаче.

Поэтому реальный контроль начинается раньше финального просмотра – с понимания цели, ограничений и признаков приемлемого результата.

Не все ответы ИИ требуют одинаковой проверки

Проверять каждый результат с максимальной глубиной невозможно и не нужно. Черновик внутреннего сообщения и изменение механизма авторизации несут разный риск, даже если оба созданы одной моделью.

Глубина человеческого контроля должна зависеть как минимум от трёх обстоятельств:

• насколько серьёзными будут последствия ошибки;
• насколько легко её обнаружить до использования результата;
• можно ли быстро отменить действие и восстановить ситуацию.

Если ошибка малозначима, заметна и обратима, может быть достаточно быстрой проверки или контроля выборки. Если последствия велики, а ошибка способна долго оставаться незаметной, одного взгляда автора недостаточно: требуется независимое профессиональное суждение.

Например, неудачный вариант заголовка легко отклонить и заменить. Ошибка в аналитической записке опаснее, если на её основе распределят бюджет. Изменение кода может пройти формальную проверку и всё же создать архитектурную или security-проблему, последствия которой проявятся позднее.

Полезный вопрос здесь звучит не «насколько хорошо ИИ обычно справляется с такими задачами?», а иначе:

Что произойдёт, если именно этот результат окажется убедительным, но неверным?

Ответ помогает понять, где допустима скорость, а где организации необходимо сохранить независимость решения.

Проверка – не «лёгкая часть» работы

Когда ИИ уже создал сильный первый вариант, может показаться, что проверить его способен менее опытный сотрудник. Но правдоподобную ошибку нередко сложнее обнаружить, чем получить сам ответ.

Проверяющему нужно отличить логичное объяснение от обоснованного, увидеть пропущенный контекст, оценить последствия допущений и понять, когда стандартная рекомендация не подходит конкретной ситуации.

Метаанализ взаимодействия человека и ИИ обнаружил важную закономерность: когда люди сами справлялись с задачей лучше ИИ, совместная система чаще превосходила обоих. Когда ИИ был сильнее человека, добавление человека могло снижать результат. Одно из возможных объяснений – более компетентный специалист лучше понимает границы собственного знания и рекомендации модели.

Исследование 319 работников знаний также выявило связь между более высокой уверенностью в генеративном ИИ и меньшим заявленным критическим усилием. При этом критическое мышление не исчезало полностью, а смещалось к проверке информации, интеграции ответа и управлению задачей. Поскольку исследование основано на опросе и самоотчётах, оно не доказывает причинную связь. Но оно показывает, насколько важными становятся навыки верификации и контекстного суждения.

Компания рискует ошибиться, если считает проверку остаточной операцией: быстрым действием после того, как основную интеллектуальную работу уже выполнил ИИ. В задачах с высокой неопределённостью именно проверка может оказаться самой сложной частью.

Как отличить контроль от формального согласования

Для начала не нужен многостраничный регламент. Достаточно посмотреть на несколько признаков.

Контроль, вероятно, стал формальным, если:

• сотрудник не может назвать критерии, по которым принимает результат;
• источники, данные и допущения модели остаются неизвестными;
• проверяющий не обладает достаточной экспертизой или доступом к контексту;
• человек отвечает за решение, но не может его изменить или остановить;
• после внедрения ИИ review стал быстрее, а возвраты и исправления возникают уже после приёмки.

И наоборот: контроль становится содержательным, когда человек понимает назначение результата, знает, где особенно опасна ошибка, и имеет возможность запросить доказательства, изменить решение или отказаться от него.

Один практический шаг, который команда может сделать уже сейчас, – до начала работы с ИИ договориться о трёх вещах:

1. Для какого решения создаётся результат.
2. Какая ошибка в нём будет критической.
3. Кто и на каком основании сможет принять или остановить его использование.

Это ещё не полноценная система контроля. Но даже такая договорённость снижает вероятность того, что проверка сведётся к оценке «выглядит убедительно».

Человек в контуре – это спроектированная роль

Реальный человеческий контроль не означает, что сотрудник должен повторять работу ИИ вручную или соревноваться с ним в скорости.

Ценность человека проявляется там, где нужно определить цель, учесть контекст, выбрать критерии, оценить последствия и принять решение в условиях неопределённости.

В одних задачах для этого достаточно минуты. В других понадобится независимый специалист. А часть решений не следует передавать ИИ как окончательному субъекту выбора, даже если он полезен при поиске информации и подготовке вариантов.

Поэтому формулировка «решение всё равно принимает человек» сама по себе ничего не гарантирует. Важно, понимает ли человек, что именно он принимает, способен ли заметить критическую ошибку и имеет ли право остановить процесс.

Проектирование такого контроля требует больше, чем универсального чек-листа. Необходимо учитывать структуру задачи, уровень риска, компетентность участников, способы верификации и место результата в общем процессе. Именно здесь использование ИИ перестаёт быть вопросом личной осторожности сотрудника и становится задачей дизайна труда.

Когнитивный дизайн труда с ИИ начинается не с требования «проверять всё». Более точный вопрос звучит так:

Какой вид человеческого суждения нужен здесь – и что необходимо дать человеку, чтобы он действительно мог его применить?

Следующий материал

Кто отвечает за совместное решение человека и ИИ

Разберём, как распределяется ответственность, когда часть результата создаёт ИИ, человек его проверяет, а последствия возникают на уровне команды и компании.

Материал готовится