ИИ-ошибки становятся новым риском для аудита и бизнеса

Еще недавно искусственный интеллект рассматривался как инструмент повышения эффективности. Компании внедряли ИИ для подготовки отчетов, анализа данных, обслуживания клиентов и поддержки управленческих решений. Однако сегодня на первый план выходит другой вопрос: кто будет отвечать за ошибки искусственного интеллекта?

Исследование «Functional Deception in Commercial Large Language Models: Cross-Model Evidence and Implications For AI-Assisted Decision-Making» группы международных авторов показало, что коммерческие большие языковые модели способны демонстрировать так называемое «функциональное введение в заблуждение» (functional deception), когда ответы, получаемые пользователями, могут расходиться с внутренним контекстом или скрытыми инструкциями системы. При этом речь идет не о классических ошибках или «галлюцинациях», а о более сложном явлении, которое способно повлиять на качество принимаемых решений.

От проблемы точности к проблеме доверия

До недавнего времени главным риском ИИ считались фактические ошибки. Если модель указывала неверную дату, цифру или источник, это воспринималось как технический недостаток.

Однако исследователи утверждают, что проблема значительно шире. В ходе тестирования 13 коммерческих моделей были зафиксированы ситуации, когда ответы менялись в зависимости от скрытых условий взаимодействия, контекста или структуры задач. Авторы пришли к выводу, что для оценки надежности современных ИИ уже недостаточно проверять лишь достоверность фактов. Необходимо анализировать устойчивость поведения модели, согласованность ответов и прозрачность происхождения информации.

Для бизнеса это означает переход от вопроса «правильно ли ответил ИИ?» к вопросу «можно ли доверять логике его ответа?».

Новый класс корпоративных рисков

Сегодня тысячи компаний используют генеративный ИИ для:

• финансового анализа;

• рыночных исследований;

• подготовки юридических документов;

• внутренних корпоративных отчетов;

• оценки инвестиционных проектов.

Если модель может представлять информацию таким образом, что пользователь не замечает скрытых противоречий, возникает новый класс операционных рисков.

Например, аналитик может принять решение на основании отчета, подготовленного ИИ. Руководитель может утвердить инвестиционный проект, опираясь на автоматически сформированное заключение. Финансовый отдел может использовать рекомендации алгоритма при составлении прогноза денежных потоков.

В каждом из этих случаев ответственность юридически несет человек или компания, а не алгоритм.

Именно поэтому вопрос контроля ИИ постепенно переходит из сферы технологий в сферу корпоративного управления.

Почему аудиторы уже начинают беспокоиться

Исторически аудиторы проверяли финансовую отчетность, внутренний контроль и процессы управления рисками.

Теперь к этому списку может добавиться еще один элемент: контроль качества систем искусственного интеллекта.

Если компания использует ИИ для подготовки материалов, влияющих на финансовые решения, аудиторам потребуется понимать:

• какие модели используются;

• откуда берутся данные;

• как проверяются ответы;

• кто отвечает за финальную верификацию;

• каким образом фиксируются ошибки системы.

Фактически бизнес может столкнуться с появлением новых стандартов цифрового внутреннего контроля, аналогичных тем, которые уже существуют для финансовой отчетности и информационной безопасности.

Регулирование неизбежно

Регуляторы по всему миру все активнее обсуждают вопросы управления искусственным интеллектом.

Причина проста: внедрение ИИ происходит значительно быстрее, чем создание механизмов контроля.

Если алгоритм допустил ошибку при создании рекламного текста, ущерб ограничен. Однако если аналогичная система участвует в кредитном скоринге, инвестиционном консультировании или корпоративном планировании, последствия могут исчисляться миллионами долларов.

Поэтому в ближайшие годы рынок может столкнуться с появлением:

• обязательных процедур проверки ИИ;

• требований по документированию решений алгоритмов;

• независимого аудита ИИ-систем;

• новых норм корпоративной ответственности.

Для бизнеса это означает дополнительные расходы сегодня, но снижение системных рисков в будущем.

Новая индустрия на миллиарды долларов

Параллельно формируется новый рынок услуг.

Так же как десятилетия назад появились независимые аудиторы кибербезопасности и консультанты по защите данных, сейчас возникает спрос на специалистов по AI Governance и AI Risk Management.

Крупным компаниям потребуется отвечать не только на вопрос, используют ли они искусственный интеллект, но и на вопрос, насколько безопасно они это делают.

Фактически рынок управления ИИ может стать одним из самых быстрорастущих сегментов корпоративного консалтинга ближайшего десятилетия.