Эксперт Т1 рассказал, как внедрить ИИ, которому доверятся пользователи
Чтобы пользователи доверяли ИИ-системе, поставщик должен доказать, что она стабильно выдает нужный результат и не выходит за заданные границы. Для финансовой отрасли такой доказательной базой может стать «паспорт доверия» — набор документов по результатам испытаний для конкретной версии, конфигурации и сценария использования модели. Об этом заявил заместитель руководителя направления «Искусственный интеллект» ИТ-холдинга Т1 Сергей Карпович на международном форуме Kazan Digital Week.
Паспорт доверия, по словам эксперта, состоит из четырех блоков. Первый описывает, какую бизнес-задачу решает система, кто ею пользуется, к каким данным и действиям у нее есть доступ. Не менее важно перечислить, чего система делать не должна: на какие запросы отказаться отвечать, когда передать диалог сотруднику, какие операции ей запрещены, даже если технически она может их выполнить. Еще до испытаний банк и поставщик договариваются об измеримых критериях допуска — качестве ответов, доле критических ошибок, устойчивости к атакам, скорости работы.
Второй блок раскрывает состав ИИ-системы: какая базовая модель используется и как ее дообучали, откуда берутся данные, какие внешние сервисы и инструменты задействованы и на каких условиях.
Поставщик должен гарантировать, что компоненты будут поддерживаться и оставаться безопасными. Если каких-то сведений нет — например, разработчик базовой модели не раскрывает данные для обучения, — это нужно честно указать и компенсировать собственными проверками.
Третий блок — тестирование и приемка. Здесь важнее не пройти испытания, а зафиксировать ситуации, в которых система не дает нужного результата. Для этого ее проверяют на сложных и граничных случаях, под нагрузкой, имитируют атаки. При этом результаты действительны только для протестированной версии: новая модель, другой промпт или обновленная база знаний требуют повторной проверки.
Четвертый компонент паспорта доверия — доказанная безопасность архитектуры. Заказчик должен видеть, как данные проходят между системами, как работа системы контролируется и при необходимости отключается. Особенно важно это при запуске ИИ-агентов.
Агент не должен получать больше прав, чем человек, от имени которого он действует.