Недавно шесть крупнейших игроков рынка искусственного интеллекта — Nvidia, OpenAI, Anthropic, Google, Meta и xAI — подписали с Белым домом соглашение о проведении внешних проверок своих продвинутых моделей. Президент Дональд Трамп назвал договор "морально обязательным". Компании обязались привлекать независимых внешних аудиторов и назначать наблюдательных директоров для проверки отчетов и устранения выявленных проблем.
Однако эксперт Сэмюэл Венс-Лоу, возглавляющий исследовательский центр Decentralization Research Center, выразил сомнения относительно эффективности такого подхода. По его мнению, документ не предусматривает механизма выбора аудиторов, перечня проверяемых аспектов и обязательной публичности выводов. Также отсутствует ответственность за неисполнение обязательств.
Автор приводит исторический пример с аудиторской фирмой Arthur Andersen, которая получила от компании Enron крупные платежи ($52 млн за год) и впоследствии оказалась неспособна объективно оценить риски клиента. Это привело к банкротству обеих фирм и принятию закона Сарбейнса-Оксли, лишившего менеджмент права выбирать аудиторов и запретившего им предоставлять дополнительные услуги клиентам.
Венчурные обязательства крупных технологических корпораций ранее показали низкую эффективность: в 2023 году ведущие компании обещали допускать сторонних экспертов к проверке систем до запуска, однако независимая проверка показала средний показатель соблюдения лишь 53%. Восемь из шестнадцати компаний вообще не выполнили обязательство помогать пользователям находить и сообщать о проблемах.
Кроме того, даже когда внешние тесты проводятся, компания сама устанавливает условия доступа и объем предоставляемой информации. Например, некоммерческая организация METR провела тестирование модели OpenAI o3 всего три недели и отметила ограниченность доступа к данным и невозможности увидеть пошаговое рассуждение модели.
Ранее существовала проблема передачи копии обученных моделей внешним специалистам, поскольку стоимость разработки таких моделей превышает $100 млн, и передача копий несет существенные риски утечки интеллектуальной собственности. Однако недавно Google DeepMind предложил решение — проведение двойного слепого тестирования на изолированном оборудовании, аналогично клиническим испытаниям лекарств, чтобы ни разработчики, ни тестировщики не имели прямого доступа друг к другу.
По мнению автора, несмотря на технические сложности защиты оборудования, этот подход значительно эффективнее традиционного подхода к аудиту. Для повышения доверия к системе проверки ИИ-моделей автор предлагает предоставить аудиторам право самостоятельно определять, какие аспекты проверять, публиковать информацию о выбранных аудиторах и предметах проверок, а также создать внешний надзор за внутренними комитетами, рассматривающими результаты проверок.