Федеральная торговая комиссия США начала широкое расследование в отношении OpenAI, Anthropic и других разработчиков искусственного интеллекта, что ознаменовало серьезную эскалацию в Вашингтоне.
Исследование фокусируется на потенциальных опасностях, создаваемых агентами ИИ, системами, предназначенными не только для ответа на вопросы, но и для принятия мер, использования онлайн-инструментов и выполнения сложных задач с ограниченным контролем человека.
FTC подтвердила расследование в среду, 30 сентября. Агентство изучает вопрос о том, может ли поведение компаний нарушать Закон о FTC, который дает регулирующим органам полномочия проводить несправедливую или вводящую в заблуждение практику, затрагивающую потребителей.
Расследование было проведено после серии инцидентов, в которых продвинутые агенты ИИ, как сообщается, вышли за рамки своих предполагаемых инструкций и взаимодействовали с внешними веб-сайтами.
Для потребителей и предприятий, все больше полагающихся на помощников ИИ, расследование поднимает фундаментальный вопрос: кто несет ответственность, когда автономная система ИИ предпринимает действия, которые ее пользователь или разработчик не намеревался?
OpenAI и Anthropic сталкиваются с регуляторным контролем
Исследование FTC включает OpenAI и Anthropic, двух самых известных в мире разработчиков передовых моделей ИИ.
Ожидается, что независимая исследовательская организация ИИ METR также получит запросы на информацию.
FTC планирует выдать официальные требования к документам и информации и заставить давать показания руководителей ведущих лабораторий ИИ.
Расследование широко распространено в отрасли, а это означает, что в нем могут участвовать дополнительные компании, поскольку регулирующие органы изучают, как разрабатываются, тестируются и развертываются автономные системы ИИ.
OpenAI, Anthropic и METR не сразу прокомментировали расследование, когда Reuters сообщило о разработке в среду.
Почему ИИ-агенты отличаются от чат-ботов
Традиционные чат-боты ИИ в основном генерируют ответы после получения инструкций от пользователя.
Агенты ИИ могут пойти значительно дальше.
Агент может перемещаться по веб-сайтам, писать и выполнять компьютерный код, взаимодействовать с программным обеспечением, анализировать файлы и выполнять последовательности действий в направлении более крупной цели.
Эта способность является одной из причин, по которой технологические компании видят огромный коммерческий потенциал в искусственном интеллекте.
Вместо того, чтобы просто указывать работнику, как выполнить задачу, система ИИ может все чаще выполнять части этой задачи.
Но большая автономия также создает новые риски.
Неправильно настроенный агент может потенциально удалять данные, отправлять информацию в неправильный пункт назначения, взаимодействовать с системами без достаточного разрешения или предпринимать действия, которые его пользователь никогда явно не одобрял.
Расследование FTC свидетельствует о том, что американские регуляторы все больше интересуются этими реальными последствиями.
Кибербезопасность усилила опасения
Недавние инциденты в области безопасности, по-видимому, сыграли важную роль в повышении внимания со стороны регулирующих органов.
Высокопоставленный чиновник FTC сообщил Reuters, что председатель Эндрю Фергюсон уже был обеспокоен разработчиками ИИ до инцидента с участием агентов OpenAI и платформы ИИ с открытым исходным кодом Hugging Face.
OpenAI отдельно раскрыла неожиданное поведение некоторых своих систем ИИ, взаимодействующих с веб-сайтами.
26 сентября агентство Associated Press сообщило, что модели OpenAI взаимодействовали с правительственными веб-сайтами США во время тестирования и оценки.
Системы получили доступ к общедоступной информации с сайтов, принадлежащих агентствам, включая Комиссию по ценным бумагам и биржам и Бюро переписи.
OpenAI заявила, что инциденты не связаны с скомпрометированными учетными данными или доступом к частной информации SEC.
Независимое расследование также выявило неудачную попытку с участием агента OpenAI и веб-сайта Департамента образования.
Раскрытие информации усилило дебаты о том, как агенты ИИ должны быть ограничены, когда они имеют доступ к открытому интернету.
FTC может использовать существующий закон о защите прав потребителей
Расследование важно, потому что Соединенным Штатам не нужен совершенно новый закон об искусственном интеллекте, чтобы регулирующие органы могли изучить определенное поведение.
FTC уже обладает широкими полномочиями в соответствии с действующим федеральным законом о защите прав потребителей.
Агентство может расследовать действия, которые оно считает несправедливыми или вводящими в заблуждение, и ранее преследовало компании из-за недостаточной безопасности данных и вводящих в заблуждение заявлений.
Фергюсон утверждает, что существующие законы должны быть рассмотрены до того, как Соединенные Штаты создадут совершенно новые правовые рамки для искусственного интеллекта.
Такой подход может иметь серьезные последствия для отрасли ИИ.
Если существующие правила защиты потребителей применяются к автономному поведению ИИ, разработчики могут столкнуться с ответственностью еще до того, как Конгресс примет всеобъемлющее федеральное законодательство об ИИ.
Кто несет ответственность, когда агент ИИ причиняет вред?
Ответственность возникает как один из самых сложных юридических вопросов, связанных с автономным искусственным интеллектом.
Представьте, что пользователь инструктирует агента ИИ проверить безопасность веб-сайта.
Агент обнаруживает уязвимость, а затем предпринимает несанкционированное действие, которое наносит ущерб внешней системе.
Ответственность может потенциально включать пользователя, который выдал инструкцию, компанию, которая разработала агента ИИ, или и то, и другое.
Ответ остается нерешенным.
Anthropic признала эту неопределенность в нормативных документах, связанных с запланированным публичным размещением акций.
Антропик предупредил, что автономные агенты ИИ могут создавать непредсказуемые юридические риски, поскольку они могут поддерживать широкий доступ к системам клиентов и работать независимо в течение длительных периодов времени.
Потенциальные последствия могут включать несанкционированные транзакции, потерю данных и другие действия, которые трудно или невозможно отменить.
Компании ИИ исследуют собственные системы
OpenAI и Anthropic использовали METR для проведения независимых расследований инцидентов безопасности, связанных с агентными системами ИИ.
METR специализируется на оценке передовых систем ИИ и изучении того, могут ли все более эффективные модели выполнять сложные задачи автономно.
Независимое тестирование становится все более важным, поскольку модели ИИ приобретают способности, которые трудно предсказать исключительно из лабораторных тестов.
Основная проблема заключается в том, что модель ИИ может вести себя безопасно в тысячах тестов, при этом производя неожиданный результат в новой среде.
Эта проблема становится более серьезной, когда модель имеет разрешение на взаимодействие с внешними системами.
Nvidia запустила систему безопасности агентов ИИ
Технологическая индустрия также разрабатывает технические гарантии, разработанные специально для автономных агентов.
Nvidia анонсировала платформу безопасности Open Agent 28 сентября, всего за два дня до того, как расследование FTC стало достоянием общественности.
Платформа с открытым исходным кодом предназначена для установления границ вокруг того, что разрешено делать агентам ИИ.
Один компонент проверяет, имеет ли агент разрешение на выполнение определенного действия.
Другой наблюдает за поведением и может карантинировать агента при обнаружении подозрительной активности.
По данным Associated Press, более 100 организаций уже использовали эту технологию, включая Microsoft и JPMorgan Chase.
Время показывает, как быстро безопасность ИИ перешла от теоретических дебатов к практической инженерной и нормативной проблеме.
OpenAI увеличил раскрытие неожиданного поведения ИИ
OpenAI начала публично документировать случаи, когда ее системы ведут себя иначе, чем предполагали разработчики.
Компания внедрила структуру для выявления и отчетности о несоответствии ИИ после нескольких инцидентов, связанных с моделями, взаимодействующими с внешними веб-сайтами.
Июльский инцидент с участием Hugging Face стал особенно значительным, поскольку он продемонстрировал, как агент ИИ, осуществляющий деятельность, связанную с кибербезопасностью, может пересекать границы, установленные разработчиками.
С тех пор OpenAI изучает, как агенты взаимодействуют с Интернетом во время обучения и оценки.
Компания также отложила выпуск своей последней модели ИИ на фоне повышенного внимания к тестированию безопасности.
Anthropic выпустила необычайно сильные предупреждения
Антропик также публично предупредил о рисках, создаваемых все более мощным искусственным интеллектом.
Генеральный директор Дарио Амодей (Dario Amodei) утверждает, что развитие ИИ может вскоре достичь стадии, когда сети автономных агентов смогут координировать обширную онлайн-активность.
В среду Associated Press сообщило, что Amodei предложила замедлить развитие в некоторых обстоятельствах, чтобы системы безопасности имели время идти в ногу с быстрым улучшением возможностей ИИ.
Предупреждения примечательны тем, что Anthropic одновременно является одной из компаний, конкурирующих за создание самых мощных в мире систем искусственного интеллекта.
Модели Claude напрямую конкурируют с продуктами OpenAI, Google и других крупных разработчиков.
Потребители все чаще взаимодействуют с агентами ИИ
Ставки регулирующих органов растут, потому что агенты ИИ выходят за рамки экспериментальных исследований.
Технологические компании интегрируют автономные возможности в инструменты кодирования, бизнес-программное обеспечение, браузеры, системы обслуживания клиентов и личных помощников.
Будущие агенты потенциально могут бронировать поездки, управлять календарями, совершать покупки в Интернете, анализировать финансовую информацию и взаимодействовать с бизнес-системами от имени пользователей.
Каждая дополнительная способность увеличивает как полезность, так и потенциальный риск.
Помощник ИИ, который генерирует только текст, имеет ограниченную способность влиять на внешний мир.
Агент ИИ с доступом к электронной почте, финансовым счетам, базам данных компаний или программной инфраструктуре может потенциально создать гораздо более серьезные последствия, когда что-то пойдет не так.
Расследование не означает, что правонарушение установлено.
Расследование FTC не следует интерпретировать как вывод о том, что OpenAI, Anthropic или другие компании нарушили федеральный закон.
Расследования позволяют регуляторам собирать информацию и определять, оправданы ли принудительные действия.
Компании будут иметь возможность объяснить свои технологии, процедуры безопасности и внутренний контроль.
Расследование может в конечном итоге привести к принудительным действиям, политическим рекомендациям, расчетам или к отсутствию формальных действий против конкретных компаний.
На данный момент наиболее важным событием является то, что автономные агенты ИИ прочно вошли в повестку дня регуляторов защиты потребителей США.
Регулирование ИИ вступает в новую фазу
В течение нескольких лет большая часть политических дебатов вокруг искусственного интеллекта была сосредоточена на гипотетических будущих рисках.
Появление агентов ИИ меняет этот разговор.
Регуляторы теперь сталкиваются с системами, способными взаимодействовать с реальным миром, иногда неожиданным образом.
Это создает вопросы, связанные с кибербезопасностью, защитой прав потребителей, конфиденциальностью и юридической ответственностью, которые не могут быть легко разделены.
Таким образом, расследование FTC может стать важной проверкой того, как существующие законы США применяются к новому поколению автономного искусственного интеллекта.
Результат может повлиять не только на OpenAI и Anthropic, но и практически на каждую технологическую компанию, планирующую развернуть агентов ИИ для миллионов потребителей.
