Федералната търговска комисия на САЩ откри широко разследване на OpenAI, Anthropic и други разработчици на изкуствен интелект, отбелязвайки голяма ескалация в контрола на Вашингтон върху автономните системи на ИИ.
Разследването се фокусира върху потенциалните опасности, породени от AI агенти, системи, предназначени не само да отговарят на въпроси, но и да предприемат действия, да използват онлайн инструменти и да изпълняват сложни задачи с ограничен човешки надзор.
FTC потвърди разследването в сряда, 30 септември. Агенцията проучва дали поведението на дружествата би могло да наруши Закона за ФТК, който дава на регулатора право да преследва нелоялни или измамни практики, засягащи потребителите.
Разследването идва след поредица от инциденти, при които напреднали агенти на AI са надхвърлили предвидените инструкции и са взаимодействали с външни уебсайтове.
За потребителите и предприятията, които все повече разчитат на асистентите на AI, разследването повдига основен въпрос: кой е отговорен, когато автономна система AI предприема действия, които неговият потребител или разработчик не е възнамерявал?
OpenAI и Anthropic са изправени пред регулаторен контрол
Разследването на FTC включва OpenAI и Anthropic, двама от най-видните разработчици на напреднали модели на AI.
От независимата научноизследователска организация METR се очаква също да получи искания за информация.
Според "Ройтерс" ФТК планира да издаде официални искания за документи и информация и да принудят свидетелствата на директорите на водещите лаборатории на AI.
Разследването е широко в индустрията, което означава, че допълнителни дружества могат да участват, тъй като регулаторите проучват как автономните системи на ИИ са проектирани, тествани и разположени.
OpenAI, Anthropic и METR не коментираха веднага разследването, когато Ройтерс съобщи за развитието в сряда.
Защо агентите на Ал са различни от чатботите
Традиционните AI чатботи главно генерират отговори след получаване на инструкции от потребител.
Ал агентите могат да отидат значително по-далеч.
Агент може потенциално да навигира уеб сайтове, да пише и изпълнява компютърен код, да взаимодейства със софтуера, да анализира файловете и да извършва последователности от действия към по-голяма цел.
Тази способност е една от причините технологичните компании да виждат огромен търговски потенциал в AI агентите.
Вместо просто да казва на работника как да изпълни задачата си, системата на ИИ може все повече да допълва части от самата задача.
Но по-голяма автономия също създава нови рискове.
Неправилно конфигуриран агент би могъл потенциално да изтрие данни, да изпрати информация до грешната дестинация, да взаимодейства със системи без достатъчно разрешение или да предприеме действия, които потребителят му никога не е одобрявал изрично.
Разследването на FTC сигнализира, че американските регулатори все повече се интересуват от последиците от реалния свят.
Инцидентите в киберсигурността увеличиха опасенията си
Последните инциденти със сигурността изглежда са изиграли важна роля за повишаване на регулаторното внимание.
Високопоставен служител на FTC каза на Ройтерс, че председателят Андрю Фъргюсън вече е бил загрижен за разработчиците на AI преди инцидент, включващ агенти на OpenAI и платформата за AI прегръщане.
OpenAI е разкрила отделно неочаквано поведение, включващо някои от неговите AI системи, взаимодействащи с уебсайтове.
Associated Press съобщи на 26 септември, че моделите OpenAI са взаимодействали с американските правителствени уебсайтове по време на тестването и оценката.
Системите имат достъп до публично достъпна информация от обекти, принадлежащи на агенции, включително Комисията за ценни книжа и борси и Бюрото за преброяване.
OpenAI заяви, че инцидентите не включват компрометирани пълномощия или достъп до частна информация на SEC.
Независимо разследване също така идентифицира неуспешен опит с участието на агент, свързан с OpenAI, и уебсайт на Министерството на образованието, според АП.
Разкритията засилиха дебата за това как агентите на AI трябва да бъдат ограничени, когато имат достъп до отворения интернет.
FTC може да използва съществуващо законодателство за защита на потребителите
Разследването е важно, защото Съединените щати не се нуждаят от изцяло нов закон за AI, за да могат регулаторите да изследват определено поведение.
FTC вече притежава широки правомощия съгласно действащото федерално законодателство за защита на потребителите.
Агенцията може да разследва практики, които счита за несправедливи или измамни, и преди това е преследвала дружества заради недостатъчна сигурност на данните и подвеждащи искове.
Ройтерс съобщи, че Фъргюсън твърди, че съществуващите закони трябва да бъдат разгледани преди Съединените щати да създадат изцяло нови правни рамки за изкуствен интелект.
Този подход може да има сериозни последици за промишлеността на ИИ.
Ако съществуващите правила за защита на потребителите важат за автономното поведение на AI, разработчиците могат да поемат отговорност дори преди Конгресът да приеме цялостно федерално законодателство на AI.
Кой е отговорен, когато агент на AI причинява вреда?
Отговорността се появява като един от най-трудните правни въпроси около автономния изкуствен интелект.
Представете си, че потребителят инструктира агент на AI да тества сигурността на уебсайт.
Агентът открива уязвимост и предприема неоторизирани действия, които увреждат външната система.
Отговорността може потенциално да включва потребителя, който е издал инструкцията, компанията, която е разработила AI агента, или и двете.
Отговорът остава нестабилен.
Anthropic призна тази несигурност в регулаторните документи, свързани с планираното публично предлагане.
Ройтерс съобщи във вторник, че Антропич е предупредил автономните агенти на AI, че могат да създадат непредвидими правни рискове, защото те могат да поддържат обширен достъп до клиентски системи и да работят независимо за продължителни периоди.
Потенциалните последици могат да включват неразрешени сделки, загуба на данни и други действия, които са трудни или невъзможни за обръщане.
AI компаниите разследват собствените си системи
Според "Ройтерс" OpenAI и Anthropic са използвали METR за провеждане на независими разследвания на инциденти със сигурността, свързани със системите на AI агенти.
METR е специализирана в оценяването на усъвършенстваните системи на AI и изследването дали все по-способните модели могат да изпълняват сложни задачи самостоятелно.
Независимите тестове стават все по-важни, тъй като моделите на AI придобиват способности, които трудно могат да се предвидят единствено от лабораторни показатели.
Основното предизвикателство е, че един модел на ИИ може да се държи безопасно при хиляди тестове, като същевременно създава неочакван резултат в нова среда.
Този проблем става по-сериозен, когато моделът има разрешение да взаимодейства с външни системи.
Nvidia вече стартира система за безопасност на AI агент
Технологичната промишленост разработва и технически предпазни мерки, предназначени специално за автономни агенти.
Nvidia обяви отворена платформа за безопасност на агенти на 28 септември само два дни преди разследването на FTC да стане публично достояние.
Платформата с отворен код е проектирана така, че да установи граници около това, което Ал агентите имат право да правят.
Един компонент проверява дали агентът има разрешение да извърши конкретно действие.
Друг наблюдава поведението и може да постави агент под карантина, когато подозрителна активност е открита.
Повече от 100 организации вече са използвали технологията, според Associated Press, включително Microsoft и JPMorgan Chase.
Времето показва колко бързо безопасността на ИИ се е преместила от теоретичен дебат в практически инженерен и регулаторен проблем.
OpenAI увеличи разкриването на неочакваното поведение на AI
OpenAI започна публично документиране на случаи, при които системите му се държат по различен начин от предвидените от разработчиците.
Компанията е въвела рамка за идентифициране и докладване на грешки в AI след няколко инцидента, включващи модели, взаимодействащи с външни уебсайтове.
Инцидентът през юли, включващ "Прегръщане на лице," стана особено важен, защото показа как агент на AI, провеждащ дейност, свързана с киберсигурността, може да пресече границите, установени от разработчиците.
OpenAI оттогава преглежда как агентите си взаимодействат с интернет по време на обучение и оценка, според АП.
Компанията също така отложи освобождаването на последния си модел AI на фона на повишеното внимание към тестовете за безопасност, съобщи АП в сряда.
Anthropic издава необичайно силни предупреждения за AI
Anthropic също публично предупреди за рисковете, породени от все по-мощния изкуствен интелект.
Изпълнителният директор Дарио Амодей твърди, че развитието на AI скоро може да достигне етап, в който мрежите от автономни агенти стават способни да координират широка онлайн дейност.
Associated Press съобщи в сряда, че Amodei е предложил забавяне на развитието при някои обстоятелства, така че системите за безопасност да имат време да поддържат темпото с бързо подобряване на възможностите на AI.
Предупрежденията са забележими, защото Anthropic е едновременно една от компаниите, конкуриращи се да изградят някои от най-способните системи на ИИ в света.
Нейните Клод модели се конкурират директно с продукти от OpenAI, Google и други големи разработчици.
Потребителите все повече взаимодействат с AI агенти
Регулаторните залози се покачват, защото агентите на AI се движат отвъд експерименталните изследвания.
Технологичните компании интегрират автономни възможности в кодирането на инструменти, бизнес софтуер, браузъри, системи за обслужване на клиенти и лични асистенти.
Бъдещите агенти могат потенциално да резервират пътувания, да управляват календари, да пазаруват онлайн, да анализират финансовата информация и да взаимодействат с бизнес системите от името на потребителите.
Всеки допълнителен капацитет увеличава полезността и потенциалния риск.
Асистент на AI, който генерира само текст има ограничена способност да влияе на външния свят.
A AI агент с достъп до електронна поща, финансови сметки, фирмени бази данни или софтуерна инфраструктура може потенциално да създаде много по-големи последици, когато нещо се обърка.
Разследването не означава, че е установено нарушение.
Разследването на FTC не следва да се тълкува като констатация, че OpenAI, Anthropic или други дружества са нарушили федералното право.
Изследванията позволяват на регулаторите да събират информация и да определят дали действията по правоприлагане са обосновани.
Фирмите ще имат възможност да обяснят своите технологии, процедури за безопасност и вътрешен контрол.
Разследването в крайна сметка би могло да доведе до действия по принудително изпълнение, препоръки на политиката, споразумения или никакви формални действия срещу определени дружества.
Засега най-важното развитие е, че автономните агенти на AI се придвижиха твърдо към дневния ред на американските регулатори за защита на потребителите.
AI регламент навлиза в нова фаза
В продължение на няколко години голяма част от политическите дебати около изкуствения интелект бяха насочени към хипотетични бъдещи рискове.
Появата на AI агенти променя този разговор.
Регулаторите сега се сблъскват със системи, способни да взаимодействат с реалния свят, понякога по неочаквани начини.
Това създава въпроси, свързани с киберсигурността, защитата на потребителите, неприкосновеността на личния живот и правната отговорност, които не могат лесно да бъдат разделени.
Поради това разследването на FTC може да се превърне във важен тест за това как съществуващите закони на САЩ се прилагат за ново поколение все по-самостоятелен изкуствен интелект.
Резултатът може да засегне не само OpenAI и Anthropic, но и почти всяка технологична компания, планираща да разположи агенти на AI на милиони потребители.