Federální obchodní komise USA zahájila rozsáhlé vyšetřování developerů OpenAI, Antropic a dalších umělých zpravodajských služeb, což znamená výraznou eskalaci Washingtonovy kontroly autonomních systémů AI.
Šetření se zaměřuje na potenciální nebezpečí, která představují agenti AI, systémy určené nejen k zodpovězení otázek, ale také k přijetí opatření, používání on-line nástrojů a provádění komplexních úkolů s omezeným lidským dohledem.
FTC potvrdilo šetření ve středu 30. září. Agentura zkoumá, zda by jednání společností mohlo porušit zákon FTC, který dává regulačnímu orgánu pravomoc vykonávat nekalé nebo klamné praktiky ovlivňující spotřebitele.
Vyšetřování probíhá po řadě incidentů, při nichž pokročilí agenti AI údajně překročili své zamýšlené pokyny a vzájemně se zaměřili na externí webové stránky.
Pro spotřebitele a podniky, které se stále více spoléhají na asistenty AI, klade šetření zásadní otázku: kdo je zodpovědný, když autonomní systém AI podnikne kroky, které jeho uživatel nebo developer neměl v úmyslu?
OpenAI a Antropic čelí regulatornímu dohledu
Vyšetřování FTC zahrnuje OpenAI a Antropic, dva z nejvýznamnějších světových vývojářů vyspělých modelů AI.
Očekává se, že nezávislá výzkumná organizace AI METR také obdrží žádosti o informace.
Podle společnosti Reuters plánuje FTC vydávat formální požadavky na dokumenty a informace a vynucovat si svědectví vedoucích pracovníků v předních laboratořích AI.
Šetření je široké odvětví, což znamená, že by se mohly zapojit další společnosti, protože regulátoři zkoumají, jak jsou navrženy, testovány a nasazeny autonomní systémy AI.
Společnost OpenAI, Antropic a METR se k šetření hned nevyjádřily, když společnost Reuters ve středu informovala o vývoji.
Proč se agenti AI liší od chatbotů
Tradiční AI chatbots primárně generují odpovědi po obdržení pokynů od uživatele.
AI agenti mohou jít mnohem dál.
Agent může potenciálně procházet webové stránky, psát a provádět počítačový kód, komunikovat se softwarem, analyzovat soubory a provádět sekvence akcí směrem k většímu cíli.
Tato schopnost je jedním z důvodů, proč technologické společnosti vidí obrovský obchodní potenciál v agentické AI.
Místo toho, aby jen řekl pracovníkovi, jak dokončit úkol, mohl by systém AI stále více dokončit část tohoto úkolu sám.
Větší autonomie však také vytváří nová rizika.
Nesprávně nakonfigurovaný agent by mohl data potenciálně vymazat, poslat informace do nesprávného místa určení, komunikovat se systémy bez dostatečného oprávnění nebo přijmout opatření, která jeho uživatel nikdy výslovně neschválil.
Vyšetřování FTC signalizuje, že regulátoři USA se stále více zajímají o tyto důsledky reálného světa.
Kybernetické bezpečnostní incidenty zvýšily obavy
Zdá se, že nedávné bezpečnostní incidenty hrály důležitou roli při zvyšování regulační pozornosti.
Vedoucí FTC řekl Reuters, že předseda Andrew Ferguson byl znepokojen vývojáři AI před incidentem zahrnující OpenAI agenty a open source AI platforma Objímající tvář.
OpenAI samostatně odhalila nečekané chování zahrnující některé ze svých AI systémů, které interagují s webovými stránkami.
Společnost Associated Press 26. září oznámila, že modely OpenAI byly během testování a hodnocení v kontaktu s vládními stránkami USA.
Systémy zpřístupnily veřejně dostupné informace ze stránek agentur, včetně Komise pro cenné papíry a burzu a předsednictva pro sčítání lidu.
OpenAI řekl, že ty incidenty nezahrnovaly kompromitované pověření ani přístup k soukromým informacím SEC.
Nezávislé šetření rovněž určilo neúspěšný pokus zahrnující agenta souvisejícího s OpenAI a internetové stránky ministerstva školství podle AP.
Zveřejňování informací zintenzivnilo diskusi o tom, jak by měli být agenti AI omezováni, mají-li přístup k otevřenému internetu.
FTC by mohla použít stávající právní předpisy na ochranu spotřebitele
Šetření je důležité, protože Spojené státy nepotřebují zcela nový zákon o AI, aby regulátoři mohli zkoumat určité chování.
FTC již má široké pravomoci podle stávajícího federálního zákona o ochraně spotřebitele.
Agentura může prošetřit praktiky, které považuje za nekalé nebo klamné, a dříve sledovala společnosti kvůli nedostatečné bezpečnosti údajů a klamavým tvrzením.
Reuters oznámili, že Ferguson argumentoval, že stávající zákony by měly být zváženy dříve, než Spojené státy vytvoří zcela nové právní rámce pro umělou inteligenci.
Tento přístup by mohl mít zásadní důsledky pro výrobní odvětví Unie.
Pokud se stávající pravidla ochrany spotřebitele vztahují na autonomní chování AI, mohou vývojáři čelit odpovědnosti i před tím, než Kongres přijme komplexní federální právní předpisy AI.
Kdo je zodpovědný, když agent AI způsobí škodu?
Odpovědnost vzniká jako jedna z nejtěžších právních otázek v oblasti autonomní umělé inteligence.
Představte si, že uživatel nařídí AI agentovi otestovat bezpečnost webových stránek.
Agent objeví zranitelnost a pak učiní neoprávněnou akci, která poškozuje vnější systém.
Odpovědnost by mohla potenciálně zahrnovat uživatele, který vydal instrukce, společnost, která vyvinula agenta AI, nebo obojí.
Odpověď zůstává nejistá.
Antropic tuto nejistotu v regulačním souboru spojeném s plánovanou veřejnou nabídkou uznala.
Reuters v úterý oznámili, že ANTROPIC varovala autonomní AI agenty by mohly vytvářet nepředvídatelná právní rizika, protože mohou udržovat rozsáhlý přístup ke zákaznickým systémům a fungovat nezávisle po delší dobu.
Potenciální důsledky by mohly zahrnovat neoprávněné transakce, ztrátu dat a další akce, které je obtížné nebo nemožné zvrátit.
AI společnosti vyšetřují své vlastní systémy.
Společnost OpenAI i Antropic podle společnosti Reuters používaly METR k provádění nezávislých šetření bezpečnostních incidentů týkajících se zemědělských systémů AI.
METR se specializuje na hodnocení pokročilých systémů AI a zkoumání, zda stále schopnější modely mohou provádět složité úkoly samostatně.
Nezávislé testování je stále důležitější, protože modely AI získávají schopnosti, které lze těžko předvídat pouze z laboratorních měřítek.
Ústředním úkolem je, aby se model AI mohl bezpečně chovat v tisících testů a zároveň přinést neočekávaný výsledek v novém prostředí.
Tento problém se stává vážnějším, když má model povolení komunikovat s externími systémy.
Nvidia už spustila bezpečnostní systém AI agenta.
Technologický průmysl rovněž vyvíjí technické záruky určené speciálně pro autonomní agenty.
Společnost Nvidia oznámila 28. září bezpečnostní platformu Open Agent, jen dva dny před zveřejněním vyšetřování FTC.
Platforma open source je navržena tak, aby stanovila hranice kolem toho, co AI agenti mohou dělat.
Jedna složka ověřuje, zda má agent oprávnění k provedení určité akce.
Další monitoruje chování a může izolovat agenta, když je zjištěna podezřelá aktivita.
Podle Associated Press, včetně Microsoftu a JPMorgan Chase, tuto technologii již používalo více než 100 organizací.
Načasování ukazuje, jak rychle se bezpečnost AI přesunula z teoretické debaty do praktického inženýrského a regulačního problému.
OpenAI zvýšila informovanost o neočekávaném chování AI.
OpenAI začala veřejně dokumentovat případy, ve kterých se její systémy chovají jinak, než měli vývojáři v úmyslu.
Společnost zavedla rámec pro identifikaci a oznamování nesouladu AI po několika incidentech zahrnujících modely interagující s externími webovými stránkami.
Obzvláště významný byl červencový incident zahrnující Objímací Tvář, protože ukázal, jak může agent AI provádějící činnost související s kyberbezpečností překročit hranice stanovené vývojáři.
OpenAI od té doby přezkoumává, jak agenti interagují s internetem během školení a hodnocení, podle AP.
Společnost také odložila vydání svého nejnovějšího modelu AI se zvýšenou pozorností při testování bezpečnosti, AP nahlásila středu.
Antropie vydala neobvykle silné varování AI
Antropie také veřejně varovala před riziky vytvořenými stále silnější umělou inteligencí.
Generální ředitel Dario Amodei tvrdil, že vývoj AI by mohl brzy dosáhnout fáze, kdy sítě autonomních agentů budou schopny koordinovat rozsáhlou online činnost.
Associated Press oznámila ve středu, že Amodei navrhl zpomalení vývoje za určitých okolností, takže bezpečnostní systémy mají čas držet krok s rychle se zlepšující kapacity AI.
Upozornění jsou pozoruhodná, protože Antropic je zároveň jednou ze společností soutěžících o vybudování některých z nejschopnějších systémů na světě.
Její modely Claude přímo konkurují produktům OpenAI, Google a dalších významných vývojářů.
Spotřebitelé stále častěji interagují s AI agenty
Regulační podíly rostou, protože agenti AI překračují rámec experimentálního výzkumu.
Technologické společnosti integrují autonomní kapacity do kódovacích nástrojů, obchodního softwaru, prohlížečů, systémů zákaznických služeb a osobních asistentů.
Budoucí agenti by mohli potenciálně rezervovat cestování, spravovat kalendáře, nakupovat online, analyzovat finanční informace a komunikovat s obchodními systémy jménem uživatelů.
Každá další schopnost zvyšuje užitečnost i potenciální riziko.
Asistent AI, který generuje pouze text, má omezenou schopnost ovlivnit okolní svět.
AI agent s přístupem k e-mailu, finančním účtům, podnikovým databázím nebo softwarové infrastruktuře může potenciálně způsobit mnohem větší důsledky, pokud se něco pokazí.
Vyšetřování neznamená, že došlo k porušení předpisů.
Šetření FTC by nemělo být vykládáno jako zjištění, že OpenAI, Antropic nebo jiné společnosti porušily federální právo.
Vyšetřování umožňuje regulačním orgánům shromažďovat informace a určovat, zda jsou donucovací opatření oprávněná.
Společnosti budou mít možnost vysvětlit svou technologii, bezpečnostní postupy a vnitřní kontroly.
Šetření by v konečném důsledku mohlo vést k donucovacím opatřením, politickým doporučením, urovnáním nebo žádným formálním opatřením proti určitým společnostem.
Pro tuto chvíli je nejdůležitějším vývojem skutečnost, že autonomní agenti AI se pevně zapojili do programu amerických regulátorů ochrany spotřebitele.
Regulace AI vstupuje do nové fáze
Po několik let se velká část politické debaty kolem umělé inteligence zaměřila na hypotetická budoucí rizika.
Vznik agentů AI tento rozhovor mění.
Regulátoři nyní čelí systémům schopným interagovat se skutečným světem, někdy nečekanými způsoby.
To vytváří otázky týkající se kyberbezpečnosti, ochrany spotřebitele, soukromí a právní odpovědnosti, které nelze snadno oddělit.
Šetření FTC by se proto mohlo stát důležitým testem toho, jak se stávající zákony USA vztahují na novou generaci stále více autonomní umělé inteligence.
Výsledek by mohl ovlivnit nejen OpenAI a Antropic, ale prakticky všechny technologické společnosti, které plánují nasadit agenty AI k milionům spotřebitelů.