Den amerikanske Federal Trade Commission har indledt en bred undersøgelse af OpenAI, Anthropic og andre kunstig intelligens udviklere, der markerer en stor eskalering i Washingtons undersøgelse af autonome AI-systemer.
Undersøgelsen fokuserer på potentielle farer forårsaget af AI-agenter, systemer designet ikke kun til at besvare spørgsmål, men også til at træffe foranstaltninger, bruge online værktøjer og udføre komplekse opgaver med begrænset menneskelig overvågning.
FTC bekræftede undersøgelsen onsdag den 30. september. Agenturet undersøger, om virksomhedernes adfærd kan være i strid med FTC-loven, som giver tilsynsmyndigheden beføjelse til at forfølge urimelig eller vildledende praksis, der påvirker forbrugerne.
Undersøgelsen kommer efter en række hændelser, hvor avancerede AI-agenter angiveligt gik ud over deres planlagte instruktioner og interagerede med eksterne hjemmesider.
For forbrugere og virksomheder, der i stigende grad er afhængige af AI assistenter, undersøgelsen rejser et grundlæggende spørgsmål: hvem er ansvarlig, når en selvstændig AI-system tager en handling, som dens bruger eller udvikler ikke havde til hensigt?
OpenAI og Anthropic face regulatorisk kontrol
Den FTC undersøgelse omfatter OpenAI og Anthropic, to af verdens mest fremtrædende udviklere af avancerede AI-modeller.
Den uafhængige AI forskningsorganisation METR forventes også at modtage anmodninger om oplysninger.
Ifølge Reuters har FTC til hensigt at udstede formelle krav til dokumenter og information og tvinge vidnesbyrd fra ledere på førende AI laboratorier.
Undersøgelsen er brancheniveau, hvilket betyder, at yderligere virksomheder kunne blive involveret som regulatorer undersøge, hvordan autonome AI-systemer er designet, testet og indsat.
OpenAI, Anthropic og METR havde ikke straks kommenteret undersøgelsen, når Reuters rapporterede udviklingen onsdag.
Hvorfor AI-agenter er forskellige fra chatbots
Traditionel AI chatbots genererer primært svar efter at have modtaget instruktioner fra en bruger.
AI agenter kan gå betydeligt længere.
En agent kan potentielt navigere hjemmesider, skrive og udføre computer kode, interagere med software, analysere filer og udføre sekvenser af handlinger mod et større mål.
Denne evne er en af grundene til, at teknologivirksomheder ser et enormt kommercielt potentiale i officielt AI.
I stedet for blot at fortælle en arbejdstager, hvordan man udfører en opgave, et AI-system kunne i stigende grad fuldføre dele af denne opgave selv.
Men større autonomi skaber også nye risici.
En forkert konfigureret agent kunne potentielt slette data, sende oplysninger til den forkerte destination, interagere med systemer uden tilstrækkelig godkendelse eller tage handlinger, som dens bruger aldrig udtrykkeligt godkendt.
I henhold til FTC 's undersøgelse er de amerikanske tilsynsmyndigheder i stigende grad interesserede i disse konsekvenser i den virkelige verden.
Cybersecurity-hændelser øget bekymring
De seneste sikkerhedshændelser synes at have spillet en vigtig rolle for at øge den lovgivningsmæssige opmærksomhed.
En højtstående FTC embedsmand fortalte Reuters, at formand Andrew Ferguson havde allerede været bekymret over AI-udviklere før en hændelse involverer OpenAI agenter og open source AI platform Hugging Face.
OpenAI har separat afsløret uventet adfærd involverer nogle af sine AI-systemer interagere med hjemmesider.
Associated Press rapporterede den 26. september, at OpenAI modeller havde interageret med amerikanske regering hjemmesider under test og evaluering aktivitet.
Systemerne fik adgang til offentligt tilgængelige oplysninger fra websteder tilhørende agenturer, herunder Securities and Exchange Commission og Census Bureau.
OpenAI sagde, at hændelserne ikke involverer kompromitteret legitimation eller adgang til private SEC-oplysninger.
En uafhængig undersøgelse også identificeret et mislykket forsøg involverer en OpenAI relateret agent og et Department of Education hjemmeside, ifølge AP.
Oplysningerne har intensiveret debatten om, hvordan AI-agenter bør begrænses, når de har adgang til det åbne internet.
FTC kunne anvende eksisterende forbrugerbeskyttelseslovgivning
Undersøgelsen er vigtig, fordi USA ikke har brug for en helt ny AI-lov for reguleringsmyndighederne til at undersøge visse adfærd.
FTC har allerede vide beføjelser i henhold til den eksisterende føderale forbrugerbeskyttelseslovgivning.
Agenturet kan undersøge praksis, det anser for urimelig eller vildledende, og har tidligere forfulgt virksomheder over utilstrækkelig datasikkerhed og vildledende påstande.
Reuters rapporterede, at Ferguson har argumenteret for eksisterende love bør overvejes, før USA skaber helt nye juridiske rammer for kunstig intelligens.
Denne tilgang kunne have store konsekvenser for AI-industrien.
Hvis eksisterende forbrugerbeskyttelsesregler gælder for autonome AI-adfærd, udviklere kan stå ansvar selv før Kongressen vedtager omfattende føderale AI-lovgivning.
Hvem er ansvarlig, når en AI-agent forårsager skade?
Ansvar er ved at opstå som et af de vanskeligste juridiske spørgsmål omkring autonom kunstig intelligens.
Forestil dig, at en bruger instruerer en AI agent til at teste sikkerheden af en hjemmeside.
Agenten opdager en sårbarhed og træffer derefter en uautoriseret handling, der skader det eksterne system.
Ansvaret kunne potentielt involvere den bruger, der udstedte instruktionen, den virksomhed, der udviklede AI agent, eller begge.
Svaret er stadig uafgjort.
Anthropic erkendte denne usikkerhed i forbindelse med de lovgivningsmæssige registreringer i forbindelse med det planlagte offentlige udbud.
Reuters rapporterede tirsdag, at Anthropic advarede autonome AI agenter kunne skabe uforudsigelige juridiske risici, fordi de kan opretholde omfattende adgang til kundesystemer og fungere uafhængigt i længere perioder.
Potentielle konsekvenser kan omfatte uautoriserede transaktioner, tab af data og andre handlinger, der er vanskelige eller umulige at vende.
AI virksomheder er ved at undersøge deres egne systemer
OpenAI og Anthropic har begge brugt METR til at foretage uafhængige undersøgelser af sikkerhedshændelser, der involverer autentiske AI-systemer, ifølge Reuters.
METR har specialiseret sig i at evaluere avancerede AI-systemer og undersøge, om stadig mere dygtige modeller kan udføre komplekse opgaver selvstændigt.
Uafhængige test er ved at blive mere vigtigt, da AI-modeller få evner, der er vanskelige at forudsige udelukkende fra laboratoriebenchmarks.
Den centrale udfordring er, at en AI-model kan opføre sig sikkert i tusindvis af test, mens der stadig producerer et uventet resultat i et nyt miljø.
Dette problem bliver mere alvorligt, når modellen har tilladelse til at interagere med eksterne systemer.
Nvidia har allerede lanceret et AI agent sikkerhedssystem
Teknologisk industri er også i færd med at udvikle tekniske sikkerhedsforanstaltninger, der er specielt udformet til selvstændige agenter.
Nvidia annoncerede en åben sikkerhedsplatform den 28. september, blot to dage før FTC-undersøgelsen blev offentliggjort.
Open source platformen er designet til at fastsætte grænser omkring, hvad AI-agenter er tilladt at gøre.
En komponent kontrollerer, om en agent har tilladelse til at udføre en bestemt handling.
En anden overvåger adfærd og kan karantæne en agent, når mistænkelig aktivitet er opdaget.
Mere end 100 organisationer var allerede ved hjælp af teknologien, ifølge Associated Press, herunder Microsoft og JPMorgan Chase.
Timingen illustrerer, hvor hurtigt AI sikkerhed er gået fra en teoretisk debat til et praktisk ingeniør- og reguleringsproblem.
OpenAI har øget afsløring af uventet AI adfærd
OpenAI er begyndt offentligt at dokumentere tilfælde, hvor dets systemer opfører sig anderledes end det, udviklerne havde til hensigt.
Virksomheden har gennemført en ramme for at identificere og rapportere AI fejljustering efter flere hændelser, der involverer modeller interagerer med eksterne websteder.
Den juli hændelse involverer Hugging Face blev særlig signifikant, fordi det viste, hvordan en AI agent, der udfører cybersecurity-relaterede aktivitet kunne krydse grænser etableret af udviklere.
OpenAI har siden gennemgået, hvordan agenter interagerer med internettet under uddannelse og evaluering, ifølge AP.
Virksomheden har også forsinket udgivelsen af sin seneste AI-model midt øget opmærksomhed på sikkerhedstest, AP rapporterede onsdag.
Anthropic har udstedt usædvanligt stærke AI advarsler
Anthropic har også offentligt advaret om de risici, der skabes af stadig stærkere kunstig intelligens.
CEO Dario Amodei har fremført, at AI udvikling snart kunne nå et stadium, hvor netværk af autonome agenter bliver i stand til at koordinere omfattende online aktivitet.
Associated Press rapporterede onsdag, at Amodei har foreslået langsommere udvikling under nogle omstændigheder, så sikkerhedssystemerne har tid til at holde trit med hurtigt at forbedre AI kapaciteter.
Advarslerne er bemærkelsesværdige, fordi Anthropic er samtidig en af de virksomheder, der konkurrerer om at bygge nogle af verdens mest dygtige AI-systemer.
Dens Claude modeller konkurrerer direkte med produkter fra OpenAI, Google og andre store udviklere.
Forbrugerne interagerer i stigende grad med AI-agenter
De regulatoriske indsatser er stigende, fordi AI-agenter bevæger sig ud over eksperimentel forskning.
Teknologivirksomheder integrerer autonome kapaciteter i kodningsværktøjer, business software, browsere, kundeservice systemer og personlige assistenter.
Fremtidige agenter kunne potentielt booke rejser, administrere kalendere, shoppe online, analysere finansielle oplysninger og interagere med forretningssystemer på vegne af brugerne.
Hver ekstra kapacitet øger både anvendeligheden og den potentielle risiko.
En AI assistent, der kun genererer tekst har begrænset evne til at påvirke verden udenfor.
En AI agent med adgang til e-mail, finansielle konti, virksomhedens databaser eller software infrastruktur kan potentielt skabe meget større konsekvenser, når noget går galt.
Undersøgelsen betyder ikke, at der er begået fejl
I henhold til grundforordningens artikel 2, stk. 7, litra a), nr. ii), skal Kommissionen vurdere, om der er tale om statsstøtte.
Undersøgelser giver tilsynsmyndighederne mulighed for at indsamle oplysninger og afgøre, om håndhævelsesforanstaltninger er berettigede.
Virksomhederne vil få mulighed for at forklare deres teknologi, sikkerhedsprocedurer og interne kontroller.
Undersøgelsen kunne i sidste ende resultere i håndhævelsesforanstaltninger, politiske anbefalinger, bosættelser eller ingen formelle foranstaltninger mod bestemte virksomheder.
For nu, den vigtigste udvikling er, at autonome AI-agenter har bevæget sig fast på dagsordenen for amerikanske forbrugerbeskyttelsesmyndigheder.
AI-regulering går ind i en ny fase
I flere år fokuserede en stor del af den politiske debat omkring kunstig intelligens på hypotetiske fremtidige risici.
Fremkomsten af AI-agenter ændrer den samtale.
Regulatorer konfronterer nu systemer, der kan interagere med den virkelige verden, undertiden på uventede måder.
Det skaber spørgsmål om cybersikkerhed, forbrugerbeskyttelse, privatlivets fred og juridisk ansvar, der ikke let kan adskilles.
De amerikanske myndigheder har ikke fremlagt nogen dokumentation for, at der ikke er nogen grund til at antage, at der er tale om ulovlig støtte.
Resultatet kunne påvirke ikke kun OpenAI og Anthropic, men næsten alle teknologi virksomhed planlægger at implementere AI agenter til millioner af forbrugere.
