De Amerikaanse Federal Trade Commission heeft een breed onderzoek geopend naar OpenAI, Antropische en andere kunstmatige intelligentie ontwikkelaars, wat een grote escalatie markeert in Washington's controle op autonome AI systemen.
Het onderzoek richt zich op mogelijke gevaren van AI-agenten, systemen ontworpen niet alleen om vragen te beantwoorden, maar ook om acties te ondernemen, online tools te gebruiken en complexe taken uit te voeren met beperkte menselijke supervisie.
De FTC bevestigde het onderzoek op woensdag 30 september. Het bureau onderzoekt of het gedrag van de ondernemingen in strijd kan zijn met de FTC-wet, die de regelgevende instantie de bevoegdheid geeft oneerlijke of misleidende praktijken ten aanzien van consumenten na te streven.
Het onderzoek komt na een reeks incidenten waarbij geavanceerde AI-agenten naar verluidt verder gingen dan hun beoogde instructies en interageerden met externe websites.
Voor consumenten en bedrijven die steeds meer afhankelijk zijn van AI-assistenten roept het onderzoek een fundamentele vraag op: wie is verantwoordelijk wanneer een autonoom AI-systeem een actie onderneemt die zijn gebruiker of ontwikkelaar niet van plan was?
OpenAI en antropische geconfronteerd met toetsing van de regelgeving
Het FTC onderzoek omvat OpenAI en Antropic, twee van 's werelds meest prominente ontwikkelaars van geavanceerde AI modellen.
De onafhankelijke AI onderzoeksorganisatie METR ontvangt naar verwachting ook verzoeken om informatie.
Volgens Reuters is de FTC van plan om formele eisen te stellen aan documenten en informatie en getuigenis af te dwingen van leidinggevenden in toonaangevende AI-laboratoria.
Het onderzoek is sectorwijd, wat betekent dat extra bedrijven betrokken kunnen worden als toezichthouders onderzoeken hoe autonome AI-systemen worden ontworpen, getest en ingezet.
OpenAI, Antropic en METR hadden niet onmiddellijk commentaar op het onderzoek toen Reuters de ontwikkeling woensdag rapporteerde.
Waarom AI-agenten verschillen van chatbots
Traditionele AI chatbots genereren voornamelijk reacties na het ontvangen van instructies van een gebruiker.
Al agenten kunnen aanzienlijk verder gaan.
Een agent kan mogelijk navigeren websites, schrijven en uitvoeren computercode, interactie met software, analyseren van bestanden en uitvoeren sequenties van acties naar een groter doel.
Dat vermogen is een van de redenen dat technologiebedrijven zien enorme commerciële potentieel in agentic AI.
In plaats van gewoon een werknemer te vertellen hoe een taak te voltooien, een AI-systeem kan steeds meer delen van die taak zelf voltooien.
Maar een grotere autonomie brengt ook nieuwe risico's met zich mee.
Een verkeerd geconfigureerde agent kan mogelijk gegevens verwijderen, informatie naar de verkeerde bestemming sturen, interactie hebben met systemen zonder voldoende toestemming of acties ondernemen die de gebruiker nooit expliciet heeft goedgekeurd.
Het FTC-onderzoek geeft aan dat Amerikaanse regelgevers steeds meer geïnteresseerd zijn in die reële gevolgen.
Cybersecurity incidenten toegenomen zorgen
Recente veiligheidsincidenten lijken een belangrijke rol te hebben gespeeld bij het vergroten van de aandacht voor regelgeving.
Een hoge FTC-ambtenaar vertelde Reuters dat voorzitter Andrew Ferguson al bezorgd was over AI-ontwikkelaars vóór een incident met OpenAI-agenten en het open source AI-platform Hugging Face.
OpenAI heeft afzonderlijk onverwacht gedrag onthuld waarbij sommige van haar AI systemen interageren met websites.
Associated Press rapporteerde op 26 september dat OpenAI-modellen tijdens test- en evaluatieactiviteiten interageerden met Amerikaanse overheidswebsites.
De systemen hebben toegang tot publiek beschikbare informatie van sites van agentschappen, waaronder de Securities and Exchange Commission en het Census Bureau.
OpenAI zei dat de incidenten geen gecompromitteerde referenties of toegang tot privé SEC-informatie bevatten.
Een onafhankelijk onderzoek wees ook op een mislukte poging waarbij een OpenAI-gerelateerde agent en een website van het Ministerie van Onderwijs betrokken waren, volgens AP.
De bekendmakingen hebben het debat over hoe AI-agenten moeten worden beperkt wanneer zij toegang hebben tot het open internet geïntensiveerd.
FTC zou gebruik kunnen maken van bestaande wetgeving inzake consumentenbescherming
Het onderzoek is belangrijk omdat de Verenigde Staten geen volledig nieuwe AI-wet nodig hebben om bepaalde gedragingen te onderzoeken.
De FTC beschikt reeds over ruime bevoegdheden krachtens de bestaande federale wetgeving inzake consumentenbescherming.
Het agentschap kan praktijken onderzoeken die het als oneerlijk of misleidend beschouwt en heeft eerder bedrijven vervolgd vanwege onvoldoende gegevensbeveiliging en misleidende claims.
Reuters meldde dat Ferguson heeft aangevoerd dat bestaande wetten moeten worden overwogen voordat de Verenigde Staten volledig nieuwe wettelijke kaders voor kunstmatige intelligentie creëren.
Deze aanpak kan grote gevolgen hebben voor de AI-industrie.
Als bestaande consumentenbeschermingsregels van toepassing zijn op autonoom AI-gedrag, kunnen ontwikkelaars aansprakelijkheid ondervinden zelfs voordat het Congres uitgebreide federale AI-wetgeving aanneemt.
Wie is verantwoordelijk als een AI agent schade veroorzaakt?
Aansprakelijkheid is een van de moeilijkste juridische vragen over autonome kunstmatige intelligentie.
Stel je voor dat een gebruiker een AI-agent opdracht geeft om de veiligheid van een website te testen.
De agent ontdekt een kwetsbaarheid en neemt dan een ongeoorloofde actie die het externe systeem schaadt.
Bij de verantwoordelijkheid kan de gebruiker betrokken zijn die de instructie heeft gegeven, het bedrijf dat de AI-agent heeft ontwikkeld, of beide.
Het antwoord blijft onzeker.
Antropic erkende deze onzekerheid in regelgevingsdossiers in verband met het geplande openbare aanbod.
Reuters meldde dinsdag dat Antropic autonome AI-agenten waarschuwde voor onvoorspelbare juridische risico's, omdat ze uitgebreide toegang tot klantensystemen kunnen behouden en voor langere perioden onafhankelijk kunnen werken.
Mogelijke gevolgen kunnen ongeautoriseerde transacties, verlies van gegevens en andere handelingen die moeilijk of onmogelijk om te keren.
AI bedrijven onderzoeken hun eigen systemen
OpenAI en Antropic hebben zowel METR gebruikt om onafhankelijk onderzoek te doen naar beveiligingsincidenten waarbij AI-systemen betrokken zijn, aldus Reuters.
METR is gespecialiseerd in het evalueren van geavanceerde AI-systemen en het onderzoeken of steeds meer capabele modellen complexe taken autonoom kunnen uitvoeren.
Onafhankelijk testen wordt steeds belangrijker omdat AI-modellen vaardigheden krijgen die moeilijk te voorspellen zijn vanuit laboratoriumbenchmarks.
De centrale uitdaging is dat een AI-model zich veilig kan gedragen in duizenden tests terwijl het toch een onverwacht resultaat oplevert in een nieuwe omgeving.
Dat probleem wordt ernstiger wanneer het model toestemming heeft om te communiceren met externe systemen.
Nvidia heeft al een veiligheidssysteem voor AI-agenten gelanceerd.
De technologie-industrie ontwikkelt ook technische waarborgen die specifiek voor autonome agentia zijn ontworpen.
Nvidia kondigde een Open Agent Safety Platform aan op 28 september, slechts twee dagen voordat het FTC onderzoek openbaar werd.
Het open source platform is ontworpen om grenzen te stellen aan wat AI-agenten mogen doen.
Eén onderdeel controleert of een agent toestemming heeft om een bepaalde actie uit te voeren.
Een andere monitort gedrag en kan een agent in quarantaine plaatsen als verdachte activiteit wordt gedetecteerd.
Meer dan 100 organisaties gebruikten de technologie volgens Associated Press, waaronder Microsoft en JPMorgan Chase.
De timing laat zien hoe snel de veiligheid van AI is verschoven van een theoretisch debat naar een praktisch technisch en regelgevend probleem.
OpenAI heeft de openbaarmaking van onverwacht AI gedrag verhoogd
OpenAI is begonnen met het openbaar documenteren van gevallen waarin haar systemen zich anders gedragen dan wat ontwikkelaars bedoelden.
Het bedrijf heeft een kader geïmplementeerd voor het identificeren en rapporteren van AI-fouten na verschillende incidenten waarbij modellen interactie met externe websites.
Het juli incident met Hugging Face werd bijzonder belangrijk omdat het liet zien hoe een AI-agent die cybersecurity gerelateerde activiteit kan over grenzen die door ontwikkelaars.
OpenAI heeft sindsdien bekeken hoe agenten tijdens training en evaluatie met internet omgaan, volgens AP.
Het bedrijf heeft ook uitgesteld de release van haar nieuwste AI model te midden van verhoogde aandacht voor veiligheid testen, AP gemeld woensdag.
Antropic heeft ongewoon sterke AI waarschuwingen uitgebracht
Antropisch heeft ook publiekelijk gewaarschuwd voor de risico's die voortvloeien uit steeds krachtiger kunstmatige intelligentie.
CEO Dario Amodei heeft aangevoerd dat de ontwikkeling van AI binnenkort een stadium kan bereiken waarin netwerken van autonome agenten in staat worden om uitgebreide online activiteiten te coördineren.
Associated Press meldde woensdag dat Amodei heeft voorgesteld de ontwikkeling in sommige omstandigheden te vertragen, zodat veiligheidssystemen tijd hebben om gelijke tred te houden met snel verbeterende AI-capaciteiten.
De waarschuwingen zijn opmerkelijk omdat Antropic tegelijkertijd een van de bedrijven is die strijden om een aantal van 's werelds meest capabele AI systemen te bouwen.
De Claude modellen concurreren rechtstreeks met producten van OpenAI, Google en andere grote ontwikkelaars.
Consumenten hebben steeds vaker contact met AI-agenten
De regelgeving staat op het spel omdat AI-agenten verder gaan dan experimenteel onderzoek.
Technologiebedrijven integreren autonome mogelijkheden in coderingstools, zakelijke software, browsers, klantenservicesystemen en persoonlijke assistenten.
Toekomstige agenten kunnen mogelijk reizen boeken, agenda's beheren, online winkelen, financiële informatie analyseren en in contact treden met bedrijfssystemen namens gebruikers.
Elke extra capaciteit verhoogt zowel het nut als het potentiële risico.
Een AI-assistent die alleen tekst genereert heeft een beperkte mogelijkheid om de buitenwereld te beïnvloeden.
Een AI-agent met toegang tot e-mail, financiële rekeningen, bedrijfsdatabases of software-infrastructuur kan mogelijk veel grotere gevolgen hebben als er iets mis gaat.
Het onderzoek betekent niet dat er sprake is van wangedrag.
Het FTC-onderzoek mag niet worden geïnterpreteerd als een bevinding dat OpenAI, Antropic of andere ondernemingen het federale recht hebben geschonden.
Met onderzoeken kunnen toezichthouders informatie verzamelen en bepalen of handhavingsmaatregelen gerechtvaardigd zijn.
De bedrijven krijgen de mogelijkheid om hun technologie, veiligheidsprocedures en interne controles toe te lichten.
Het onderzoek kan uiteindelijk resulteren in handhavingsmaatregelen, beleidsaanbevelingen, schikkingen of geen formele maatregelen tegen bepaalde ondernemingen.
Voor nu is de belangrijkste ontwikkeling dat autonome AI-agenten stevig op de agenda van Amerikaanse regelgevende instanties voor consumentenbescherming zijn gekomen.
AI-verordening gaat een nieuwe fase in
Een groot deel van het politieke debat rond kunstmatige intelligentie was jarenlang gericht op hypothetische toekomstige risico's.
De opkomst van AI-agenten verandert dat gesprek.
Regelgevers confronteren nu systemen die in staat zijn om te communiceren met de echte wereld, soms op onverwachte manieren.
Dat schept vragen over cyberveiligheid, consumentenbescherming, privacy en wettelijke verantwoordelijkheid die niet gemakkelijk kunnen worden gescheiden.
Het FTC-onderzoek zou daarom een belangrijke test kunnen worden voor de toepassing van bestaande Amerikaanse wetten op een nieuwe generatie van steeds autonomere kunstmatige intelligentie.
Het resultaat kan niet alleen van invloed zijn op OpenAI en Antropic, maar vrijwel elk technologiebedrijf dat AI-agenten wil inzetten voor miljoenen consumenten.
