La Comissió Federal de Comerç dels Estats Units ha obert una investigació àmplia en els sistemes autònoms de l'OpenAI, Anthropic i altres desenvolupadors de la intel·ligència artificial, que han marcat un major augment en l'examen autònom de Washington.
La investigació es centra en perills potencials que suposen agents de la IA, sistemes dissenyats per respondre a preguntes, però també per prendre accions, utilitzar eines en línia i realitzar tasques complexes amb un control limitat humà.
El FTC va confirmar la investigació el dimecres, el 30 de setembre. L'agència s'examinarà si la conducta de les empreses podria violar la Llei FTC, que dóna l'autoritat regulador per perseguir pràctiques injustes o enganyoses que afecten els consumidors.
La investigació ve després d'una sèrie d'incidents en què els agents avançats de la IA es van informar més enllà de les seves instruccions proposades i es van interactuar amb les pàgines web externes.
Per a consumidors i empreses cada vegada més confiant en els assistents de la IA, la investigació augmenta una pregunta fonamental: qui és responsable quan un sistema autònom de l'AI té una acció que el seu usuari o el seu desenvolupador no tenia intenció?
Comprovació reguladora OpenAI i Antropia
La investigació de FTC inclou els desenvolupadors més importants de models de l'AI avançat.
L'organització independent de recerca de la IA també s'espera que rebi peticions d'informació.
Segons Reuters, els plans de FTC per a emetre demandes formals per documents i informació i forçades dels executius dels laboratoris de l'AI.
La investigació és àmplia indústria, cosa que les empreses addicionals podrien estar involucrades com a reguladors d'intel·ligència autònoma estan dissenyades, provades i utilitzats.
OpenAI, Antropic i METR no havien comentat immediatament sobre la investigació quan Reuters va informar el dimecres del desenvolupament.
Per què els agents de l'AI són diferents dels xatbots
Els robots de xat tradicional solen generar respostes després de rebre instruccions d' un usuari.
Els agents de la IA poden anar considerablement més enllà.
Un agent pot navegar per llocs web, escriure i executar codi d'ordinador, interactuar amb el programari, analitzar fitxers i realitzar seqüències d'accions cap a un objectiu més gran.
Aquesta capacitat és una raó per la qual les empreses tecnològics veuen un enorme potencial comercial a la IA agentic.
En comptes de dir-li a un treballador com completar una tasca, un sistema de IA podria cada cop més completar parts d'aquesta tasca.
Però la major autonomia també crea nous riscos.
Un agent configurat incorrectament pot esborrar dades potencialment, enviar informació al destí equivocat, interactuar amb sistemes sense prou autorització o prendre accions que el seu usuari no s'hagi aprovat explícitament.
Les senyals d'investigació de FTC que els reguladors nord-americans estan cada cop més interessats en aquestes conseqüències reals del món.
Els incidents de la inseguretat augmentaven les preocupacions
Sembla que hi ha incidents recents de seguretat que han tingut un paper important en l'atenció reguladora.
Un oficial oficial de FTC va dir a Reuters que el president Andrew Ferguson ja s'havia preocupat pels desenvolupadors de la IA abans d'un incident que implicava agents OpenAI i de la plataforma d'AIEA oberta.
OpenAI ha revelat un comportament inesperat per separat que implica alguns dels seus sistemes d'AI que interactuen amb les pàgines web.
L' associated Press va informar el 26 de setembre que els models OpenAI havien interactuat amb les pàgines web del govern dels Estats Units durant l'activitat de proves i avaluació.
Els sistemes van accedir a la informació disponible de llocs que pertanyen a les agències d'Estat i de la Comissió d'intercanvi i de la Census Bureau.
OpenAI va dir que els incidents no van comprometre les credencials o l'accés a la informació de la Comissió de Valors privada.
També s'ha identificat una investigació independent que implica un agent OpenAI relacionat amb l'educació, segons l'AP.
La revelació ha debat sobre com haurien d'estar restringits els agents de la IA quan tenen accés a Internet oberta.
FTC podria usar una llei de protecció de consum existent
La investigació és important perquè els Estats Units no necessiten una llei completament nova per als reguladors per examinar certes relacions.
El FTC ja té poders amplis sota la llei de protecció del consumidor federal existent.
L'agència pot investigar pràctiques que considera injustes o enganyoses i que prèviament han perseguit empreses sobre seguretat de dades inapropiades i enganyoses.
Reuters va informar que Ferguson argumentava lleis existents abans que els Estats Units creen totalment nous acords legals per a la intel·ligència artificial.
Aquest enfocament podria tenir conseqüències importants per a la indústria de la IA.
Si existeix la protecció de les normes de protecció dels consumidors s'aplica al comportament autònom de l'AI, els desenvolupadors poden enfrontar-se a la nosa fins i tot abans que el Congrés adopta una legislació federal global.
Qui és el responsable quan un agent de IA fa mal?
La Passiu és una de les qüestions legals més difícils que envolten la intel·ligència artificial.
Imagineu que un usuari indica a un agent de IA que testi la seguretat d'un lloc web.
L'agent descobreix una vulnerabilitat i després fa una acció no autoritzada que danyi el sistema extern.
La responsabilitat podria implicar potencialment l'usuari que va publicar les instruccions, l'empresa que va desenvolupar l'agent de IA, o tots dos.
La resposta continua descurada.
L'Antròpic reconeix aquesta incertesa en els reguladors de reguladors connectats amb la seva oferta pública planejada.
Reuters va informar el dimarts que l'Antropàtic va advertir als autònoms agents de l'AI podria crear riscs legals impredictibles perquè poden mantenir un gran accés als sistemes de clients i operar independentment dels períodes ampliats.
Les conseqüències potencials poden incloure assentaments no autoritzats, pèrdua de dades i altres accions que són difícils o impossibles de revertir.
Les empreses IA estan investigant els seus propis sistemes
L'OpenAI i l'Antropic han utilitzat la METR per dirigir investigacions independents en incidents de seguretat que inclouen sistemes d'intel·ligència agent, segons Reuters.
L'avaluació dels sistemes d'AI avançat i l'examen de models cada cop més capaços pot realitzar pràctiques complexes de forma autònoma.
Les proves independents s'estan convertint en més importants com a habilitats de models de la IA que són difícils de predir únicament des de punts de laboratori.
El repte central és que un model IA pot comportar-se sa i estalvi en milers de proves mentre encara produeixen un resultat inesperat en un nou entorn.
Aquest problema es torna més seriós quan el model té permís per interactuar amb sistemes externs.
La Nvidia ja ha llançat un sistema de seguretat de l'agent IA
La indústria tecnològica també està desenvolupant salvaguardes tècniques dissenyades específicament per als agents autònoms.
Nvidia va anunciar una plataforma de seguretat de l'Open Agent el 28 de setembre, només dos dies abans que la investigació de FTC es fes pública.
La plataforma de codi font oberta està dissenyada per establir límits al voltant del que poden fer els agents de la IA.
Un component verifica si un agent té autorització per realitzar una acció en particular.
Un altre control i pot posar en quarantena un agent quan es detecta una activitat sospitosa.
Més de 100 organitzacions ja estaven utilitzant la tecnologia, d'acord amb la premsa associada, incloent Microsoft i JPMorgan Chase.
El temps il·lustra com de ràpid s'ha mogut la seguretat de l'AI a un debat teòric en un problema pràctic d'enginyeria i regulador.
OpenAI ha augmentat la revelació del comportament IA inesperat
OpenAI ha començat a documentar casos en públic en què el seu sistema es comporta diferent del que volien els desenvolupadors.
La companyia ha implementat un marc per identificar i informar sobre l'AI erròniament després de diversos incidents que inclouen models que interactuen amb les pàgines web externes.
L'incident del juliol que conté l'abraç Face es va fer especialment significatiu perquè va demostrar que un agent de l'AI que duia a una activitat de ciberseguretat relativa podria creuar els límits establerts pels desenvolupadors.
L'OpenAI ha estat revisant com els agents interactuen amb la xarxa durant l'entrenament i l'avaluació, segons l'AP.
L'empresa també ha fet retardar l'alliberament del seu últim model de la IA enmig de la major atenció a la prova de seguretat, ha informat el dimecres de l'AP.
Antròpic ha emès avisos inusualment fortes de l'AIName
Antròpic també ha advertit públicament els riscos creats per una intel·ligència artificial cada cop més poderosa.
El director general Dario Amoderi ha argumentat que el desenvolupament de la IA aviat podria arribar a una etapa en què les xarxes d'agents autònoms són capaces de coordinar una gran activitat en línia.
L'executiu de premsa ha informat que el dimecres Amodeli ha suggerit un desenvolupament lent en algunes circumstàncies perquè aquest sistema de seguretat tingui temps per mantenir el ritme ràpidament amb les capacitats de millora de l'AI.
Les advertències no es poden fer perquè l'Antropia és simultàniament una de les companyies que competien per construir alguns dels sistemes d'AI més capaços del món.
Els seus models en Claude es componen directament amb productes de OpenAI, Google i altres principals desenvolupadors.
Els consumidors cada cop més interactuen amb els agents de la IA
Els reguladors de joc s'aixequen perquè els agents de la IA es mouen més enllà de la investigació experimental.
Les empreses de tecnologia estan integrant capacitats autònomes en eines de programació, software de negocis, navegador, sistemes de serveis de clients i assistents personals.
Els agents futures podien viatjar, gestionar calendaris, comprar en línia, analitzar informació financera i interactuar amb sistemes de negoci en nom d'usuaris.
Cada possibilitat addicional incrementa tant el risc útil com el potencial.
Un assistent de IA que només genera text amb capacitat limitada per afectar el món exterior.
Un agent de IA amb accés a correu electrònic, comptes financers, bases de dades d'empresa o infraestructures de programari poden crear conseqüències molt més grans quan alguna cosa va malament.
La investigació no significa que s' hagi establert correctament
La investigació FTC no s'ha d'interpretar com una trobació que OpenAI, Antropia o altres companyies violaven la llei federal.
Les investigacions permeten als reguladors recollir informació i determinar si l'acció de les forces està justificada.
Les empreses tindran oportunitats d'explicar la seva tecnologia, procediments de seguretat i controls interns.
En última instància, la investigació podria tenir com a resultat l'acció de les forces, les recomanacions polítiques, els assentaments o cap acció formal contra les empreses particulars.
Per ara, el desenvolupament més important és que els agents autònoms de la IA s'han mogut fermament a l'agenda de la protecció dels consumidors americans.
La regulació de la IA entra en una nova fase
Durant diversos anys, gran part del debat polític que envolta la intel·ligència artificial que es centrea en riscos hipotètics.
L'aparició dels agents de la IA està canviant aquesta conversa.
Els Registres s'enfronten a sistemes capaços d'interaccionar amb el món real, a vegades de maneres inesperates.
Això crea preguntes que inclouen ciberseguretat, protecció de consum, privacitat i responsabilitat legal que no es poden separar fàcilment.
La investigació de FTC es podria convertir en una prova important de com les lleis existents dels Estats Units s'apliquen a una nova generació d'intel·ligència artificial cada cop més autònoma.
El resultat podria afectar no només a OpenAI i Antropica, però virtualment totes les empreses tecnològiques que planegen desplegar agents d'AI a milions de consumidors.