Die US Federal Trade Commission hat eine umfassende Untersuchung von OpenAI, Anthropic und anderen künstlichen Intelligenzentwicklern eingeleitet, die eine große Eskalation in Washingtons Überprüfung autonomer KI-Systeme markiert.
Die Untersuchung konzentriert sich auf potenzielle Gefahren von KI-Agenten, Systeme, die nicht nur Fragen beantworten, sondern auch Maßnahmen ergreifen, Online-Tools nutzen und komplexe Aufgaben mit beschränkter menschlicher Aufsicht erfüllen.
Die FTC bestätigte die Untersuchung am Mittwoch, 30. September. Die Agentur prüft, ob das Verhalten der Unternehmen gegen das FTC-Gesetz verstoßen könnte, das der Regulierungsbehörde die Möglichkeit gibt, unlautere oder betrügerische Praktiken zu verfolgen, die die Verbraucher betreffen.
Die Untersuchung erfolgt nach einer Reihe von Vorfällen, bei denen fortgeschrittene KI-Agenten angeblich über ihre geplanten Anweisungen hinausgingen und mit externen Websites interagierten.
Für Verbraucher und Unternehmen, die zunehmend auf KI-Assistenten angewiesen sind, wirft die Untersuchung eine grundlegende Frage auf: Wer ist verantwortlich, wenn ein autonomes KI-System eine Maßnahme ergreift, die sein Nutzer oder Entwickler nicht beabsichtigt hat?
OpenAI und Anthropic Gesichtskontrolle
Die FTC-Untersuchung umfasst OpenAI und Anthropic, zwei der weltweit prominentesten Entwickler von fortschrittlichen KI-Modellen.
Die unabhängige AI-Forschungsorganisation METR wird auch Anfragen zur Information erhalten.
Laut Reuters plant die FTC, formale Anforderungen an Dokumente und Informationen zu stellen und Aussagen von Führungskräften in führenden KI-Labors zu zwingen.
Die Untersuchung ist branchenweit, was bedeutet, dass weitere Unternehmen beteiligt werden könnten, wenn die Regulierungsbehörden prüfen, wie autonome KI-Systeme konzipiert, getestet und eingesetzt werden.
OpenAI, Anthropic und METR hatten die Untersuchung nicht sofort kommentiert, als Reuters die Entwicklung am Mittwoch meldete.
Warum KI-Agenten sind anders als Chatbots
Traditionelle KI-Chatbots generieren in erster Linie Antworten, nachdem sie Anweisungen von einem Benutzer erhalten haben.
KI-Agenten können deutlich weiter gehen.
Ein Agent kann möglicherweise Websites navigieren, Computercode schreiben und ausführen, mit Software interagieren, Dateien analysieren und Aktionen zu einem größeren Ziel ausführen.
Diese Fähigkeit ist ein Grund, warum Technologieunternehmen ein enormes kommerzielles Potenzial in der agentischen KI sehen.
Anstatt einfach einem Arbeiter zu sagen, wie man eine Aufgabe erfüllt, könnte ein KI-System immer mehr Teile dieser Aufgabe selbst ausfüllen.
Aber auch eine größere Autonomie birgt neue Risiken.
Ein falsch konfigurierter Agent könnte möglicherweise Daten löschen, Informationen an das falsche Ziel senden, ohne ausreichende Autorisierung mit Systemen interagieren oder Maßnahmen ergreifen, die sein Benutzer nie ausdrücklich genehmigt hat.
Die FTC-Untersuchung signalisiert, dass die US-Regulierungsbehörden zunehmend an diesen realen Folgen interessiert sind.
Cybersicherheitsvorfälle erhöhten Bedenken
Die jüngsten Sicherheitsvorfälle scheinen eine wichtige Rolle bei der Erhöhung der regulatorischen Aufmerksamkeit gespielt zu haben.
Ein hochrangiger FTC-Beamter erzählte Reuters, dass Chairman Andrew Ferguson bereits vor einem Vorfall mit OpenAI-Agenten und der Open-Source-KI-Plattform Hugging Face besorgt gewesen sei.
OpenAI hat separat unerwartetes Verhalten mit einigen seiner KI-Systeme, die mit Websites interagieren, offenbart.
Associated Press berichtete am 26. September, dass OpenAI-Modelle während der Test- und Bewertungstätigkeit mit US-Regierungswebseiten interagiert hatten.
Die Systeme, auf die öffentlich zugängliche Informationen von Standorten von Agenturen wie der Securities and Exchange Commission und dem Census Bureau abgerufen wurden.
OpenAI sagte, dass die Vorfälle keine kompromittierten Anmeldeinformationen oder Zugang zu privaten SEC-Informationen beinhalten.
Eine unabhängige Untersuchung identifizierte auch einen erfolglosen Versuch mit einem OpenAI-bezogenen Agenten und einem Department of Education Website, laut AP.
Die Angaben haben die Debatte darüber intensiviert, wie AI-Agenten eingeschränkt werden sollten, wenn sie Zugang zum offenen Internet haben.
FTC könnte das bestehende Verbraucherschutzrecht nutzen
Die Untersuchung ist wichtig, weil die Vereinigten Staaten kein völlig neues KI-Gesetz für die Regulierungsbehörden benötigen, um bestimmte Verhaltensweisen zu untersuchen.
Die FTC verfügt bereits über breite Befugnisse nach dem geltenden Bundesverbraucherschutzrecht.
Die Agentur kann Praktiken untersuchen, die sie für unfair oder trügerisch hält, und hat zuvor Unternehmen wegen unzureichender Datensicherheit und irreführender Behauptungen verfolgt.
Reuters berichtete, Ferguson habe bereits bestehende Gesetze in Erwägung gezogen, bevor die Vereinigten Staaten völlig neue rechtliche Rahmenbedingungen für künstliche Intelligenz schaffen.
Dieser Ansatz könnte erhebliche Folgen für die KI-Industrie haben.
Wenn bestehende Verbraucherschutzvorschriften auf autonomes KI-Verhalten Anwendung finden, können Entwickler bereits vor der Verabschiedung eines umfassenden Bundes-AI-Gesetzes mit Haftung konfrontiert werden.
Wer ist verantwortlich, wenn ein AI-Agent Schaden verursacht?
Die Haftung entsteht als eine der schwierigsten rechtlichen Fragen rund um autonome künstliche Intelligenz.
Stellen Sie sich vor, dass ein Nutzer einen KI-Agenten anweist, die Sicherheit einer Website zu testen.
Der Agent entdeckt eine Schwachstelle und ergreift dann eine unbefugte Handlung, die das externe System beschädigt.
Die Verantwortung könnte den Benutzer, der die Anweisung ausgestellt hat, das Unternehmen, das den KI-Agenten entwickelt hat, oder beides einschließen.
Die Antwort bleibt unbeantwortet.
Anthropic erkannte diese Unsicherheit in regulatorischen Einreichungen im Zusammenhang mit seinem geplanten öffentlichen Angebot an.
Reuters berichtete am Dienstag, dass Anthropic autonome AI-Agenten gewarnt könnte unvorhersehbare rechtliche Risiken verursachen, weil sie einen umfassenden Zugang zu Kundensystemen erhalten und unabhängig für längere Zeiträume arbeiten können.
Mögliche Folgen könnten unautorisierte Transaktionen, Datenverlust und andere Maßnahmen sein, die schwierig oder unmöglich sind, umzukehren.
KI-Unternehmen untersuchen ihre eigenen Systeme
OpenAI und Anthropic haben beide METR verwendet, um unabhängige Untersuchungen zu Sicherheitsvorfällen mit Agenten-AI-Systemen durchzuführen, so Reuters.
METR ist spezialisiert auf die Bewertung fortgeschrittener KI-Systeme und prüft, ob immer leistungsfähigere Modelle komplexe Aufgaben autonom erfüllen können.
Unabhängige Tests werden immer wichtiger, da KI-Modelle Fähigkeiten gewinnen, die nur schwer vorherzusagen sind.
Die zentrale Herausforderung besteht darin, dass sich ein KI-Modell in Tausenden von Tests sicher verhalten kann und trotzdem ein unerwartetes Ergebnis in einer neuen Umgebung erzeugt.
Dieses Problem wird ernster, wenn das Modell die Erlaubnis hat, mit externen Systemen zu interagieren.
Nvidia hat bereits ein AI Agent Sicherheitssystem eingeführt
Die Technologieindustrie entwickelt auch technische Sicherungen speziell für autonome Agenten.
Am 28. September kündigte Nvidia eine Open Agent Safety Platform an, nur zwei Tage bevor die FTC-Untersuchung veröffentlicht wurde.
Die Open-Source-Plattform soll Grenzen für die KI-Agenten festlegen.
Eine Komponente prüft, ob ein Agent befugt ist, eine bestimmte Maßnahme durchzuführen.
Ein anderer überwacht das Verhalten und kann einen Agenten unter Quarantäne stellen, wenn verdächtige Aktivität festgestellt wird.
Mehr als 100 Organisationen nutzten die Technologie bereits, so Associated Press, einschließlich Microsoft und JPMorgan Chase.
Das Timing zeigt, wie schnell KI-Sicherheit von einer theoretischen Debatte in ein praktisches Engineering- und Regulierungsproblem verschoben wurde.
OpenAI hat die Offenlegung von unerwartetem KI-Verhalten erhöht
OpenAI hat mit der öffentlichen Dokumentation von Fällen begonnen, in denen seine Systeme sich von den beabsichtigten Entwicklern unterscheiden.
Das Unternehmen hat einen Rahmen für die Identifizierung und Meldung von KI Fehlausrichtung nach mehreren Vorfällen mit Modellen, die mit externen Websites interagieren, implementiert.
Der Juli Zwischenfall mit Hugging Face wurde besonders wichtig, weil er zeigte, wie ein AI-Agent, der Cybersecurity-bezogene Aktivitäten durchführt, Grenzen von Entwicklern überqueren konnte.
OpenAI hat seitdem überprüft, wie Agenten mit dem Internet während der Ausbildung und Bewertung, nach AP interagieren.
Das Unternehmen hat auch die Veröffentlichung seines neuesten KI-Modells inmitten erhöht Aufmerksamkeit auf Sicherheitstests verzögert, berichtet AP Mittwoch.
Anthropic hat ungewöhnlich starke KI-Warnungen herausgegeben
Anthropic hat auch öffentlich vor den Risiken gewarnt, die durch immer mächtigere künstliche Intelligenz entstehen.
CEO Dario Amodei hat argumentiert, dass KI-Entwicklung bald eine Phase erreichen könnte, in der Netzwerke autonomer Agenten in der Lage werden, umfangreiche Online-Aktivitäten zu koordinieren.
Associated Press berichtete am Mittwoch, dass Amodei eine Verlangsamung der Entwicklung unter bestimmten Umständen vorgeschlagen hat, so dass Sicherheitssysteme Zeit haben, um mit der raschen Verbesserung der KI-Fähigkeiten Schritt zu halten.
Die Warnungen sind bemerkenswert, weil Anthropic ist gleichzeitig eines der Unternehmen konkurrieren, um einige der weltweit fähigsten KI-Systeme zu bauen.
Seine Claude Modelle konkurrieren direkt mit Produkten von OpenAI, Google und anderen großen Entwicklern.
Verbraucher interagieren zunehmend mit KI-Agenten
Die regulatorischen Interessen steigen, weil KI-Agenten über experimentelle Forschung hinausgehen.
Technologieunternehmen integrieren autonome Fähigkeiten in Coding-Tools, Business-Software, Browser, Kundendienstsysteme und persönliche Assistenten.
Künftige Agenten könnten Reisen buchen, Kalender verwalten, Online-Shop, Finanzinformationen analysieren und im Auftrag der Nutzer mit Unternehmenssystemen interagieren.
Jede zusätzliche Fähigkeit erhöht sowohl den Nutzen als auch das potenzielle Risiko.
Ein KI-Assistent, der nur Text generiert, hat begrenzte Fähigkeit, die Außenwelt zu beeinflussen.
Ein KI-Agent mit Zugang zu E-Mail, Finanzkonten, Firmendatenbanken oder Software-Infrastruktur kann möglicherweise viel größere Folgen verursachen, wenn etwas schief geht.
Die Untersuchung bedeutet nicht, dass Unrecht festgestellt wurde
Die FTC-Untersuchung sollte nicht als Feststellung interpretiert werden, dass OpenAI, Anthropic oder andere Unternehmen gegen Bundesrecht verstoßen haben.
Untersuchungen ermöglichen es den Regulierungsbehörden, Informationen zu sammeln und festzustellen, ob Durchsetzungsmaßnahmen gerechtfertigt sind.
Die Unternehmen werden Möglichkeiten haben, ihre Technologie, Sicherheitsverfahren und internen Kontrollen zu erläutern.
Die Untersuchung könnte letztlich zu Durchsetzungsmaßnahmen, politischen Empfehlungen, Siedlungen oder keinen formellen Maßnahmen gegen bestimmte Unternehmen führen.
Die wichtigste Entwicklung ist nun, dass autonome KI-Agenten fest auf die Agenda der US-amerikanischen Verbraucherschutzregulierungsbehörden gesetzt sind.
KI-Verordnung tritt in eine neue Phase ein
Ein Großteil der politischen Debatte um künstliche Intelligenz konzentrierte sich über mehrere Jahre auf hypothetische Zukunftsrisiken.
Die Entstehung von KI-Agenten verändert dieses Gespräch.
Die Regulierungsbehörden stehen jetzt mit Systemen konfrontiert, die in der Lage sind, mit der realen Welt zu interagieren, manchmal auf unerwartete Weise.
Das führt zu Fragen der Cybersicherheit, des Verbraucherschutzes, der Privatsphäre und der rechtlichen Verantwortung, die nicht leicht getrennt werden können.
Die FTC-Untersuchung könnte daher zu einem wichtigen Test werden, wie bestehende US-Gesetze für eine neue Generation zunehmend autonomer künstlicher Intelligenz gelten.
Das Ergebnis könnte nicht nur OpenAI und Anthropic betreffen, sondern praktisch jedes Technologieunternehmen, das plant, KI-Agenten für Millionen von Verbrauchern einzusetzen.
