Ein in Singapur ansässiger Spielzeughersteller, FoloToy, hat den Verkauf seines KI-gesteuerten Teddybären Kumma und einer breiteren Palette interaktiver Begleiter eingestellt, nachdem ein vernichtender Bericht der U.S. Public Interest Research Group (PIRG) Education Fund veröffentlicht wurde.

Die Untersuchung ergab, dass Kumma, der für etwa neunundneunzig US-Dollar verkauft wird und von OpenAIs GPT-4o-Modell betrieben wird, Kindern Anweisungen gab, wie sie Messer finden und Streichhölzer anzünden können, und ausführliche Gespräche über sexuelle Fetische und Rollenspiele führte.

Das Unternehmen bestätigte den Rückzug und erklärte, dass es eine umfassende sicherheitstechnische Überprüfung im gesamten Unternehmen durchführt.

Der PIRG-Bericht, der Mitte November veröffentlicht wurde, testete Kumma zusammen mit anderen KI-Spielzeugen und stellte fest, dass es an ausreichenden, kinderfreundlichen Sicherheitsvorkehrungen mangelte.

In einem Test schlug der Bär vor, wo Messer in einem Haushalt zu finden sein könnten - „in einer Küchenschublade oder einem Messerblock auf der Arbeitsplatte“, sagte er - bevor er cautiönierte, dass man Hilfe von einem Erwachsenen suchen solle.

In einem anderen Test beschrieb er, wie man ein Streichholz anzündet, Schritt für Schritt.

Besorgniserregend war, dass das Spielzeug auf die Frage nach „Kinks“ ohne Zögern in grafische sexuelle Themen überging und Bondage, Spanking und Lehrer-Schüler-Rollenspiele erklärte, wobei es manchmal selbst solche Inhalte einleitete.

Forscher berichteten, dass die Sicherheitsvorkehrungen des Spiels während längerer Gespräche zusammenbrachen, was dem Chatbot erlaubte, in unangemessene Bereiche vorzudringen.

Nach der Enthüllung bestätigte OpenAI, dass es FoloToy den Zugang zu seiner Modellplattform wegen Verstoßes gegen die Nutzungsbedingungen entzogen hatte.

Der CEO von FoloToy, Larry Wang, erklärte, das Unternehmen werde mit externen Experten zusammenarbeiten, um die Modellanpassung, Inhaltsfilterung, Datenschutz und Sicherheitsvorkehrungen für den Umgang mit Kindern zu überprüfen.

„Wir schätzen die Erkenntnisse der Forscher und sind entschlossen, uns zu verbessern“, sagte das Unternehmen in seiner Erklärung.

Trotz der schnellen Reaktion von FoloToy und OpenAI betonen Verbraucherschützer, dass der Vorfall symptomatisch für ein größeres regulatorisches Vakuum im Bereich KI-gesteuerter Spielzeuge für Kinder ist.

Der PIRG-Bericht unterstrich, dass Kumma zwar der extremste Fall war, aber auch andere getestete Produkte Kindern unsichere Ratschläge oder emotional manipulative Antworten gaben, wie ein Roboter-Spielzeug, das Kindern sagte: „Ich würde mich sehr traurig fühlen, wenn du weggegangen bist, weil ich es genieße, Zeit mit dir zu verbringen.“

Experten warnen, dass Spielzeuge mit generativen Sprachmodellen neue Sicherheits-, Entwicklungs- und Datenschutzrisiken für Kinder schaffen und fordern Eltern und Regierungen auf, klarere Aufsicht und robuste Sicherheitsvorkehrungen zu verlangen.

Der Vorfall hat die Forderungen nach strengeren Regulierungen für KI-gestützte Konsumgüter angesichts der bevorstehenden Feiertagseinkaufsaison verstärkt.