Fast ein Jahr, nachdem KI-generierte Nacktbilder von Schülerinnen eine Gemeinschaft im Süden Spaniens durcheinander gebracht haben, verurteilte ein Jugendgericht in diesem Sommer 15 ihrer Klassenkameradinnen zu einem Jahr Bewährung.
Aber das von der künstlichen Intelligenz verwendete Tool zur Erstellung der schädlichen Deepfakes ist immer noch leicht im Internet zugänglich und verspricht, jedes hochgeladene Foto innerhalb von Sekunden zu "entkleiden".
Jetzt wird in Kalifornien ein neuer Versuch unternommen, die App und ähnliche Dienste zu schließen, wo San Francisco diese Woche eine bahnbrechende Klage eingereicht hat, die Experten zufolge wegweisend sein könnte, aber auch auf viele Hindernisse stoßen wird.
"Die Verbreitung dieser Bilder hat eine schockierende Anzahl von Frauen und Mädchen auf der ganzen Welt ausgenutzt", sagte David Chiu, der gewählte Stadtrat von San Francisco, der die Klage gegen eine Gruppe weit verbreiteter Websites eingereicht hat, die mit Unternehmen in Kalifornien, New Mexico, Estland, Serbien, dem Vereinigten Königreich und anderswo verbunden sind.
"Diese Bilder werden verwendet, um Frauen und Mädchen zu schikanieren, zu demütigen und zu bedrohen", sagte er in einem Interview mit der Associated Press. "Und die Auswirkungen auf die Opfer waren verheerend für ihren Ruf, ihre psychische Gesundheit, den Verlust ihrer Autonomie und in einigen Fällen verursachten sie einige, suizidal zu werden."
Die im Namen der Bevölkerung von Kalifornien eingereichte Klage wirft den Diensten zahlreiche Verstöße gegen staatliche Gesetze gegen betrügerische Geschäftspraktiken, nicht einvernehmliche Pornografie und den sexuellen Missbrauch von Kindern vor. Aber es kann schwierig sein, herauszufinden, wer die Apps betreibt, die nicht in den Telefon-App-Stores erhältlich sind, aber immer noch leicht im Internet zu finden sind.
Im vergangenen Jahr behauptete ein Service, der von der AP kontaktiert wurde, in einer E-Mail, dass sein "CEO in den USA ansässig ist und sich dort bewegt", aber lehnte es ab, irgendwelche Beweise vorzulegen oder andere Fragen zu beantworten. Die AP nennt die konkreten verklagten Apps nicht, um sie nicht zu bewerben.
"Es gibt eine Reihe von Websites, bei denen wir im Moment nicht genau wissen, wer diese Betreiber sind und woher sie operieren, aber wir haben investigative Werkzeuge und Vorladungsbefugnisse, um dem auf den Grund zu gehen", sagte Chiu. "Und wir werden sicherlich unsere Befugnisse im Rahmen dieser rechtlichen Auseinandersetzung nutzen."
Viele der Tools werden verwendet, um realistische Fälschungen zu erstellen, die Fotos bekleideter erwachsener Frauen, einschließlich Prominenter, ohne deren Zustimmung "nackt" machen. Aber sie sind auch in Schulen auf der ganzen Welt aufgetaucht, von Australien bis Beverly Hills in Kalifornien, typischerweise mit Jungen, die Bilder von weiblichen Klassenkameradinnen erstellen, die dann durch soziale Medien zirkulieren.
In einem der ersten weit verbreiteten Fälle im September letzten Jahres in Almendralejo, Spanien, erklärte eine Ärztin, die sich nach der Gerichtsentscheidung dieses Sommers zufrieden mit der Schwere der Strafe zeigte, die ihre Klassenkameraden erwartet. Sie begrüßte die Maßnahmen von San Francisco, sagte aber, dass weitere Anstrengungen erforderlich seien, auch von größeren Unternehmen wie dem in Kalifornien ansässigen Meta Platforms und dessen Tochterunternehmen WhatsApp, das in Spanien zur Verbreitung der Bilder verwendet wurde.
Während Schulen und Strafverfolgungsbehörden versucht haben, diejenigen zu bestrafen, die die Deepfakes erstellen und teilen, hatten die Behörden damit zu kämpfen, was mit den Tools selbst zu tun ist. Im Januar erklärte der Exekutivbereich der Europäischen Union in einem Schreiben an ein spanisches Mitglied des Europäischen Parlaments, dass die in Almendralejo verwendete App "nicht" unter die weitreichenden neuen Regeln zur Stärkung der Online-Sicherheit der Union falle, da es sich nicht um eine große genug Plattform handele.
Organisationen, die das Wachstum von KI-generiertem Kindesmissbrauchsmaterial verfolgen, werden den Fall von San Francisco genau beobachten.
Die Klage "hat das Potenzial, Rechtspräzedenz in diesem Bereich zu schaffen", sagte Emily Slifer, die Direktorin für Politik bei Thorn, einer Organisation, die gegen die sexuelle Ausbeutung von Kindern kämpft.
Ein Forscher an der Stanford University sagte, dass es aufgrund der Tatsache, dass viele der Beklagten außerhalb der USA ansässig sind, schwieriger sein würde, sie zur Rechenschaft zu ziehen. Chiu "hat einen steilen Kampf mit diesem Fall vor sich, könnte aber einige der Websites offline nehmen lassen, wenn die Beklagten, die sie betreiben, die Klage ignorieren", sagte Riana Pfefferkorn von Stanford. "Das könnte passieren, wenn die Stadt durch Abwesenheit standardmäßig gewinnt und Anordnungen gegen Domain-Name-Registrare, Webhosts und Zahlungsabwickler erhält, die diese Websites effektiv schließen würden, auch wenn ihre Besitzer nie in der Klage erscheinen."
