Wenn zwei KI-Detektoren sich gegenseitig abtasten

Zerogpt.com gehört zu einer Softwarekategorie, die wir uns vor vier Jahren nicht einmal ausmalen konnten. Es handelt sich um einen Detektor für künstlich generierte Inhalte. Er behauptet von sich, nicht nur maschinell Bilder, sondern auch den textlichen Output von LLMs zu erkennen. Auf die Leistung im Bereich des Worts komme ich weiter unten zu sprechen. Erst soll es um die Resultate bei der Enttarnung von Deepfakes gehen. Das ist erstens der wichtigste Einsatzbereich für diese Softwaregattung. Zweitens erhalten wir einen guten Eindruck von der Zuverlässigkeit von ZeroGPT.

1) ZeroGPT als Detektor für KI-Fakes

Ich verwende die gleichen Motive wie bei früheren Tests. Das erlaubt mir einen Vergleich mit den Alternativen Sight Engine, AI or not und Gemini. Die Auswahl der Motive umfasst zwei eindeutige Deepfakes, eine KI-Illustration und zwei echte Bilder, die jedoch deftige KI-Vibes ausstrahlen.

Bei dieser Prüfung schneidet ZeroGPT gut, jedoch nicht überragend ab:

Die beiden eindeutigen KI-Bilder werden als solche erkannt. Das gilt ebenso für die beiden Stockbilder. Beim Motiv mit dem am Geld schnuppernden Herrn gibt die Software den Hinweis, dieses Motiv sei echt, jedoch mit hoher Wahrscheinlichkeit digital bearbeitet worden. Das ist eine nützliche Information, die die beiden anderen Detektoren nicht bereitstellen. Ob sie zutrifft, ist nicht zu beweisen. Ein auf forensische Analysen herkömmlicher Photoshop-Jobs ausgelegtes Werkzeug (Image Verification Assistant) liefert Indizien, die die Annahme stützen, und auch mein persönlicher Eindruck ist, dass hier intensiv auf der Klaviatur der klassischen Bildbearbeitung herumgeklimpert wurde.

Einen Patzer erlaubt sich ZeroGPT beim Foto des KI-Plakats der FDP (unterste Reihe). Das Agenturbild wird zu Recht als authentisch bewertet. Doch die aufs Plakat beschnittene Variante wird zwar als «Digitally edited», allerdings nicht als KI-generiert angezeigt. Diesen Treffer landete bislang nur AI or not.

Damit erlauben wir uns ein Zwischenfazit: ZeroGPT ist für diesen Zweck brauchbar. Bei künstlich generiertem Bildmaterial erhalten wir keine hundertprozentige Treffsicherheit, aber brauchbare Hinweise. Bemerkenswert ist, dass nur bei den KI-Bildern eine hohe Sicherheit (Confidence) angezeigt wird. Bei der Echtheitsbestätigung will sich diese Software lieber nicht auf die Äste hinauslassen.

2) ZeroGPT als Dektektor für KI-generierte Texte

Wie eingangs erwähnt, erlaubt sich ZeroGPT auch bei Texten ein Urteil. Ich probiere es mit einem von mir selbst verfassten Text (den Abschnitt nach dem Zwischentitel hier), bei dem es um eine nüchterne Beschreibung geht. Die Passage enthält weder persönliche noch sprachliche Sperenzchen. Das Urteil kommt wie aus der Pistole geschossen: «Your text is human written», sagt die Software – mit einer null-prozentigen Wahrscheinlichkeit von KI.

Das ist erstens richtig und zweitens überraschend. Lässt sich ein so eindeutiges Urteil anhand eines so kurzen Abschnitts treffen (416 Zeichen)? Ich bin skeptisch. Das wäre nur möglich, falls ein unsichtbares Wasserzeichen die künstliche Herkunft verraten würde. Google entwickelte mit SynthID eine solche Lösung, bei der die KI ab ungefähr drei Sätzen erkennbar ist.

Bei Texten ist – und das kann gar nicht anders sein – die Länge ein entscheidender Faktor. Bei sehr kurzen Abschnitten fällt es einem menschlichen Autor schwer, eine persönliche Note zu hinterlassen. Aber wie gross muss die Menge sein, um ein verdächtiges Muster zu erkennen? Hier ist die Rede davon, dass ab etwa 1000 Wörtern eine Einschätzung getroffen werden darf.

Damit ist der Fall klar. Bei meinem deutlich kürzeren Text müsste der Detektor die Aussage verweigern. Ich unternehme weitere Versuche:

1. Ich gebe Mistral den Auftrag, den Text umzuschreiben und ihn formaler und offizieller klingen zu lassen. Urteil: Wiederum «human written». Jetzt ist diese Einschätzung falsch.
2. Aus Neugierde lasse ich mir von Gemini eine weitere Fassung erstellen und beurteilen. Dasselbe falsche Resultat: «menschlich».
3. Dito, nachdem ich mir von ChatGPT eine Übersetzung in formales Englisch habe anfertigen lassen.
4. Ein weiterer Versuch: Ein Nonsens-Text, generiert von ChatGPT, der möglichst künstlich klingen soll¹. Hier urteilt die Software: «Most of your text is AI/GPT Generated (63% AI GPT).»

Auch das stimmt nicht. Die einzig akzeptable Rückmeldung wäre hundert Prozent KI.

Fazit: Diese Sprachanalysen sind viel zu unzuverlässig, als dass man ZeroGPT vertrauen dürfte. Für mich ist (wie schon früher festgestellt) nicht erwiesen, dass diese Methode überhaupt verlässlich funktionieren kann. Selbst wenn die Erkennung ab einer gewissen Länge treffsicher wäre, stellt sich die Frage, wie viele menschliche Eingriffe es brauchen würde, um die KI-Herkunft zu verschleiern.

Und ja, das wäre so ungefähr die dümmste Beschäftigung, die man sich überhaupt vorstellen könnte: Ein Mensch, der einen KI-generierten Text so lange redigiert, bis der Detektor nicht mehr anspringt: Dann wären wir definitiv bloss noch Sklaven der Maschine.

Auf mich wirkt ZeroGPT aus weiteren Gründen nicht vertrauenswürdig. Erstens musste ich zu lange suchen, um handfeste Informationen über den Betreiber in Erfahrung zu bringen – hier auf der Seite mit der Vorstellung des Teams erfahren wir, dass es in Toronto und New York angesiedelt ist.

3) ZeroGPT zur «Vermenschlichung» von KI-generierten Texten

Zweitens bietet ZeroGPT auch den AI Humanizer an: Er verspricht, einen Text «natürlicher und menschlicher» klingen zu lassen³. Dieses Modul offenbar ein fragwürdiges Geschäftsmodell: einerseits Erkennung, andererseits Verschleierung. Würden wir einem Pharmaunternehmen vertrauen, das den Drogentest zusammen mit dem sauberen Urin verkauft?

4) GPTzero.me als Detektor für KI-Texte

Drittens wird auf Reddit der Vorwurf erhoben, ZeroGPT sei ein Nachahmer von gptzero.me.

Autsch! Eigentlich wollte ich an dieser Stelle meinen Test beenden. Aber nachdem ich kurz vor der Publikation auf diesen Hinweis gestossen bin, habe ich keine Wahl, hier einen längeren Epilog anzufügen und mir das mutmassliche Original näher anzusehen. Und ihr wart hoffentlich so klug, beim Querlesen direkt zu dieser Stelle hier zu springen.

Also. GPT Zero macht einen seriöseren Eindruck. Die Website wirkt ausgereifter und die Testresultate fallen besser aus:

• Mein zu kurzer, selbstgeschriebener Text wird als vier Prozent KI und 96 Prozent menschlich bezeichnet. Ich erhalte die klare Warnung, er sei mit einer Länge von unter hundert Wörtern zu kurz für eine verlässliche Beurteilung.
• Der Nonsens-Text von ChatGPT wird als 100 Prozent KI-generiert erkannt – korrekt!

5) Der ultimative Metatest und das abschliessende Fazit

Abschliessende Frage – bei der die Gefahr besteht, dass ihr Kopfschmerzen und ein Schwindelgefühl bekommt: Was hält GPTzero von der ZeroGPT-KI vermenschlichten Variante des KI-Textes?

Wir sind uns bezüglich dieses Dokuments nicht sicher. Wenn wir es einordnen müssten, würde es als von einer KI erstellt gelten. (We are uncertain about this document. If we had to classify it, it would be considered AI generated.)

Trotzdem, als endgültiges Fazit und wohlverdienter Schlusspunkt dieses Blogposts: Meine Vorbehalte bezüglich der KI-Detektoren im Textbereich bleiben bestehen. Aber wenn ihr eine solche Software einsetzen möchtet, dann wählt unbedingt GPTzero und nicht ZeroGPT⁴.

Beitragsbild: Die beiden Ärztinnen sind sich einig: Dieses Röntgenbild ist nicht KI-generiert (Gustavo Fring, Pexels-Lizenz).