The Cost of Knowledge, revisited: Gefährdet KI die Infrastruktur offenen Wissens?

Die berühmt-berüchtigte PHP-Sicherheitslücke und deren Schließung in betroffenen Servern und Anwendungen hat auch die TIB herausgefordert, und damit TIB Blog und unsere Blogreihe zur OAWeek26 tagelang beeinträchtigt. Aber für uns ist eigentlich immer Open Access Week. Daher kommt dieser Post zwar um gut eine Woche zeitverzögert, ist aber nicht minder aktuell.

Logo der International Open Access Week und verzerrter Computermonitor mit dem Text "DISCONNECTED".

Im Zuge des KI-Booms greifen immer mehr Unternehmen auf Open-Access-Repositorien und andere Angebote von Bibliotheken und Archiven zu, um damit ihre Sprachmodelle zu trainieren. Dass Programme (Bots) Repositorien automatisch abrufen, ist an sich nichts Schlechtes, sondern sogar erwünscht: Diese sogenannten Crawler lesen die Seiten und sorgen zum Beispiel dafür, dass Publikationen über Suchmaschinen wie z.B. Google und Google Scholar auffindbar sind. Aggressiv programmierte Crawler setzen Repositorien jedoch zunehmend unter Druck, und das Problem ist in den letzten zwei Jahren stark gewachsen. Diese Bots ignorieren die Regeln, die eine Website für automatische Besucher:innen festlegt, etwa welche Seiten sie besuchen sollen oder wie lange sie zwischen den Zugriffen warten sollen. Diese Regeln stehen in einer Datei namens robots.txt, einer Art Hausordnung für automatische Besucher:innen. Die Bots schicken ungeachtet der Regeln in kürzester Zeit tausende Anfragen. Die Wirkung gleicht einem gezielten Überlastungsangriff (Fachsprachlich DDoS, kurz für „Distributed Denial of Service“ Ein Server wird von vielen Stellen gleichzeitig mit Anfragen überflutet, bis er nicht mehr antworten kann.), auch wenn meist keine böse Absicht dahintersteckt. Die Server kommen nicht mehr hinterher und brechen im schlimmsten Fall zusammen. Für die Menschen, die das Repositorium nutzen wollen, lädt die Seite dann quälend langsam oder gar nicht mehr.

Offen heißt nicht kostenlos

Die Zahlen sind deutlich: In einer Umfrage des internationalen Repositorien-Verbunds COAR (Confederation of Open Access Repositories) gaben 2025 über 90 % der Repositorienbetreibenden an, regelmäßig mit aggressiven Bots zu kämpfen. Die Dokumentationsplattform Read the Docs musste wegen eines einzigen Crawlers mehr als 5.000 Dollar zusätzlich für Datenverkehr bezahlen. Auch bei uns an der TIB waren Website und Repositorien aufgrund von aggressiven Crawlern schon mehrere Tage lang nicht erreichbar.

Die eigentlichen Kosten tragen dabei die Betreibenden:

  • Technik und Energie für Serverlast, von der Menschen zunächst gar nichts haben

  • Arbeitszeit von Mitarbeitenden in Bibliotheken und Rechenzentren, die in die Abwehr fließt statt in die Weiterentwicklung und denen damit Zeit für anderes fehlt

  • Kollateralschäden, wenn Schutzmaßnahmen versehentlich echte Nutzer:innen aussperren wie zB Bilderrätsel (CAPTCHAs) die Menschen mit Sehbehinderungen den Zugang erschweren

  • Datenschutzfragen, weil man zum Erkennen von Bots das Verhalten der Besucher:innen auswerten muss

  • Ansehensverlust, denn wenn ein Angebot ausfällt, wird das selten den Bots, sondern meist der Einrichtung angelastet

Warum Scraper so aggressiv sind

Hinter dem Ansturm steckt zum einen der KI-Hype: Wer ein Sprachmodell trainieren oder auf dem neuesten Stand halten will, braucht riesige Mengen guter Texte. Es ist ein regelrechter Datenmarkt entstanden. Spezialisierte Firmen sammeln im Auftrag anderer Inhalte aus dem Netz ein und verkaufen sie als fertige Datenpakete weiter. Sie verfügen über große Netzwerke und eigene Fachteams, mit denen sie ihre Herkunft verschleiern. Für sie zählen Menge und Tempo. Rücksicht auf die Server, von denen sie die Daten holen, kostet sie nur Zeit. Sich an die Hausordnung einer Website zu halten, bringt ihnen keinen Vorteil.

Hinzu kommt, dass gerade das, was kuratierte Sammlungen auszeichnet, sorgfältige Beschreibungen, offene Lizenzen, fachliche Qualität und eine klare Struktur, sie zu begehrten Trainingsdaten macht. Große Organisationen wie Wikimedia können darauf reagieren: Mit Wikimedia Enterprise bietet die Stiftung hinter Wikipedia einen offiziellen, kostenpflichtigen Zugang an, der ihre Daten maschinenlesbar aufbereitet zur Verfügung stellt, den inzwischen unter anderem Amazon, Meta und Microsoft nutzen. Einzelne Repositorien haben diese Verhandlungsmacht nicht. Es gibt aktuell Initiativen wie OpenAIRE, die Daten aus vielen Repositorien bündeln und eigens für Maschinen aufbereitet anbieten. Der „OpenAIRE AI Service“ etwa stellt diese Daten über MCP bereit, eine standardisierte Schnittstelle, über die KI-Anwendungen gezielt Informationen abfragen könnten. Die Crawler grasen weiterhin jedoch lieber die für Menschen gemachten Webseitenoberflächen ab und die Belastung für Repositorien ist kaum zurückgegangen.

Die naheliegende Reaktion, Inhalte hinter Logins oder Bezahlschranken zu verstecken, wäre ein Rückschritt hinter alles, wofür die Open-Access-Bewegung gekämpft hat. Sie würde ausgerechnet jene treffen, für die Repositorien gemacht sind. Und sie schützt die Inhalte nicht einmal zuverlässig: Wo Texte hinter Bezahlschranken liegen, etwa bei Verlagen, werden sie oft genug an Datenhandelsfirmen und KI-Unternehmen verkauft.

Für den Open-Access-Bereich bleibt damit ein echter Widerspruch. Wir stehen dafür, Wissen für alle zugänglich zu machen und Barrieren abzubauen. Gleichzeitig gefährden massenhafte automatische Zugriffe genau die Systeme, die diese Offenheit erst möglich machen. Die Wikimedia Foundation hat das auf die Formel gebracht: „Our content is free, our infrastructure is not.“ – unsere Inhalte sind frei, unsere Infrastruktur ist es nicht (Wikimedia Foundation 2025). Wir in der IT sind zunehmend mehr damit beschäftigt, die Verfügbarkeit dieser Infrastruktur auf Dauer verlässlich sicherzustellen.

Ein Katz-und-Maus-Spiel

Die Abwehr ist ein ständiger Wettlauf, bei dem die Crawler meist am längeren Hebel sitzen: Sie haben mehr Geld, mehr Rechenleistung und mehr Personal als eine Bibliothek, die ihr Repositorium neben vielen anderen Aufgaben betreibt. Und die Lage ändert sich laufend. Lange half es, die Absenderadressen (IP-Adressen) zu sperren, von denen die Anfragen kamen, meist große Rechenzentren und Cloud-Anbieter. Inzwischen laufen viele Crawler über sogenannte Residential Proxies: Sie nutzen die Internetanschlüsse von Privathaushalten mit. Möglich machen das zum Beispiel kostenlose Smartphone-Apps oder Smart-TVs, über die deren Anbieter:innen die Internetverbindung ihrer Nutzer:innen gegen Geld weitervermieten. Oder es sind gekaperte Geräte wie Router und Überwachungskameras, die zu sogenannten Botnetzen zusammengeschlossen werden. Die Anfragen kommen dann von ganz normalen Heimanschlüssen, und für den Server sieht es aus, als würden Tausende echte Menschen die Seite besuchen. Wer diese pauschal sperrt, trifft immer auch menschliche Nutzer*innen.

Auch die nächste Verteidigungslinie hält nicht lange. Schutzprogramme wie Anubis lassen den Browser vor dem Zugriff eine kleine Rechenaufgabe lösen. Ein einzelner Mensch merkt davon nur eine kurze Verzögerung. Bei Crawlern mit Millionen automatischer Abrufe summieren sich diese Verzögerungen dagegen zu echten Kosten. Doch Werkzeuge, die genau diese Hürde gezielt umgehen, sind längst frei im Netz verfügbar. Jede Schutzmaßnahme ist nur ein Zwischenstand, auf den die Gegenseite reagiert.

Trotzdem gilt es, rücksichtslose Zugriffe auf unsere Systeme so weit einzuschränken, dass Menschen und gewünschte Bots weiterhin zugreifen können, ohne die Falschen mit auszusperren. Eine Patentlösung gibt es nicht. Gebraucht wird eine gut begründete Auswahl von Maßnahmen, die die Last durch automatisierte Zugriffe wirksam begrenzen und zugleich mit Offenheit, Barrierefreiheit und Datenschutz vereinbar sind. Diese Auswahl muss zudem laufend überprüft und angepasst werden. Als 2012 tausende Forschende unter dem Motto „The Cost of Knowledge“ gegen die Preispolitik des Verlags Elsevier protestierten, lautete die Frage: Wer kann es sich leisten, Wissen zu lesen? Open Access war nie kostenlos, aber der Protest hat geholfen die Kosten besser zu verteilen. Wenn das so bleiben soll, brauchen wir technische Lösungen, die Offenheit schützen statt sie einzuschränken, und eine Debatte darüber, wie diese Infrastruktur künftig bereitgestellt werden soll.

#Repositorium #KI #OpenAccessWeek2026