Cloudflare bietet Urheberinnen und Urhebern ein neues Werkzeug zur Kontrolle der Nutzung ihrer Inhalte

San Francisco (Kalifornien), 24. September 2025 – Cloudflare, Inc. (NYSE: NET), der führende Anbieter im Bereich Connectivity Cloud, stellt heute eine neue Möglichkeit vor, Website-Betreiberinnen und Betreibern, Publishern sowie Verlagen zu einer besseren Kontrolle ihrer Inhalte zu verhelfen. Cloudflare erlaubt es künftig mit der neuen „Content Signals“-Richtlinie jeder Website, ihre robots.txt-Datei – eine einfache Textdatei, mit der Webcrawlern mitgeteilt wird, auf welche Teile einer Website sie zugreifen dürfen und auf welche nicht – problemlos zu aktualisieren. Auf diesem Weg können Betreiberinnen und Betreiber von Websites festlegen, auf welche Weise ihre Daten bevorzugterweise von anderen verwendet werden. Das schließt auch die Möglichkeit mit ein, KI-Überblicksdarstellungen und -Inferenz vollständig abzulehnen.

Das Internet wandelt sich gerade von einer großen Suchmaschine, die eine vom Nutzer durchsuchbare Schatzkarte mit Links bereitstellt, zu einem KI-gestützten Antwortgeber, der die Frage der Nutzerin oder des Nutzers direkt beantwortet, ohne dass die Website mit den dafür benötigten Informationen aufgerufen werden muss. Dadurch wird das ursprüngliche Geschäftsmodell des Internets infrage gestellt, bei dem Websites, Verlage, Publisher, Content Creatorinnen und Creator Geld verdienen oder Bekanntheit erlangen konnten, indem sie Traffic auf ihren Internetauftritt gelenkt und dafür gesorgt haben, dass dieser aufgerufen wurde. Heute erfassen KI-Crawler riesige Mengen an Daten von Websites. Deren Inhaberinnen und Inhaber können aber nicht im Detail zum Ausdruck bringen, ob, wie und zu welchem Zweck sie die Nutzung ihrer Inhalte gestatten. Mit robots.txt-Dateien können Websites festlegen, welche Crawler zugelassen werden und auf welche Teile einer Internetpräsenz diese zugreifen können. Der Crawler erfährt damit aber nicht, was er nach dem Zugriff mit den Inhalten tun darf. Es muss deshalb eine standardisierte, maschinenlesbare Methode geben, mit der signalisiert werden kann, wie Daten verwendet werden dürfen – und zwar auch, nachdem bereits darauf zugegriffen wurde.

„Das Internet kann nicht auf eine Lösung warten, während in der Zwischenzeit die Originalinhalte der Urheberinnen und Urheber von anderen Unternehmen gewinnbringend genutzt werden“, erklärt Matthew Prince, Mitgründer und CEO von Cloudflare. „Um auch für die Zukunft ein offenes und florierendes Internet zu gewährleisten, geben wir Website-Betreiberinnen und -Betreibern eine bessere Möglichkeit, zum Ausdruck bringen, wie Unternehmen ihre Inhalte nutzen dürfen. Robots.txt ist eine nicht ausreichend genutzte Ressource. Wir können zu einer Stärkung der Datei beitragen und KI-Unternehmen deutlich machen, dass sie die Präferenzen von Content Creatorinnen und Creatorn nicht länger ignorieren dürfen.“

Bei Cloudflare sind wir der Meinung, dass die Betreiberin oder der Betreiber einer Website, einer API, eines MCP-Servers oder eines mit dem Internet verbundenen Dienstes – ob es sich dabei nun um eine lokale Nachrichtenorganisation, ein KI-Start-up oder einen E-Commerce-Shop handelt – über die gewerbliche Verwendung der eigenen Daten durch andere entscheiden können sollte. Aktuell nutzen mehr als 3,8 Millionen Domains den verwalteten robots.txt-Dienst von Cloudflare, um wissen zu lassen, dass ihre Inhalte nicht für KI-Training verwendet werden sollen. Die neue „Content Signals“-Richtlinie von Cloudflare wird Nutzerinnen und Nutzern jetzt ermöglichen, ihre robots.txt-Einstellungen mit einer Reihe klarer Anweisungen für jeden zu verstärken, der über automatisierte Instrumente wie einen KI-Crawler auf die Website zugreift. Die Richtlinie informiert die Crawler folgendermaßen:

• Sie erklärt in einfachen Worten, wie die Inhaltssignale zu interpretieren sind: „Ja“ bedeutet erlaubt, „nein“ bedeutet nicht erlaubt und kein Signal bedeutet, dass keine Vorliebe zum Ausdruck gebracht wird.

• Sie liefert eine klare Definition der verschiedenen Arten, in denen ein Crawler Inhalte normalerweise verwendet, einschließlich Suche, KI-Eingabe und KI-Training.

• Sie erinnert Unternehmen daran, dass die in robots.txt-Dateien angegebenen Vorlieben von Website-Betreiberinnen und Betreibern rechtliche Bedeutung haben können.

Robots.txt-Dateien unterbinden unerwünschtes Scraping zugegebenermaßen nicht. Doch Cloudflare verfolgt das Ziel, dass durch diese optimierte Richtlinienformulierung die Präferenzen von Website-Inhaberinnen und -Inhabern Bot-Betreibern besser kommuniziert und Unternehmen dazu gebracht werden, die Wünsche der Urheberinnen und Urheber von Inhalten stärker zu respektieren.

Ab heute wird Cloudflare die robots.txt-Dateien automatisch aktualisieren, um darin diesen neuen Richtlinientext für alle Kunden aufzunehmen, die uns mit der Verwaltung ihrer robots.txt-Datei betrauen. Für alle, die Vorgaben dazu machen möchten, wie Crawler ihre Inhalte über benutzerdefinierte robots.txt-Dateien nutzen können, veröffentlicht Cloudflare hilfreiche Tools zur Unterstützung.

Unternehmen haben die Notwendigkeit von Lösungen wie der „Content Signals“-Richtlinie zur klareren Regelung der Verwendung ihrer Inhalte erkannt:

• News/Media Alliance: „Wir freuen uns sehr, dass Cloudflare ein leistungsstarkes neues Tool anbietet, das jetzt allen Nutzerinnen und Nutzer zur Verfügung steht und mit dem Publisher und Verlage bestimmen können, wie und wo ihre Inhalte verwendet werden. Dies ist ein wichtiger Schritt, um Publishern und Verlagen jeder Größe die Kontrolle über ihre eigenen Inhalte zurückzugeben und sicherzustellen, dass sie sich die Erstellung von qualitativ hochwertigen Inhalten, auf die sich die Nutzerinnen und Nutzer verlassen, weiterhin leisten können. Wir hoffen, dass dies die Technologieunternehmen dazu ermutigt, die Präferenzen der Content Creatorinnen und Creator zu respektieren. Cloudflare zeigt, dass es nicht nur möglich ist, das Richtige zu tun, sondern dass das auch ein gutes Geschäft sein kann.“ – Danielle Coffey, President und CEO der News/Media Alliance
• Quora: „Wir begrüßen die Führungsrolle von Cloudflare und unterstützen die Bemühungen des Unternehmens beim Aufbau von Kontrollen und Protokollen, die Publishern und Verlagen bei der Verwaltung des Zugriffs auf ihre Inhalte helfen.“ – Ricky Arai-Lopez, Head of Product bei Quora.
• Reddit: „Damit das Web ein Ort für authentische menschliche Interaktion bleibt, müssen Plattformen, die Communitys stärken, nachhaltig sein. Wir unterstützen Initiativen, die sich für klare Signale zum Schutz vor dem Missbrauch von Inhalten einsetzen.“ – Chris Slowe, CTO von Reddit
• RSL Collective: „Wir freuen uns, mit Cloudflare bei der Einführung der ‚Content Signals‘-Richtlinie zusammenzuarbeiten. Dies ist ein wichtiger Schritt nach vorn, der es Publishern und Verlagen ermöglicht, ihre Rechte durchzusetzen und klar zu definieren, wie Unternehmen ihre Inhalte nutzen dürfen. Der offene RSL-Standard, der in Zusammenarbeit mit den führenden Publishern des Internets entwickelt wurde, ergänzt das „Content Signals“-Protokoll, indem er es Eigentümerinnen und Eigentümern von Inhalten ermöglicht, nicht nur ihre Rechte zu schützen, sondern auch maschinenlesbare Lizenz- und Vergütungsbedingungen für diese Anwendungsfälle zu definieren. Das RSL Collective und Cloudflare verfolgen gemeinsam eine Vision: ein nachhaltiges offenes Web, in dem Publisher und Kreative erfolgreich sein können und von KI-Unternehmen angemessen vergütet werden.“ – Eckart Walther, Mitgründer des RSL Collective
• Stack Overflow: „Die Natur des Internets und seine implizite Vereinbarung mit Content-Anbieterinnen und -Anbietern hat sich in den letzten Jahren relativ dramatisch verändert. Mit unserem großen Korpus von rund 70 Milliarden Daten-Tokens ist Stack Overflow stolz darauf, mit den führenden KI Labs und Cloud-Anbietern im Bereich der Datenlizenzierung zusammenzuarbeiten. Wir begrüßen es, dass Cloudflare durch den Aufbau einer skalierbaren Lösung für das Internet im neuen KI-Zeitalter bei der Ermächtigung und dem Schutz von Content Creatorinnen und Creatorn eine zentrale Rolle spielt.“ – Prasanth Chandrasekar, CEO von Stack Overflow

Eingehender zu diesem Thema informieren können Sie sich hier:

• Blog-Beitrag: Mit der neuen „Content Signals“-Richtlinie von Cloudflare haben Nutzerinnen und Nutzer die Wahl
• http://contentsignals.org/

Über Cloudflare

Cloudflare, Inc. (NYSE: NET) ist der führende Anbieter im Bereich Connectivity Cloud und hat es sich zum Ziel gesetzt, ein besseres Internet zu schaffen. Mit Cloudflare können Organisationen ihre Mitarbeitenden, Anwendungen und Netzwerke noch besser schützen, deren Performance steigern und gleichzeitig Komplexität und Kosten reduzieren. Die Connectivity Cloud von Cloudflare bietet die umfassendste einheitliche Plattform von Cloud-nativen Produkten und Entwicklertools am Markt. Damit kann jedes Unternehmen die notwendige Kontrolle erlangen, um zu arbeiten, zu entwickeln und seinen Geschäftsbetrieb zu beschleunigen.

Aufbauend auf einem der größten und am stärksten verflochtenen Netzwerke der Welt schirmt Cloudflare Kunden täglich vor Milliarden von Online-Bedrohungen ab. Millionen Organisationen bauen auf Cloudflare – darunter große Marken ebenso wie Unternehmerinnen und Unternehmer, kleine und mittelständische Betriebe, gemeinnützige Einrichtungen, Hilfsorganisationen und Behörden auf der ganzen Welt.

Weitere Informationen zur Connectivity Cloud von Cloudflare finden Sie unter cloudflare.com/de-de/connectivity-cloud. Bei https://radar.coudflare.com können Sie sich über die neuesten Trends und Erkenntnisse zum Thema Internet informieren.

Cloudflare folgen: Blog | X | LinkedIn | Facebook | Instagram

Zukunftsgerichtete Aussagen

Diese Pressemitteilung enthält zukunftsgerichtete Aussagen im Sinne von Abschnitt 27A des „Securities Act of 1933“ der Vereinigten Staaten in seiner geänderten Fassung und Abschnitt 21E des „Securities Exchange Act of 1934“ der Vereinigten Staaten in seiner geänderten Fassung, die mit erheblichen Risiken und Unsicherheiten behaftet sind. In einigen Fällen lassen sich zukunftsgerichtete Aussagen daran erkennen, dass sie Wörter wie „können“, „werden“, „sollten“, „erwarten“, „erkunden“, „planen“, „voraussehen“, „könnten“, „beabsichtigen“, „anstreben“, „prognostizieren“, „erwägen“, „glauben“, „schätzen“, „vorhersagen“, „potenziell“ oder „fortsetzen“ oder die Verneinung dieser Wörter oder ähnliche Begriffe oder Ausdrücke enthalten, die sich auf unsere Erwartungen, Strategien, Pläne oder Absichten beziehen. Allerdings enthalten nicht alle zukunftsgerichteten Aussagen diese Signalwörter. Unter zukunftsgerichteten Aussagen, die in dieser Pressemitteilung direkt oder indirekt getätigt werden, sind unter anderem Aussagen über die Pläne und Ziele von Cloudflare bezüglich unserer „Content Signals“-Richtlinie, über die Funktionen und die Effektivität dieser Richtlinie und anderer Produkte und Technologien von Cloudflare, über die mit der Nutzung dieser Richtlinie und anderer Produkte und Technologien von Cloudflare einhergehenden Vorteile für Cloudflare-Kunden, über das globale Netzwerk, die Produkte und Technologie, die technologische Entwicklung, die zukünftige Betriebstätigkeit, das Wachstum, Initiativen oder Strategien von Cloudflare sowie Äußerungen unseres CEO und anderer zu verstehen. Die tatsächlichen Ergebnisse können erheblich von denjenigen abweichen, die in den zukunftsgerichteten Aussagen direkt oder indirekt angegeben wurden, was auf eine Reihe von Faktoren zurückzuführen ist – unter anderem auf die Risiken, die in den von Cloudflare bei der US-Börsenaufsicht SEC (Securities and Exchange Commission) eingereichten Unterlagen aufgeführt sind, einschließlich des Cloudflare-Quartalsberichts im Formular 10-Q, das am 31. Juli 2025 eingereicht wurde, sowie anderer Unterlagen, die Cloudflare gegebenenfalls bei der SEC einreicht.

Die in dieser Pressemitteilung getätigten zukunftsgerichteten Aussagen beziehen sich nur auf Ereignisse bis zu dem Datum, an dem sie gemacht wurden. Cloudflare übernimmt keine Verpflichtung, die in dieser Pressemitteilung getätigten zukunftsgerichteten Aussagen nachträglich zu aktualisieren, sodass sie Ereignisse, Umstände, neue Informationen oder unvorhergesehene Ereignisse, die nach dem Datum dieser Pressemitteilung auftreten, berücksichtigen, sofern dies nicht gesetzlich vorgeschrieben ist. Es ist möglich, dass sich die dargelegten Pläne, Absichten oder Annahmen in den von Cloudflare getätigten zukunftsgerichteten Aussagen nicht realisieren, weshalb Sie sich nicht vorbehaltlos auf die zukunftsgerichteten Aussagen von Cloudflare verlassen sollten.

© 2025 Cloudflare, Inc. Alle Rechte vorbehalten. Cloudflare, das Cloudflare-Logo und weitere Cloudflare-Marken sind Marken und/oder eingetragene Marken von Cloudflare, Inc. in den USA und anderen Rechtsräumen. Alle anderen Marken und Namen, auf die hier Bezug genommen wird, können Marken der jeweiligen Eigentümer sein.