Matthew Prince, CEO von Cloudflare
Cloudflare, das führende Unternehmen im Bereich Connectivity Cloud, gibt heute bekannt, dass es nun als erster Anbieter von Internetinfrastruktur standardmäßig KI-Crawler blockiert, die ohne Erlaubnis oder finanziellen Ausgleich auf Inhalte zugreifen. Ab sofort können Eigentümerinnen und Eigentümer von Websites bestimmen, ob KI-Crawler überhaupt auf ihre Inhalte zugreifen können, und wie dieses Material von KI-Unternehmen verwertet werden darf. Außerdem können KI-Unternehmen klar angeben, ob ihre Crawler für das Training, die Inferenz oder die Suche verwendet werden. Das hilft Website-Betreiberinnen und -Betreibern bei der Entscheidung darüber, welche Crawler sie zulassen möchten. Die neue Standardeinstellung von Cloudflare ist sowohl für Urheberinnen und Urheber von Inhalten als auch für KI-Innovatoren der erste Schritt in Richtung einer nachhaltigeren Zukunft.
Das Internet beruht seit Jahrzehnten auf einem einfachen Austausch: Suchmaschinen indexieren Inhalte und leiten die Nutzerinnen und Nutzer zu den Internetauftritten, von denen diese Inhalte stammen. Dadurch werden Traffic und Werbeeinnahmen für Websites jeder Größe generiert. Bei diesem Modell werden Schöpfer und Schöpferinnen von Qualitätsinhalten mit Geld und Anerkennung entlohnt, während den Nutzerinnen und Nutzern bei der Suche neuer und relevanter Informationen geholfen wird. Doch das funktioniert heute nicht mehr. KI-Crawler erfassen Texte, Artikel, Bilder und andere Inhalte, um Antworten zu generieren, ohne Nutzerinnen und Nutzer an den Quelle des Materials weiterzuleiten. Damit gehen Urheberinnen und Urheber nicht nur Einnahmen verloren: Sie erfahren nicht einmal mehr, inwieweit ihre Inhalte wahrgenommen werden. Doch wenn der Anreiz dafür wegfällt, eigenständige und qualitativ hochwertige Inhalte zu erschaffen, hat die Allgemeinheit das Nachsehen und die Zukunft des Internets ist in Gefahr.
„Soll das Internet das KI-Zeitalter überstehen, müssen wir den Verlagen bzw. Publishern die ihnen zustehende Kontrolle geben, damit sie ein neues Geschäftsmodell schaffen können, das für alle funktioniert: für die Urheberinnen und Urheber, die Verbraucherinnen und Verbraucher, die KI-Gründerinnen und -Gründer von morgen und die Zukunft des Webs selbst“, so Matthew Prince, Mitgründer und CEO von Cloudflare. „Originäre Inhalte sind das, was das Internet zu einer der großartigsten Erfindungen des letzten Jahrhunderts machen. Deshalb ist es unbedingt nötig, dass Urheberinnen und Urheber diese auch weiter erschaffen. KI-Crawlern werden bislang beim Durchsuchen von Inhalten keine Grenzen gesetzt. Wir wollen den Urheberinnen und Urhebern die Macht zurückgeben und gleichzeitig KI-Unternehmen bei ihren Innovationen unterstützen. Es geht darum, die Zukunft eines freien und dynamischen Internets mit einem neuen Modell zu sichern, das für alle funktioniert.“
„Der innovative Ansatz von Cloudflare bezüglich der Blockierung von KI-Crawlern ist für Verlage bzw. Publisher von entscheidender Bedeutung und setzt neue Standards für die Respektierung von Inhalten im Netz. Wenn sich KI-Unternehmen nicht mehr alles, was sie wollen, einfach kostenlos nehmen können, öffnet das die Tür für nachhaltige Innovationen, die sich auf die Erteilung von Genehmigungen und Partnerschaften stützen“, sagt Roger Lynch, CEO von Condé Nast. „Es ist ein entscheidender Schritt zur Gewährleistung eines gerechten Austauschs im Internet, der Urheberinnen und Urheber schützt, Qualitätsjournalismus unterstützt und KI-Unternehmen in die Pflicht nimmt.“
„Wir fordern seit langem, dass KI-Plattformen Verlage bzw. Publisher sowie Urheberinnen und Urheber für die Nutzung der bei uns veröffentlichten Inhalte angemessen entlohnen. Jetzt können wir den Zugang zu unseren Inhalten auf die KI-Partner beschränken, die bereit sind, faire Vereinbarungen zu treffen“, so Neil Vogel, CEO von Dotdash Meredith. „Wir sind stolz darauf, Cloudflare unterstützen zu können, und freuen uns darauf, ihre Tools zum Schutz unserer Inhalte und des offenen Webs einzusetzen.“
„Als größter Verlag des Landes, der aus USA TODAY und über 200 lokalen Publikationen im gesamten USA TODAY-Netzwerk besteht, ist es für uns absolut entscheidend, unbefugtes Scraping und eine Nutzung unserer Originalinhalte ohne faire Vergütung zu verhindern“, erklärt Renn Turiano, Chief Consumer and Product Officer von Gannett Media. „Trotz der Herausforderungen in unserer Branche sind wir zuversichtlich, dass die Cloudflare-Technologie einen Beitrag zur Bekämpfung des Diebstahls von wertvollem urheberrechtlich geschütztem Material leisten wird.“
„Urheberinnen, Urheber und Verlage bzw. Publisher auf der ganzen Welt nutzen Pinterest, um ihr Geschäft zu erweitern, neue Zielgruppen zu erreichen und ihren Erfolg direkt zu messen. Die digitale Landschaft ist durch KI gerade einem grundlegenden Wandel unterworfen. Angesichts dessen setzen wir uns für den Aufbau einer robusten Internetinfrastruktur ein, innerhalb derer Inhalte zweckgemäß verwendet werden, damit Urheberinnen, Urheber und Verlage bzw. Publisher geschäftlich erfolgreich sein können“, sagt Bill Ready, CEO von Pinterest.
„KI-Unternehmen, Suchmaschinen, Forschende und alle anderen, die Websites mit Crawlern durchsuchen, müssen auch tatsächlich die sein, für die sie sich ausgeben. Und jede Plattform im Internet sollte ein Mitspracherecht dabei haben, wer ihre Inhalte wofür verwendet“, so Steve Huffman, Mitgründer und CEO von Reddit. „Wenn das Crawling transparenter ist und besser kontrolliert wird, kommt das dem gesamten Ökosystem aus Urheberinnen und Urhebern, Internetnutzerinnen und -nutzern, Plattformen und Crawlern zugute. Die Anstrengungen von Cloudflare bedeuten für alle einen Schritt in die richtige Richtung.“
„Wir begrüßen den Einsatz von Cloudflare für ein nachhaltiges digitales Ökosystem, von dem alle Beteiligten profitieren: die Verbraucherinnen und Verbraucher, die auf glaubwürdige Informationen angewiesen sind, die Verlage bzw. Publisher, die in die Erstellung des Materials investieren, und die Werbetreibenden, die seine Verbreitung unterstützen“, erläutert Vivek Shah, CEO von Ziff Davis.
Durchsetzung eines genehmigungsbasierten Modells für das Internet
Cloudflare betreibt eines der größten Netzwerke der Welt und hilft bei der Bewältigung und dem Schutz von 20 Prozent des gesamten Webtraffics. Wir verarbeiten täglich Billionen von Anfragen und verfügen daher über die ausgefeiltesten Bot-Management-Lösungen der Welt, die menschliche Nutzer und KI-Crawler präzise voneinander unterscheiden können. Im September 2024 hat Cloudflare die Möglichkeit eingeführt, KI-Crawler mit einem einzigen Klick zu blockieren. Seitdem hat sich mehr als eine Million Kunden für diese Option entschieden. Diese sollte ihnen während der Festlegung ihrer KI-Strategie als durchschlagende und zugleich einfache Lösung zur Verhinderung von Scraping dienen.
Nun unternimmt Cloudflare den nächsten Schritt bei der Durchsetzung eines genehmigungsbasierten Modells für KI-Crawler. KI-Unternehmen müssen künftig vor dem Scraping eine ausdrückliche Genehmigung von einer Website einholen. Während der Anmeldung einer neuen Domain bei Cloudflare wird die Frage gestellt, ob KI-Crawler zugelassen werden sollen. So können Kundinnen und Kunden im Voraus entscheiden, ob sie den Zugriff von KI-Crawlern explizit zulassen oder verweigern. Aufgrund dieser wichtigen Veränderung wird diese Kontrolle nun zunächst standardmäßig bei jeder neuen Domain durchgeführt. Folglich müssen Betreiber und Betreiberinnen von Websites das Opt-out nun nicht mehr manuell in den Einstellungen konfigurieren. Sollen Inhalte uneingeschränkt zugänglich gemacht werden, kann das Crawling in den Einstellungen jederzeit aktiviert werden.
Internationale Top-Unternehmen setzen für KI-Crawling auf genehmigungsbasiertes Modell
Führende Content-, Medien- und Technologieunternehmen setzen sich für eine nachhaltigere Zukunft ein, in der originäre Inhalte wertgeschätzt werden. Dazu zählen ADWEEK, The Arena Group, The Associated Press, The Atlantic, Atlas Obscura, BuzzFeed, Inc., Condé Nast, Digital Content Next, DOC, Dotdash Meredith, Drupal & Acquia, EngineEars, Evolve Media, Fortune, Gannett Media, Groundviews.org, Half Baked Newsletter, Hyperscience, IAB Tech Lab, Independent Media, International Center for Journalists, Internet Brands, Linkup, News/Media Alliance, O’Reilly Media, PMC, Pinterest, ProRata AI, Quora, Raptive, Reddit, SimpleFeed, Sky News Group, Snopes.com, SourceForge, Sovrn, Inc., Stack Overflow, StockTwits, SustainableMedia.Center, Third Door Media, TIME, Universal Music Group, Webflow und Ziff Davis.
Zuverlässigere Verifizierung der Crawler von KI-Unternehmen
Cloudflare macht das Content-Ökosystem für KI-Unternehmen, Urheberinnen und Urheber transparenter. Wir haben vor kurzem neue Möglichkeiten dafür vorgeschlagen, wie KI-Bots sich selbst authentifizieren und von Websites identifiziert werden können. Urheberinnen und Urhebern sowie Website-Betreiberinnen und -betreibern werden so neue Identifizierungsmechanismen zur Verfügung gestellt und sie erhalten mehr Kontrolle darüber, welche KI-Crawler sie zulassen. Cloudflare beteiligt sich an der Entwicklung eines neuen Protokolls, das Bot-Betreibern und Entwicklerinnen und Entwicklern von KI-Agenten eine öffentliche, standardisierte Möglichkeit bieten soll, sich zu identifizieren.
