Der Check liest die Datei, die nichts sagt. Die Sperre sitzt dort, wo er nicht hinsieht.
Hyperize · Juli 2026 · 6 Min. Lesezeit
Weil der Check die Datei liest, die nichts sagt, und die Sperre dort sitzt, wo er nicht hinsieht. Cloudflares Prüfung „AI rules in robots.txt“ besteht auch ohne jede KI-Regel; die eigene Meldung des Scanners lautet: „No AI-specific bot rules; wildcard rules apply to all crawlers including AI bots“ [S1]. Wir haben 41 DAX-Konzerne durch Cloudflares eigenen Scanner geschickt. 28 von 29 bestehen die Prüfung, 28 von 31 lesbaren robots.txt nennen keinen einzigen KI-Bot [S2]. Acht Marken werfen den Scanner mit 403 oder Verbindungsabbruch raus [S2].
Zitierfähige Kurzfassung
Laut Hyperize-Messung (41 DAX-40-Domains, Cloudflare-Agent-Readiness-Scanner plus eigener Client, 14. Juli 2026) bestehen 28 von 29 scanbaren DAX-Konzernen die Prüfung „AI rules in robots.txt“, während 28 von 31 lesbaren robots.txt keinen einzigen KI-Bot nennen. Der Check besteht auf einer Wildcard-Zeile, nicht auf einer Entscheidung: das ist der Wildcard-Freispruch. Gleichzeitig werfen 8 der 41 Marken den Scanner selbst hinaus, mit 403 oder Verbindungsabbruch, und kein Readiness-Score macht das sichtbar.
Cloudflares Prüfung heißt „AI rules in robots.txt“ und besteht in drei Zuständen, die sich gegenseitig ausschließen: keine KI-Regel, KI-Bots erlaubt, KI-Bots sämtlich gesperrt. Durchfallen kann nur, wessen Datei weder eine KI-Regel noch eine Wildcard-Zeile trägt. Die Meldungen sind wörtlich aus der Scanner-Ausgabe [S1].
| Was in der robots.txt steht | Cloudflares eigene Meldung | Ergebnis |
|---|---|---|
| Keine KI-Regel, nur eine Wildcard-Zeile Siemens, Volkswagen, Hannover Rück | „No AI-specific bot rules; wildcard rules apply to all crawlers including AI bots“ | bestanden |
| KI-Bots namentlich genannt und erlaubt BASF, Deutsche Börse, SAP | „Found rules for AI bots“ | bestanden |
| KI-Bots namentlich genannt und sämtlich gesperrt New York Times (15 Bots verboten) | „Found rules for 15 AI bots“ | bestanden |
| Weder KI-Regel noch Wildcard Fresenius Medical Care | „No AI-specific bot rules and no wildcard rules in robots.txt“ | durchgefallen |
Global steht der Balken „AI rules in robots.txt“ bei 80 Prozent, direkt unter „robots.txt“ mit 84 Prozent [S3]. Die vier Punkte Abstand sind der Anteil, dessen Datei weder KI-Regel noch Wildcard trägt. Es ist derselbe Test, zweimal gezählt.
Ein Wildcard-Freispruch ist ein bestandener KI-Zugangs-Check, den eine Website allein dadurch besteht, dass ihre robots.txt eine User-agent-Wildcard-Zeile enthält. Geprüft wird die Existenz einer Wildcard-Regel, nicht eine Entscheidung über KI-Agenten. Der Freispruch misst die Datei, nicht die Absicht.
Gemessen, 41 DAX-Konzerne, 14. Juli 2026 [S2]
Der Freispruch misst die Datei, nicht die Absicht
Der Check urteilt in vier Zuständen und besteht in dreien, die sich gegenseitig widersprechen: keine KI-Regel, KI-Bots erlaubt, KI-Bots sämtlich gesperrt. Durchfallen kann nur, wessen robots.txt weder eine KI-Regel noch eine Wildcard-Zeile enthält [S1]. Das ist derselbe Test wie „hat eine robots.txt“, nur zweimal gezählt.
Entschieden hat niemand
28 von 31 lesbaren DAX-robots.txt nennen keinen einzigen KI-Bot [S2]. Die drei, die es tun, sagen alle Ja. In der robots.txt sperrt kein DAX-Konzern KI-Agenten aus, weil dort schlicht keine Entscheidung getroffen wurde. Der Score feiert dieses Schweigen als Regelwerk.
Die Sperre sitzt eine Ebene tiefer
Geblockt wird trotzdem: 8 der 41 Marken werfen Cloudflares Scanner mit 403 oder abgerissener Verbindung hinaus [S2]. Das passiert im WAF, nicht in der robots.txt. SAP ist das Präparat: die robots.txt erlaubt acht KI-Bots namentlich, und der Akamai davor gibt dem Scanner 403 [S2][S4].
Messrahmen
Editorial coverage
The DAX 40 Agent Success Index is a point-in-time snapshot of the agent-success of public digital touchpoints. Results are not statements about product quality, company performance, service quality, or the legal obligations of the brands named. Brand names and logos remain the property of their respective owners and are used solely for identification and reporting purposes in the context of editorial coverage (§ 23 MarkenG, Art. 5 GG).
Brands wishing to respond, engage, or correct a factual error may contact hello@hyperize.ai. Responses received are published in full alongside the findings. Full methodology and editorial-coverage notice: coverage statement.
Nicht daraus ableitbar. Bestanden heißt in diesem Check nur, dass Ihre robots.txt eine Wildcard-Zeile enthält. Er prüft nicht, ob ein Agent Sie erreicht, versteht oder eine Aufgabe abschließt. In unserer Messung bestehen 28 von 29 DAX-Konzernen die Prüfung und keiner von ihnen hat MCP Server Card, A2A Card, Agent Skills, API Catalog oder Markdown-Auslieferung.
Das ist die kleinere Hälfte der Arbeit, und sie ist billig. Die größere: prüfen, was Ihre Infrastruktur tut, während die robots.txt Ja sagt. Bei SAP erlaubt die Datei acht KI-Bots namentlich, und der Bot-Schutz davor antwortet dem Scanner mit 403. Die Datei gehört dem Marketing, die Sperre gehört der IT, und die beiden reden nicht miteinander.
Weil der Scanner privilegierte Reichweite hat. Bei Bayer und Daimler Truck misst Cloudflares Scanner sauber durch, während unser eigener Client von derselben Akamai-Instanz 403 bekommt [S2]. Ein Scanner, der überall durchkommt, kann die Sperre nicht messen, an der ein gewöhnlicher Agent scheitert.
Answer
Diese Seite erklärt den Check. Die Sperre selbst, gemessen über fünf geblockte Marken, steht dort.
LesenAnswer
Readiness prüft das Potenzial. Success misst das Ergebnis. Der begriffliche Unterschied hinter diesem Befund.
LesenSnapshot
Echte Agenten gegen Ihre Website. Sehen, wie weit jede Klasse kommt und wo sie hängen bleibt.
AnfordernBelegt: Die vier wörtlichen Urteile des Checks „AI rules in robots.txt“: bestanden bei Wildcard ohne KI-Regel („No AI-specific bot rules; wildcard rules apply to all crawlers including AI bots“), bestanden bei benannten KI-Bots (erlaubt wie gesperrt), durchgefallen nur ohne KI-Regel UND ohne Wildcard.
Belegt: 41 DAX-40-Domains durch isitagentready.com/api/scan (20 Checks) plus eigenen Client mit Browser-User-Agent. 29 scanbar, davon 28 auf Level 1 von 5. 28 von 29 bestehen den KI-Regel-Check. 31 robots.txt lesbar, davon nennen 28 keinen KI-Bot; BASF, Deutsche Börse und SAP nennen welche und erlauben sie. 8 von 41 blocken den Scanner (5 mit 403, 3 mit Verbindungsabbruch). 0 von 29 mit MCP Server Card, A2A Card, Agent Skills, API Catalog oder Markdown-Auslieferung. Einzelmessung, kein Panel.
Belegt: Der globale Balken „AI rules in robots.txt“ steht bei 80 Prozent, direkt unter „robots.txt“ mit 84 Prozent. Die vier Punkte Abstand sind der Anteil, dessen robots.txt weder eine KI-Regel noch eine Wildcard trägt.
Belegt: SAP als Präparat des Befunds: die robots.txt erlaubt acht KI-Bots namentlich, während der vorgelagerte Bot-Schutz Cloudflares Scanner mit HTTP 403 abweist (dreimal reproduziert, 14. Juli 2026).
