Was kostet ein Bot-Schutz, der KI-Agenten aussperrt?
Die Seite läuft. Für die Agenten, die zuerst kommen, ist sie tot.
Der Preis ist keine Euro-Zahl, sondern die Agent-Klassen, die zuerst kommen. Bei Bayer gibt die Akamai-WAF dem einfachen Reader und dem Coding-Agenten einen 403, bevor sie überhaupt Inhalt sehen; nur der Browser kommt durch [S1]. Bei Merck bricht der Bot-Schutz auf sigmaaldrich.com die Verbindung für genau die Klassen ab, die ein LLM zuerst aufruft [S2]. Für Menschen läuft die Website einwandfrei. Für die KI-Agenten, die die Empfehlung treffen, ist sie unsichtbar, und im Monitoring steht alles auf grün.
Takeaway
„Kosten" ist hier keine Rechnung in Euro, sondern die Frage, welche Agenten dich überhaupt noch erreichen. KI-Tools rufen zuerst den einfachen Fetcher auf, den Reader oder den Coding-Agenten. Genau diese Klassen fängt eine strenge WAF am HTTP-Layer ab, mit einem 403 oder einem Verbindungsabbruch, unabhängig davon, was in der robots.txt steht. Der Browser-Agent käme durch, kommt aber oft gar nicht zum Zug. Das Ergebnis: die Seite ist für Menschen einwandfrei und für die Agenten, die die Empfehlung treffen, nicht vorhanden. Gemessen bei zwei DAX-Konzernen, Bayer und Merck.
Wen die WAF durchlässt. Und wen nicht.
Pro Agent-Klasse, gemessen an zwei DAX-Konzernen. Die einfachen Klassen, die ein LLM zuerst aufruft, sind genau die blockierten.
Warum es lautlos passiert
Grün im Monitoring, leer für die Agenten.
robots.txt erlauben reicht nicht
Die WAF blockt auf der HTTP-Ebene, bevor robots.txt überhaupt eine Rolle spielt. Eine Seite kann KI-Crawler offiziell erlauben und sie trotzdem mit einem 403 oder einem Verbindungsabbruch aussperren [S1].
Die Zuerst-Klassen sind die blockierten
KI-Tools rufen zuerst den einfachen Fetcher auf, den Reader oder den Coding-Agenten. Genau die bekommen bei Bayer und Merck nichts. Der Browser-Agent, der durchkäme, wird in vielen Pfaden gar nicht erst gestartet [S2].
Lautlos
Für Menschen läuft die Seite, das Uptime-Monitoring steht auf grün. Die Lücke ist nur aus Agenten-Sicht sichtbar, deshalb fällt sie intern fast nie auf.
Warum das relevant ist
Der Schutz bleibt, die Lücke nicht.
Die „Kosten" sind selten in Euro greifbar, weil nichts abstürzt und nichts im Log rot wird. Greifbar ist nur, dass die Agent-Klassen, die heute zuerst recherchieren und empfehlen, von der Marke nichts sehen, während Menschen und der Browser-Agent sie problemlos erreichen. Eine Marke kann so aus jeder agentengeführten Recherche fallen, ohne es zu bemerken.
Der Hebel ist nicht das Abschalten der WAF, der Sicherheits-Trade-off ist real. Es ist ein agentenlesbarer Pfad daneben: eine Surface, die die einfachen Klassen erreichen, ohne die Schutzregeln für den Rest aufzuweichen. Was ein Agent beim Abruf überhaupt liest, steht unter Agent Surface.
Drei Anschluss-Fragen.
Meine Website läuft doch, wo ist das Problem?
Für Menschen und für den Browser-Agenten läuft sie. Die einfacheren Klassen, die ein LLM zuerst aufruft, der Reader und der Coding-Agent, bekommen bei Bayer einen 403 und bei Merck einen Verbindungsabbruch. Diese Klassen treffen oft die erste Auswahl, und sie sehen von der Marke nichts.
Meine robots.txt erlaubt die KI-Crawler, reicht das nicht?
Nein. robots.txt ist ein Höflichkeits-Signal auf Anwendungsebene. Eine WAF blockt eine Ebene tiefer, am HTTP-Layer, über User-Agent, IP-Range oder Verhaltenserkennung. Bei Bayer und Merck wurde genau das gemessen: die Verbindung endet, bevor robots.txt gelesen würde.
Soll ich die WAF abschalten?
Nein, der Sicherheits-Trade-off ist real. Der Hebel ist nicht das Entfernen des Schutzes, sondern ein agentenlesbarer Pfad daneben: eine Surface, die die einfachen Agent-Klassen erreichen, ohne die Schutzregeln für den Rest aufzuweichen.
Drei Wege, tiefer einzusteigen.
Methodik
Agent Surface.
Was ein KI-Agent beim Abruf einer Seite tatsächlich liest, die Schicht, die eine WAF leer lassen kann.
LesenIndex
DAX-40 Agent Success.
Die gemessenen Zugriffsprofile über 34 Marken, je Marke fünf Agent-Klassen gegen einen Task.
ÖffnenTest starten
Kostenloser Snapshot · 48h.
Fünf Agenten gegen deine Seite. Sieh selbst, welche Klassen durchkommen und welche dein Schutz aussperrt.
AnfordernEvidenz und Provenienz.
S1
internal
Bayer BrandScore — Pharma & Healthcare
Hyperize DAX-40 Agent Success Index · Stand Juni 2026
https://www.hyperize.ai/en/dax40-index/brands/bayer
Stützt: Die Akamai-WAF auf bayer.com beantwortet den einfachen Reader und den Coding-Agenten mit einem HTTP 403 (Bot-Registrierungsseite), bevor Inhalt ausgeliefert wird; nur der Browser-Agent erreicht die Seite. Gemessen über fünf Agent-Klassen gegen einen frozen Task.
S2
internal
Merck BrandScore — Life Sciences
Hyperize DAX-40 Agent Success Index · Stand Juni 2026
https://www.hyperize.ai/en/dax40-index/brands/merck
Stützt: Der Bot-Schutz auf sigmaaldrich.com bricht die HTTP-Verbindung für Text- und Coding-Agenten ab, bevor Produkt-Content ausgeliefert wird; Browser und Full Automation erreichen den Warenkorb ohne Login. Die einfacheren Klassen, die LLM-Tools zuerst aufrufen, sehen nichts.
S3
internal
Agent Surface — die Schicht, die ein KI-Agent beim Abruf liest
Hyperize Methodology · Stand Juni 2026
https://www.hyperize.ai/en/methodology/agent-surface
Stützt: Agent Surface bezeichnet, was ein KI-Agent beim Abruf einer Seite tatsächlich lesen kann. Eine WAF, die den Abruf der einfachen Klassen blockt, lässt die Surface für genau diese Agenten leer.
Editorial coverage
The DAX 40 Agent Success Index is a point-in-time snapshot of the agent-success of public digital touchpoints. Results are not statements about product quality, company performance, service quality, or the legal obligations of the brands named. Brand names and logos remain the property of their respective owners and are used solely for identification and reporting purposes in the context of editorial coverage (§ 23 MarkenG, Art. 5 GG).
Brands wishing to respond, engage, or correct a factual error may contact hello@hyperize.ai. Responses received are published in full alongside the findings. Full methodology and editorial-coverage notice: coverage statement.
