Was isitagentready.com tatsächlich auswertet

Cloudflare's isitagentready.com bewertet Ihre Website anhand von fünf Kategorien: Auffindbarkeit, Inhaltszugänglichkeit, Bot-Zugriffssteuerung, Protokollerkennung und E-Commerce. Jede dieser Kategorien bezieht sich auf eine Reihe neu entstehender Standards, die definieren, wie gut KI-Agenten Ihre Plattform finden, auslesen und mit ihr interagieren können. Die übergeordnete Perspektive haben wir bereits im Beitrag How to get your website agent-ready beleuchtet. Dieser Artikel geht nun detaillierter darauf ein, worin die einzelnen Standards bestehen, woher sie stammen und welchen Reifegrad sie heute erreicht haben.

Auffindbarkeit

Agenten müssen Ihre Inhalte auf dieselbe Weise finden wie Suchmaschinen, jedoch mit strengeren Erwartungen.

robots.txt ist nach wie vor die erste Datei, die jeder Crawler ausliest. Agents suchen hier nach expliziten Regeln für KI-Bots – und nicht bloß nach veralteten Googlebot-Direktiven. Wenn Ihre robots.txt keine KI-spezifischen User-Agents aufführt, werden die meisten Bots standardmäßig einfach alles crawlen – was bedeutet, dass Sie die Kontrolle abgegeben haben, ohne es zu bemerken.

Sitemap — eine ordnungsgemäß gepflegte XML-Sitemap ermöglicht es Agents, Ihre Inhaltsstruktur mit einer einzigen Anfrage zu erfassen. Dies ist eine unverzichtbare Grundvoraussetzung für SEO und gleichermaßen wichtig für Agents, die strukturierten Content ermitteln.

Link Headers — HTTP Link response headers offenbaren Beziehungen zwischen Ressourcen (alternative Formate, kanonische URLs, Paginierung), ohne dass HTML geparst werden muss. Agents nutzen diese, um effizient zwischen verknüpften Seiten zu navigieren – was insbesondere in Kombination mit Markdown-Content-Negotiation von großem Nutzen ist.

Nichts davon ist neu. Doch die meisten Websites verfügen über eine robots.txt, die für das Jahr 2015 verfasst wurde – und nicht für Agents. Die Aktualisierung dieser drei Dateien stellt den Ausgangspunkt mit der größten Wirkung und dem geringsten Aufwand dar.

Barrierefreiheit von Inhalten

Agenten erzielen bessere Ergebnisse mit sauberem, semantisch strukturiertem Text als mit HTML-Dokumenten voller Navigationsleisten, Cookie-Banner und Tracking-Skripten.

Markdown-Content-Negotiation geht dieses Problem direkt an. Wenn ein Agent eine Anfrage mit Accept: text/markdown sendet, antwortet der Server mit einer Markdown-Variante der Seite anstelle von vollständigem HTML. Weniger Rauschen, weniger Tokens, schnellere Verarbeitung.

Die Implementierung kann einfach eine Middleware sein, die den Accept Header abfängt und eine vorgerenderte .md-Version der Seite zurückgibt – oder so komplex wie eine dynamische HTML-zu-Markdown-Konvertierung.

Von allen Standards auf dieser Liste hat die Markdown-Variante den unmittelbarsten praktischen Nutzen. Agenten, die sauberes Markdown von der Website erhalten, benötigen weniger Tokens bei der Verarbeitung Ihrer Inhalte. Dadurch ist es wahrscheinlicher, dass sie Ihre Informationen in ihre Antworten aufnehmen. Dasselbe gilt für schnell ladende Seiten, die ein besseres Suchmaschinenranking erzielen.

Bot-Zugriffskontrolle

Neben der Auffindbarkeit stellt sich die Frage der Kontrolle - wie Agenten mit Inhalten interagieren, nachdem sie diese gefunden haben.

KI-Bot Regeln — Anweisungen in der robots.txt, die über die Crawling-Berechtigungen hinausgehen und die Nutzungsabsicht festlegen. Sie können einem Agenten erlauben, Ihre Dokumente zu crawlen, ihm aber gleichzeitig die Verwendung dieser Inhalte für das Training untersagen. Die robots.txtSpezifikation unterstützt diese Unterscheidung nicht optimal, weshalb die folgenden beiden Standards existieren.

Content Signals — ein Cloudflare-Vorschlag, der eine strukturierte Ebene über die Datei robots.txt legt. Anstatt nur binär zu erlauben/verbieten, können Sie Präferenzen für die Verwendung von Inhalten nach dem Zugriff festlegen: Suchindexierung erlauben, aber KI-Training blockieren; Grounding erlauben, aber kein Feintuning; Zusammenfassung erlauben, aber keine wörtliche Wiedergabe. Es handelt sich um ein differenzierteres Berechtigungsmodell, das die heutige tatsächliche Nutzung von Inhalten widerspiegelt.

Web Bot Auth — Kryptografische Identität für Bots. Anstatt einem User-Agent-String zu vertrauen (den jeder fälschen kann), beweisen Agenten ihre Identität, indem sie HTTP-Anfragen mit Ed25519-Schlüsseln signieren. Die Verifizierungsschlüssel werden unter folgendem Link veröffentlicht: /.well-known/http-message-signatures-directory. Dadurch können Sie Zugriffsentscheidungen auf Basis der verifizierten Identität und nicht der selbst angegebenen Namen treffen.

Content Signals und Web Bot Auth sind beides Cloudflare-Vorschläge, die außerhalb des Cloudflare-Ökosystems erst langsam an Bedeutung gewinnen. Die Nutzung über Cloudflare-basierte Websites hinaus steht noch am Anfang. Eine Implementierung lohnt sich, wenn man Cloudflare nutzt. In jedem Fall jedoch lohnt es sich, die Entwicklung zu beobachten.

Protokoll Erkennung

Diese Standards gehen über den Zugriff auf Inhalte hinaus – sie ermöglichen es Agenten, Dienste programmatisch zu entdecken und zu nutzen.

MCP Server Cards — ein JSON-Dokument unter /.well-known/mcp/server-card.json, das die Funktionen eines MCP-Servers beschreibt. Es informiert Agenten darüber, welche Tools angeboten werden, welche Ressourcen verfügbar sind, wie die Authentifizierung erfolgt und welches Transportprotokoll verwendet werden soll – alles vor dem Aufbau einer vollständigen Sitzung.

Die Spezifikation wird derzeit von Anthropic und GitHub als SEP-2127 ausgearbeitet.

Agenten sollten keine vollständige MCP-Session initialisieren müssen, nur um herauszufinden, ob ein Server das Gesuchte bereitstellt. Die Spezifikation befindet sich noch im Entwurfsstadium und Referenz-SDK-Implementierungen sind in Planung, aber der Aufwand ist gering, sodass Early Adoption kaum ein Risiko birgt.

Agent Skills — ein dateibasierter Standard für die Bündelung von Domänenexpertise. Websites stellen einen Index unter /.well-known/agent-skills/index.json bereit, der die verfügbaren Fähigkeiten auflistet. Jede Fähigkeit ist als YAML-Frontmatter-Header plus Markdown-Anweisungen definiert. Agenten können diese bei Bedarf je nach Aufgabe laden.

WebMCP — ein Entwurf der W3C Community Group unter der Leitung von Ingenieuren von Microsoft und Google bringt MCP in den Browser. Anstatt einen Backend-Server zu benötigen, deklarieren Webseiten Tools direkt über navigator.modelContext – im Browser ausgeführte Agents können diese erkennen und JavaScript-Funktionen auf Ihrer Seite aufrufen. Diese Funktion, die aktuell in Chrome Canary verfügbar ist, schließt die Lücke zwischen serverseitigem MCP und clientseitigen Agent-Interaktionen.

API Catalog — Standardisierte API-Dokumentation (OpenAPI/Swagger), die Agenten analysieren können, um verfügbare Endpunkte zu verstehen. Wer bereits eine OpenAPI-Spezifikation hat, ist schon fast am Ziel.

OAuth discovery — standardmäßige OAuth 2.0-Metadaten unter /.well-known/oauth-authorization-server, damit Agenten wissen, wie sie sich programmatisch authentifizieren können. Dies ist umso wichtiger, je mehr Agenten vom Lesen öffentlicher Inhalte zum Ausführen authentifizierter Aktionen im Namen der Benutzer übergehen.

Die meisten dieser Lösungen befinden sich noch im Entwurfsstadium oder in der frühen Einführungsphase. Genau dann lohnt es sich aber mit der Implementierung zu beginnen – bevor das Ökosystem ausgereift ist und die Vorreiter bereits den Agentenverkehr für sich beansprucht haben.

E-Commerce

Diese Protokolle ermöglichen es KI-Agenten, Produkte zu entdecken, den Bezahlvorgang einzuleiten und Käufe autonom abzuschließen.

Agentic Commerce Protocol (ACP) — entwickelt von Stripe und OpenAI als offener Standard unter Apache 2.0. Er definiert, wie Agenten mit Händler-Checkouts interagieren: Produkte entdecken, Artikel in den Warenkorb legen und die Zahlung abschließen – alles über strukturierte API-Aufrufe. ChatGPT ist die erste Agentenplattform, die ihn implementiert, Stripe der erste Zahlungsabwickler. Eine stärkere Unterstützung ist kaum vorstellbar.

x402 — reaktiviert den HTTP-Statuscode 402 Payment Required für maschinennahe Micropayments. Ein Agent greift auf Ihren Endpunkt zu, erhält eine 402-Antwort mit Zahlungsanweisungen, zahlt (derzeit über Stablecoins) und versucht es erneut – alles innerhalb eines einzigen HTTP-Anfrage-Antwort-Zyklus. Das Protokolldesign ist übersichtlich, aber die Abhängigkeit von Krypto-Zahlungsinfrastrukturen schränkt die kurzfristige Akzeptanz ein.

UCP (Universal Commerce Protocol) — gemeinsam entwickelt von Google, Shopify und Etsy, mit Unterstützung von Visa, Mastercard, PayPal und Dutzenden großer Einzelhändler. UCP definiert Bausteine ​​für den gesamten E-Commerce-Lebenszyklus – von der Produktsuche über den Checkout und die Identitätsverknüpfung bis hin zur Auftragsverwaltung – und ist für die Zusammenarbeit mit MCP und A2A konzipiert.

Agentic Commerce ist hinsichtlich der Marktreife noch am weitesten entfernt, aber die Unterstützung von Stripe und OpenAI für ACP deutet darauf hin, wohin die Reise geht.

Wo wir nun stehen

Die meisten Websites schneiden heute beim Scan schlecht ab. Die wirkungsvollsten Änderungen sind gleichzeitig die einfachsten:

1. Aktualisieren von robots.txt mit expliziten KI-Bot-Regeln
2. Bereitstellung von Markdown-Versionen der wichtigsten Seiten
3. Bereitstellung einer aktuellen Sitemap
4. Korrekte Implementierung des Link-Headers.
5. Bereitstellung einer Server-Card, wenn eine API oder ein Dienst existiert

Der Scan unter isitagentready.com generiert Implementierungsanweisungen, die direkt in Tools wie Cursor oder Claude Code eingefügt werden können – so werden Audit-Ergebnisse innerhalb von Minuten in Codeänderungen umgesetzt.

Wir werden nun die produktionsreifen Standards in unsere Entwicklung integrieren. Und wir verfolgen die Entwicklung der übrigen Standards, sobald diese ausgereift sind.