Agent Ready hat zwar 83 Punkte (T_T), aber wir bereiten es dennoch ordnungsgemäß vor, damit die KI es lesen kann!

Bei Liberogic arbeiten wir daran, unsere Website so zu strukturieren, dass sie auch für AI-Agenten und LLMs leicht lesbar ist.

Nicht nur Suchmaschinen, sondern auch LLMs und AI-Agenten wie Claude, Gemini und ChatGPT lesen Websites aus, organisieren Informationen, vergleichen sie und führen Recherchen im Namen von Nutzern durch – dies ist längst zur Normalität geworden.

Auch auf der Website von Liberogic bereiten wir uns auf das Lesen durch KI vor – mit robots.txt, sitemap, Link headers, llms.txt und der Generierung von Markdown-Dateien für jeden Artikel.

Diesen Beitrag widmen wir dem Thema „Is Your Site Agent-Ready?", das Cloudflare vor zwei Wochen veröffentlicht hat.

Als Content-Website überprüfen

Die Website von Liberogic ist ein Unternehmenswebsite und Content-Website, auf der Unternehmensinformationen, Servicebeschreibungen, Nachrichten, Kolumnen und Fallstudien veröffentlicht werden. Es ist keine E-Commerce-Website und auch keine API-Anwendung mit OAuth-Authentifizierung.

Daher wird bei der Überprüfung der Sitetyp auf „Content Site" eingestellt.

Commerce- und API-/Auth-/MCP-bezogene Punkte sind nicht Gegenstand dieser Bewertung. Die Überprüfung erfolgt hauptsächlich aus den folgenden Perspektiven.

• Discoverability
• Content Accessibility
• Bot Access Control

Das Ergebnis war…… der Score betrug 83 Punkte, Level 2 „Bot-Aware" 😭

Warum nicht 100 Punkte?!!

Jetzt überprüfen

Bei dieser Überprüfung erreichte Discoverability 100 Punkte und Bot Access Control ebenfalls 100 Punkte.

Wir können Elemente wie robots.txt, sitemap, Link headers, AI bot rules und Content Signals bereitstellen, und die grundlegenden Navigationsrichtlinien, die es AI bots ermöglichen, Ihre Website zu entdecken und die Zugriffrichtlinien zu verstehen, sind eingerichtet.

Grob gesagt,

• Ihre Website auffindbar machen
• Mitteilen, wo sich der Inhalt befindet
• Zugriffrichtlinie für den Bot angeben
• Signale für KI senden

und solche Aspekte wurden bereits berücksichtigt.

Andererseits erhielt die Content Accessibility-Kategorie 0 Punkte (TT)

Auf den ersten Blick könnte man denken „warte, der Inhalt ist nicht lesbar?", aber in der Praxis ist es etwas anders.

Markdown-Inhalte sind bereits vorhanden

Auf der Website von Liberogic generieren wir bereits einen signifikanten Anteil von Artikel-Content und Case Studies in Markdown-Format, das für KI gut lesbar ist.
Sowohl Artikel als auch Case Studies verfügen über korrekte Markdown-Dateien, und in der HTML-head jeder Seite haben wir Link-Tags zum Markdown-Content eingebunden sowie klare Navigationspfade für echte AI-Agenten eingerichtet, um die Markdown-Dateien zu erreichen.

Es ist nicht so, dass Markdown nicht unterstützt wird, sondern wir stellen sicher, dass der Text in einer Form abgerufen wird, die für LLMs leicht lesbar ist – deshalb ist es nicht der Fall, dass „die Vorbereitung für das Lesen durch AI nicht abgeschlossen ist".

Warum also keine 100 Punkte? 👺

Der Grund, warum die Website diesmal nicht 100 Punkte erreicht, liegt nicht daran, dass die Website-Seite nichts unternimmt, sondern an der Kompatibilität zwischen der aktuellen Implementierungsstruktur und den Beurteilungsspezifikationen des Diagnose-Tools.

Die Website von Liberogic ist mit Astro SSG implementiert und nutzt eine Hybrid-Architektur mit SSR auf der Vorschauseite.

Markdown Negotiation wird normalerweise in der Middleware verarbeitet, aber da wir eine Hybrid-Konfiguration verwenden und den Cloudflare Adapter nutzen, wird die Ausgabedatei _worker.js bevorzugt. Dies führt dazu, dass die Middleware nicht geladen wird und das Checkwerkzeug die Markdown Negotiation nicht korrekt erkennt.

Tatsächlich existieren Markdown-Dateien und sind auch über Link-Tags im Head-Bereich erreichbar, aber das Checkwerkzeug meldet immer noch, dass "Markdown Negotiation nicht erkannt wird!".

Verdammt nochmal! Da wird sowas Halbgares abgeliefert!

Das möchte man so sagen, aber natürlich vertrauen wir Cloudflare täglich.

Vielen Dank auch für die Anerkennung als Partner.

Aber nachdem ich lange Zeit 100 Punkte bei Lighthouse gehalten habe, bin ich hier wirklich enttäuscht.

100 Punkte sind möglich! Aber wir wollen die Betriebseffizienz nicht nur für Punkte senken und auch keine zusätzlichen Kosten verursachen.

Es gibt mehrere mögliche Lösungsansätze.

• Separate Cloudflare Workers einrichten, um die Markdown-Rückgabe zu verarbeiten.
• Die Vorschauseite zu CSR konvertieren und eine vollständige SSG-Konfiguration erreichen.
• Cloudflare-Serviceplan auf Business-Plan upgraden und URLs mit Transform Rules umschreiben

ist eine solche Methode.

Genau, wenn wir den Cloudflare-Service eine Stufe höher schalten, könnten wir die Bewertung im Prüftool näher an 100 Punkte bringen.
Aber im Moment ist es fraglich, ob es sinnvoll ist, zusätzliche Kosten nur dafür zu zahlen!

Das Ziel ist letztendlich nicht, im Prüftool 100 Punkte zu erreichen, sondern sicherzustellen, dass KI-Agenten und LLMs die Informationen auf der Website von Liberogic korrekt erfassen können. Aus der Perspektive, dass LLMs den Inhalt lesen, sind wir bei Liberogic bereits relativ weit vorangeschritten, was die notwendigen Maßnahmen betrifft.

Es ist besser, die Kosten nicht nur für 100 Punkte zu erhöhen, sondern sicherzustellen, dass alles richtig gelesen werden kann.

Es ist wichtig, dies ordnungsgemäß betreiben zu können.

Bei Liberogic ist es uns wichtig, dieses Gleichgewicht zu bewahren.

Vergessen Sie auch llms.txt nicht!

Dies ist nicht in den diesmaligen Prüfpunkten enthalten, aber Liberogic unterstützt auch /llms.txt.

llms.txt ist eine Art Inhaltsverzeichnis, das LLMs mitteilt, "welche Informationen diese Website hat und welche Seiten man lesen sollte".

Es folgt einem ähnlichen Gedanken wie sitemap.xml für Suchmaschinen, hat aber die Rolle, die Website-Übersicht und Navigation zu wichtigen Inhalten speziell für LLM zu organisieren.

Das ist nicht in den Prüfpunkten des Check-Tools enthalten, aber Cloudflare legt offenbar großen Wert auf die Datenqualität – insbesondere darauf, wie gut der tatsächliche Inhalt des Textes mit minimalen Störungen abgerufen werden kann (und ob dieser in Markdown konvertiert wird) – weshalb es möglicherweise bewusst ausgelassen wurde.

Kann ich einfach HTML direkt einlesen?

Beim Zuführen einer Website zu einem KI-Agent können Sie natürlich auch HTML direkt analysieren lassen.

Echte Webseiten enthalten jedoch oft eine Vielzahl von Informationen neben dem eigentlichen Text – wie Navigation, Header, Footer, dekorative Elemente und JavaScript-Steuerelemente. Selbst optisch ansprechende Seiten können für Sprachmodelle zu viel Rauschen enthalten.
Wenn man komplexes HTML erzwungenermaßen in Markdown konvertiert, können Überschriftsstrukturen, Listen und Ausdrucksabsichten zusammenbrechen – mit dem Ergebnis, dass die Daten für Sprachmodelle schwer lesbar werden.

Es wird sich zwar mit der Weiterentwicklung von AI auch hier schnell etwas ändern, aber ich denke, es ist wichtig, jetzt schon die notwendigen Schritte Stück für Stück umzusetzen. Wie weit ist die Umsetzung auf euren Websites bereits fortgeschritten?