Wie schreibt man eine llms.txt-Datei, und was ist davon zu erwarten, wenn Google sie ignoriert?

Eine llms.txt-Datei ist eine Markdown-Datei, die im Stammverzeichnis einer Website oder in einem beliebigen Unterpfad abgelegt wird und LLM-freundliche Übersichtsinhalte sowie Links zu detaillierten Seiten bereitstellt (1). Man schreibt sie mit einer optionalen Byte-Order-Mark, einer H1-Überschrift mit dem Projekt- oder Seitennamen als einzigem Pflichtabschnitt sowie einem Blockzitat mit einer kurzen Zusammenfassung, die die wichtigsten Informationen zum Verständnis des restlichen Dateiinhalts enthält. Google erklärt, dass es llms.txt-Dateien für die Google-Suche nicht verwendet; die Veröffentlichung einer solchen Datei ändert dort also weder Ihre Sichtbarkeit noch Ihre Rankings (2).

Wie schreibe ich eine llms.txt-Datei?

Erstellen Sie eine Markdown-Datei mit dem Namen llms.txt im Stammpfad Ihrer Website, also /llms.txt, oder in einem Unterpfad wie /docs/llms.txt (1). Eine Datei gilt für die URLs unter ihrem Pfad, und wenn mehr als eine zutrifft, sollten Agenten die spezifischste verwenden.

Beginnen Sie mit einer H1-Überschrift, die den Projekt- oder Seitennamen enthält (1). Danach folgt ein Blockzitat mit einer kurzen Zusammenfassung, die die wichtigsten Informationen zum Verständnis des restlichen Dateiinhalts enthält. Anschließend folgen null oder mehr Prosaabschnitte beliebiger Art außer Überschriften und danach null oder mehr H2-Abschnitte, die Dateilisten enthalten.

Jeder Eintrag in einer Dateiliste ist ein Markdown-Link in der Form [Name](URL), optional gefolgt von einem Doppelpunkt und Hinweisen zur Datei (1). Der Vorschlag empfiehlt außerdem, dass Seiten mit Informationen, die Agenten benötigen könnten, eine saubere Markdown-Version unter derselben URL wie die Originalseite bereitstellen, entweder mit angehängtem .md (page.html.md) oder mit ersetzter Dateiendung durch .md (page.md). Die Datei selbst sollte klein genug bleiben, um in den Kontext zu passen, da die Details hinter den Links liegen und nur bei Bedarf abgerufen werden. Damit Clients diese Dateien finden, empfiehlt der Vorschlag Standard-Linkbeziehungen, wobei rel="describedby" von einer Seite auf die llms.txt-Datei verweist, die sie abdeckt.

Die eigene Datei von Recala wird bei jeder Anfrage vom Code der Website erzeugt; die darin aufgeführten ausgewählten Artikel stammen aus dem veröffentlichten Blog, und sie verlinkt auf eine zweite Datei, llms-full.txt, die die vollständige Artikelliste enthält. Die llms.txt-Datei von Recala beginnt mit einer H1-Überschrift und einem Blockzitat, das beschreibt, was das Unternehmen macht, gefolgt von den Abschnitten About Recala, Plans, Core pages, Featured articles und Optional. Die von Recala generierte llms.txt ist größer geworden als die Größe, die ihr Code anstrebt; wer die Datei erzeugt, sollte deshalb ihre Größe nach der Veröffentlichung prüfen.

Bestandteile einer llms.txt-Datei und die Regel für jeden

Element	Regel im Vorschlag
Speicherort	Unter /llms.txt im Stammverzeichnis der Website oder in einem Unterpfad; gilt für URLs unter ihrem Pfad, und die spezifischste Datei gewinnt
H1-Titel	Name des Projekts oder der Website; der einzige Pflichtabschnitt
Blockzitat	Eine kurze Zusammenfassung mit den wichtigsten Informationen zum Verständnis des restlichen Dateiinhalts
Optionale Prosa	Absätze, Listen und ähnliches Markdown beliebiger Art außer Überschriften, die mehr Details zur Interpretation der Dateien liefern
H2-Dateilisten	Markdown-Listen, bei denen jeder Eintrag einen Pflichtlink `[Name](URL)` hat, optional gefolgt von einem Doppelpunkt und Hinweisen
Linkziele und Größe	Links sollten auf LLM-freundliche Inhalte wie Markdown-Versionen verweisen; die Datei bleibt klein genug, um in den Kontext zu passen
Markdown-Versionen der Seiten	Saubere Markdown-Version unter derselben URL mit angehängtem .md (page.html.md) oder ersetzter Dateiendung (page.md)

Was ist von llms.txt zu erwarten, wenn Google sie ignoriert?

Google sagt, dass die Google-Suche einschließlich ihrer generativen KI-Funktionen LLMS.txt-Dateien nicht verwendet, sodass Sie keine erstellen müssen, um in KI-Übersichten oder im KI-Modus zu erscheinen (2). Es ist unbedenklich, eine llms.txt-Datei für andere Dienste oder Systeme zu pflegen, die sie lesen.

Der Vorschlag beschreibt llms.txt als Information, die bei Bedarf gelesen wird, wenn ein Agent beim Unterstützen eines Nutzers etwas benötigt (1). Er erwartet, dass die Datei vor allem für Inferenz und nicht für Training nützlich ist. Google sagt, dass man für die Google-Suche Taktiken wie das Erstellen unnötiger KI-Textdateien wie llms.txt ignorieren kann; daher betrachten wir die Datei nicht als Ranking-Hebel (2).

Recala hat keine Wirkung der eigenen llms.txt-Datei auf Rankings oder KI-Zitate gemessen. Es gibt keinen Vorher-Nachher-Vergleich und keine Kontrollgruppe, und Recala garantiert durch die Veröffentlichung der Datei weder Rankings noch Zitate. Betrachten Sie sie als kostengünstige Option, nicht als Wachstumshebel.

llms.txt ist ein Vorschlag für LLM-lesbare Inhalte und keine Zugriffskontrolle; sie gewährt oder blockiert den Zugriff von Crawlern nicht so, wie robots.txt es tut (1).

Worauf sollte ich statt llms.txt achten, und wie prüfe ich, ob Crawler meine Website erreichen können?

Legen Sie Zugriffsregeln in robots.txt ab, nicht in llms.txt (1). Die robots.txt-Datei muss im obersten Verzeichnis einer Website über ein unterstütztes Protokoll bereitgestellt werden (3).

Für KI-Funktionen in der Google-Suche bleiben die SEO-Best-Practices relevant, und die bestehenden SEO-Grundlagen lohnen sich weiterhin (4). Erlauben Sie das Crawling in robots.txt und in jeder CDN- oder Hosting-Schicht, verlinken Sie wichtige Seiten intern, halten Sie wichtige Inhalte als Text vor und achten Sie darauf, dass strukturierte Daten mit dem sichtbaren Text übereinstimmen. Eine Seite muss indexiert sein und für einen Snippet-Anzeige infrage kommen, bevor sie als unterstützender Link in KI-Übersichten oder im KI-Modus erscheinen kann.

Für die ChatGPT-Suche empfiehlt OpenAI, OAI-SearchBot in Ihrer robots.txt zu erlauben und Anfragen aus seinen veröffentlichten IP-Bereichen zuzulassen, da Websites, die sich von OAI-SearchBot abgemeldet haben, nicht in den Antworten der ChatGPT-Suche erscheinen (5). Google speichert den Inhalt von robots.txt im Allgemeinen bis zu 24 Stunden zwischen, kann ihn aber länger speichern, wenn eine Aktualisierung des Cache nicht möglich ist (3). Recala behält jede Crawler-Regel in seiner robots.txt und keine in seiner llms.txt. Googles Crawler behandeln alle 4xx-Fehler außer 429 so, als gäbe es keine gültige robots.txt-Datei (3). Wenn OpenAI robots.txt abruft, kann es seiner User-Agent-Zeichenfolge eine robots.txt-Markierung hinzufügen, die Website-Betreibern hilft, diese Anfragen in ihren Protokollen von anderen zu unterscheiden (5). OpenAI sagt, dass seine Systeme etwa 24 Stunden nach einer Aktualisierung der robots.txt einer Website benötigen können, um sich bei den Suchergebnissen anzupassen.

Eine robots.txt-Datei kann das Verhalten von Crawlern nicht erzwingen; für sichere Inhalte sind daher andere Sperrmethoden wie Passwortschutz besser (6).