Die llms.txt-Spezifikation ist für Rückmeldungen aus der Community offen, daher betrachten wir die Datei als optional. Der Autor des Vorschlags berichtet, dass Tausende Websites eine llms.txt-Datei veröffentlichen. Recala garantiert damit weder Rankings noch KI-Zitierungen.
Sollte meine Website im Jahr 2026 eine llms.txt-Datei haben?
Der Vorschlag von AnswerDotAI fügt Websites eine Markdown-Datei /llms.txt hinzu, um Inhalte für LLMs leichter verständlich bereitzustellen. Der Autor berichtet, dass Tausende Websites eine solche Datei veröffentlichen, dass Dokumentationsplattformen sie automatisch erzeugen und dass Lighthouse von Chrome Websites darauf prüft. OpenAI, Anthropic und Gemini veröffentlichen jeweils eine llms.txt für ihre eigene Entwicklerdokumentation.
Der Autor sagt, dass llms.txt-Informationen bei Bedarf genutzt werden, wenn ein Agent beim Unterstützen eines Nutzers Informationen zu einem Thema benötigt. Nach Erwartung des Autors wird llms.txt vor allem für Inferenz und nicht für das Training genutzt, und er berichtet, dass dies bisher so geschehen ist. Die Spezifikation bleibt für Rückmeldungen aus der Community offen, und die zugelassenen Quellen zeigen nicht, dass die Suche von Google oder ChatGPT llms.txt nutzt, um Zitierungen auszuwählen.
Wie unterscheidet sich llms.txt von robots.txt und sitemap.xml, und welche Datei steuert, ob die Crawler von OpenAI und Google meine Website erreichen?
robots.txt und llms.txt haben unterschiedliche Zwecke: robots.txt zeigt automatisierten Werkzeugen, welcher Zugriff auf eine Website als zulässig gilt, während llms.txt-Informationen bei Bedarf genutzt werden, wenn ein Agent Informationen benötigt. Bevor ein Crawler eine Website durchsucht, lädt Googles Crawler deren robots.txt-Datei herunter und analysiert sie, um zu ermitteln, welche Teile der Website gecrawlt werden dürfen. OpenAI dokumentiert OAI-SearchBot und GPTBot als voneinander unabhängige robots.txt-Einstellungen, und das Verbot für GPTBot zeigt an, dass gecrawlte Inhalte nicht für das Training der generativen KI-Foundation-Models von OpenAI verwendet werden sollen. Googles Crawler wenden das Robots-Exclusion-Protokoll nur auf ihr automatisiertes Crawling an, sodass das Protokoll nicht für von Nutzern gesteuerte Crawler gilt. OpenAI weist darauf hin, dass ChatGPT-User nicht dafür genutzt wird, zu bestimmen, ob Inhalte in der Suche erscheinen dürfen, und dass OAI-SearchBot zur Verwaltung der Opt-outs für die Suche verwendet werden sollte.
llms.txt gewährt oder blockiert keinen Crawler-Zugriff; das erledigen die robots.txt-Regeln für Bots wie OAI-SearchBot und GPTBot. sitemap.xml listet indexierbare Seiten auf, oft zu viele, um in ein LLM-Kontextfenster zu passen, daher ersetzt es llms.txt nicht. Behalten Sie Zugriffsentscheidungen in robots.txt und betrachten Sie llms.txt als separate Übersichtsdatei.
Was ist die minimale llms.txt, die ich veröffentlichen könnte?
Die Datei heißt llms.txt und liegt im Stammverzeichnis, also /llms.txt, oder in einem beliebigen Unterpfad wie /docs/llms.txt. Eine Datei gilt für die URLs unter ihrem Pfad, und wenn mehr als eine zutrifft, sollten Agenten die spezifischste verwenden. Der einzige Pflichtabschnitt ist eine H1 mit dem Namen der Website oder des Projekts, sodass die kleinste gültige Datei aus einer einzigen Überschrift besteht.
Eine umfangreichere Datei folgt einer festen Reihenfolge: eine optionale Byte-Order-Mark, die H1, ein Blockzitat mit einer kurzen Zusammenfassung und danach null oder mehr Markdown-Abschnitte. Ihre Links sollten auf LLM-freundliche Inhalte verweisen, etwa Markdown-Versionen Ihrer Seiten. Die Datei selbst bleibt klein genug, um in den Kontext zu passen, und die Details liegen hinter den Links.
Minimale llms.txt: was der Vorschlag festlegt
Minimale llms.txt: was der Vorschlag festlegt
| Element | Was der Vorschlag festlegt |
|---|---|
| Dateiname und Speicherort | Name llms.txt, im Stammverzeichnis /llms.txt oder in einem beliebigen Unterpfad; sie gilt für URLs unter ihrem Pfad, und die spezifischste Datei gilt |
| H1 mit Name der Website oder des Projekts | Der einzige Pflichtabschnitt |
| Blockzitat-Zusammenfassung | Eine kurze Zusammenfassung mit den wichtigsten Informationen, die zum Verständnis des restlichen Inhalts nötig sind |
| Markdown-Abschnitte mit Links | Null oder mehr Abschnitte; Links sollten auf LLM-freundliche Inhalte wie Markdown-Versionen von Seiten verweisen, und die Datei bleibt klein genug, um in den Kontext zu passen |