Comment rédiger un fichier llms.txt, et que faut-il attendre de lui lorsque Google l'ignore ?

Un fichier llms.txt est un fichier markdown placé à la racine du site, ou à tout sous-chemin, qui fournit un aperçu adapté aux LLM et des liens vers des pages détaillées (1). Vous l'écrivez avec une marque d'ordre des octets facultative, un H1 portant le nom du projet ou du site comme seule section obligatoire, et un blockquote contenant un bref résumé des informations clés nécessaires pour comprendre le reste du fichier. Google indique qu'il n'utilise pas les fichiers llms.txt pour Google Search ; en publier un ne modifiera donc ni votre visibilité ni votre classement sur ce moteur (2).

Comment rédiger un fichier llms.txt ?

Créez un fichier markdown nommé llms.txt au chemin racine de votre site, /llms.txt, ou à un sous-chemin tel que /docs/llms.txt (1). Un fichier couvre les URL situées sous son chemin ; lorsque plusieurs fichiers s'appliquent, les agents doivent utiliser le plus spécifique.

Commencez par un H1 contenant le nom du projet ou du site (1). Vient ensuite un blockquote avec un bref résumé contenant les informations clés nécessaires pour comprendre le reste du fichier. Suivent zéro ou plusieurs sections de prose de tout type, à l'exception des titres, puis zéro ou plusieurs sections H2 qui contiennent des listes de fichiers.

Chaque entrée d'une liste de fichiers est un lien markdown de la forme [nom](url), éventuellement suivi d'un deux-points et de notes sur le fichier (1). La proposition suggère aussi que les pages contenant des informations dont les agents pourraient avoir besoin fournissent une version markdown épurée à la même URL que la page d'origine, avec .md ajouté (page.html.md) ou avec l'extension remplacée par .md (page.md). Le fichier lui-même doit rester assez petit pour tenir dans le contexte, car le détail se trouve derrière les liens et n'est récupéré qu'en cas de besoin. Pour aider les clients à trouver ces fichiers, la proposition recommande des relations de lien standard, avec rel="describedby" pointant d'une page vers le fichier llms.txt qui la couvre.

Le fichier llms.txt de Recala est généré par le code du site à chaque requête, les articles mis en avant qu'il liste provenant du blog publié, et il renvoie vers un second fichier, llms-full.txt, qui contient la liste complète des articles. Le fichier llms.txt de Recala s'ouvre sur un H1 et un blockquote décrivant l'activité de l'entreprise, suivis des sections À propos de Recala, Offres, Pages principales, Articles mis en avant et Facultatif. Le fichier llms.txt généré par Recala a dépassé la taille que son code vise ; quiconque génère ce fichier doit donc vérifier sa taille après publication.

Éléments d'un fichier llms.txt et la règle de chacun

Élément	Règle de la proposition
Emplacement	À /llms.txt à la racine du site ou à un sous-chemin ; couvre les URL situées sous son chemin, et le fichier le plus spécifique prévaut
Titre H1	Nom du projet ou du site ; seule section obligatoire
Blockquote	Un bref résumé des informations clés nécessaires pour comprendre le reste du fichier
Prose facultative	Paragraphes, listes et autres éléments markdown de tout type, à l'exception des titres, donnant davantage de détails sur la façon d'interpréter les fichiers
Listes de fichiers H2	Listes markdown où chaque élément comporte un lien obligatoire `[nom](url)`, éventuellement suivi d'un deux-points et de notes
Cibles des liens et taille	Les liens doivent pointer vers un contenu adapté aux LLM, comme des versions markdown ; le fichier reste assez petit pour tenir dans le contexte
Versions markdown des pages	Markdown épuré à la même URL, avec .md ajouté (page.html.md) ou l'extension remplacée (page.md)

Que faut-il attendre de llms.txt lorsque Google l'ignore ?

Google indique que Google Search, y compris ses fonctionnalités d'IA générative, n'utilise pas les fichiers LLMS.txt ; vous n'avez donc pas besoin d'en créer un pour apparaître dans les AI Overviews ou le mode IA (2). Il est acceptable de maintenir un fichier llms.txt pour d'autres services ou systèmes qui le lisent.

La proposition décrit llms.txt comme une information lue à la demande, lorsqu'un agent a besoin de quelque chose pour aider un utilisateur (1). Elle s'attend à ce que le fichier soit utile principalement pour l'inférence plutôt que pour l'entraînement. Google indique que, pour Google Search, vous pouvez ignorer des tactiques telles que la création de fichiers de texte IA inutiles comme llms.txt ; nous ne considérons donc pas ce fichier comme un levier de classement (2).

Recala n'a mesuré aucun effet de son propre fichier llms.txt sur les classements ou les citations par l'IA. Il n'existe ni comparaison avant-après ni groupe témoin, et Recala ne garantit ni classements ni citations à la suite de la publication du fichier. Considérez-le comme une option peu coûteuse, et non comme un levier de croissance.

llms.txt est une proposition de contenu lisible par les LLM et n'est pas un contrôle d'accès ; il n'accorde ni ne bloque l'accès des robots d'exploration comme le fait robots.txt (1).

Que privilégier à la place de llms.txt, et comment vérifier que les robots d'exploration peuvent accéder à mon site ?

Placez les règles d'accès dans robots.txt, et non dans llms.txt (1). Le fichier robots.txt doit être placé dans le répertoire de premier niveau d'un site, sur un protocole pris en charge (3).

Pour les fonctionnalités d'IA de Google Search, les bonnes pratiques de référencement restent pertinentes, et les fondamentaux existants du SEO continuent d'en valoir la peine (4). Autorisez l'exploration dans robots.txt et dans toute couche CDN ou d'hébergement, reliez les pages importantes par des liens internes, conservez le contenu important sous forme de texte, et veillez à ce que les données structurées correspondent au texte visible. Une page doit être indexée et éligible à l'affichage d'un extrait avant de pouvoir apparaître comme lien de référence dans les AI Overviews ou le mode IA.

Pour la recherche ChatGPT, OpenAI recommande d'autoriser OAI-SearchBot dans votre robots.txt et d'autoriser les requêtes provenant de ses plages d'adresses IP publiées, car les sites ayant désactivé OAI-SearchBot n'apparaîtront pas dans les réponses de recherche ChatGPT (5). Google met généralement en cache le contenu de robots.txt pendant une durée pouvant aller jusqu'à 24 heures, bien qu'il puisse le mettre en cache plus longtemps lorsqu'il est impossible d'actualiser la version en cache (3). Recala conserve toutes les règles de robots d'exploration dans son robots.txt et aucune dans son llms.txt. Les robots d'exploration de Google traitent toutes les erreurs 4xx, à l'exception de 429, comme si un fichier robots.txt valide n'existait pas (3). Lorsqu'il récupère robots.txt, OpenAI peut ajouter un marqueur robots.txt à sa chaîne user-agent, ce qui aide les propriétaires de sites à distinguer ces requêtes des autres dans leurs journaux (5). OpenAI indique qu'il peut lui falloir environ 24 heures après la mise à jour du robots.txt d'un site pour que ses systèmes adaptent les résultats de recherche.

Un fichier robots.txt ne peut pas imposer le comportement des robots d'exploration ; pour un contenu sécurisé, d'autres méthodes de blocage, comme la protection par mot de passe, sont donc préférables (6).