Un webmaster peut autoriser OAI-SearchBot dans le fichier robots.txt afin d'apparaître dans les résultats de recherche de ChatGPT, et ce réglage est indépendant des autres. OpenAI indique que les sites ayant exclu OAI-SearchBot ne seront pas affichés dans les réponses de recherche de ChatGPT, bien qu'ils puissent encore apparaître sous forme de liens de navigation. OpenAI affirme qu'un webmaster peut autoriser OAI-SearchBot dans robots.txt afin d'apparaître dans les résultats de recherche, et propose les balises robots.txt OAI-SearchBot et GPTBot afin que les webmasters puissent gérer la façon dont leurs sites interagissent avec l'IA.
Comment rendre mon site éligible à être nommé et cité dans les réponses de recherche de ChatGPT ?
Commencez par autoriser OAI-SearchBot dans le fichier robots.txt de votre site. OpenAI utilise ce robot pour faire remonter les sites web dans les fonctions de recherche de ChatGPT, et recommande d'autoriser également ses plages d'adresses IP publiées.
Après avoir modifié robots.txt, laissez environ 24 heures aux systèmes de OpenAI pour s'adapter avant de juger du résultat. Comme les résultats de recherche de OpenAI peuvent mettre environ 24 heures à refléter une mise à jour de robots.txt, vous ne devriez pas évaluer la modification avant l'expiration de ce délai. OpenAI indique que chaque paramètre robots.txt est indépendant et qu'un webmaster peut autoriser OAI-SearchBot pour apparaître dans les résultats de recherche tout en interdisant GPTBot, ce qui décrit ce que ces paramètres gèrent.
Quels robots d'exploration de OpenAI dois-je autoriser ou bloquer, et que contrôle chaque paramètre ?
Chaque paramètre de robot d'exploration de OpenAI est indépendant des autres. Vous pouvez autoriser OAI-SearchBot pour apparaître dans les résultats de recherche tout en interdisant GPTBot, ce qui signale que le contenu exploré ne doit pas servir à l'entraînement des modèles fondamentaux d'IA générative de OpenAI.
GPTBot sert à explorer du contenu susceptible d'être utilisé pour l'entraînement des modèles fondamentaux d'IA générative de OpenAI, et l'interdire indique que le contenu d'un site ne doit pas servir à cet entraînement.
ChatGPT-User est différent : il visite une page lorsqu'une personne pose une question à ChatGPT ou à un GPT personnalisé, et il n'est pas utilisé pour l'exploration automatique. Comme ces visites sont initiées par l'utilisateur, les règles robots.txt peuvent ne pas s'appliquer à elles. Si votre site autorise à la fois OAI-SearchBot et GPTBot, OpenAI peut utiliser les résultats d'une seule exploration pour les deux usages afin d'éviter les explorations en double. OpenAI décrit ChatGPT-User comme n'étant pas utilisé pour déterminer si un contenu peut apparaître dans la recherche ; pour les exclusions de recherche, vous devez donc gérer OAI-SearchBot dans robots.txt.
Robots d'exploration web utilisés par OpenAI et comment les contrôler dans robots.txt
| Robot d'exploration | Utilisation | Action à mener dans robots.txt |
|---|---|---|
| OAI-SearchBot | Faire remonter les sites web dans les fonctions de recherche de ChatGPT | L'autoriser dans robots.txt et autoriser les plages d'adresses IP publiées par OpenAI |
| GPTBot | Explorer du contenu susceptible de servir à l'entraînement des modèles fondamentaux d'IA générative de OpenAI | Facultatif : l'interdire pour signaler que le contenu ne doit pas servir à l'entraînement ; ce paramètre est indépendant d'OAI-SearchBot |
Comment vérifier que le robot d'exploration de recherche de OpenAI atteint mon site ?
Comparez les requêtes de vos journaux serveur avec les informations publiées par OpenAI. OAI-SearchBot s'identifie dans sa chaîne user-agent, et OpenAI publie ses adresses IP à l'adresse openai.com/searchbot.json.
Lorsque OAI-SearchBot récupère robots.txt, il peut ajouter un marqueur robots.txt à sa chaîne user-agent. Ce marqueur vous permet de distinguer les requêtes robots.txt des autres requêtes, ce qui est utile lorsque vos journaux ne contiennent pas les chemins. La chaîne user-agent d'OAI-SearchBot comprend son numéro de version, que OpenAI indique pouvoir changer ; faites donc la correspondance sur le nom du robot plutôt que sur une version exacte.
Sources
- Overview of OpenAI Crawlers, OpenAI, consulté le 8 novembre 2026developers.openai.com