Un webmaster puede permitir OAI-SearchBot en el archivo robots.txt para aparecer en los resultados de búsqueda de ChatGPT, y ese ajuste es independiente de los demás. OpenAI indica que los sitios que se han excluido de OAI-SearchBot no se mostrarán en las respuestas de búsqueda de ChatGPT, aunque aún pueden aparecer como enlaces de navegación. OpenAI dice que un webmaster puede permitir OAI-SearchBot en robots.txt para aparecer en los resultados de búsqueda, y ofrece las etiquetas de robots.txt de OAI-SearchBot y GPTBot para que los webmasters puedan gestionar cómo sus sitios interactúan con la IA.
¿Cómo hago que mi sitio sea apto para ser nombrado y citado en las respuestas de búsqueda de ChatGPT?
Empiece por permitir OAI-SearchBot en el archivo robots.txt de su sitio. OpenAI usa este rastreador para mostrar sitios web en las funciones de búsqueda de ChatGPT, y recomienda permitir también sus rangos de IP publicados.
Después de cambiar robots.txt, espere unas 24 horas para que los sistemas de OpenAI se ajusten antes de juzgar el resultado. Como los resultados de búsqueda de OpenAI pueden tardar unas 24 horas en reflejar una actualización de robots.txt, no debe juzgar el cambio antes de que haya pasado ese periodo. OpenAI indica que cada ajuste de robots.txt es independiente y que un webmaster puede permitir que OAI-SearchBot aparezca en los resultados de búsqueda mientras bloquea GPTBot, lo que describe qué gestionan estos ajustes.
¿Qué rastreadores de OpenAI debo permitir o bloquear, y qué controla cada ajuste?
Cada ajuste de rastreador de OpenAI es independiente de los demás. Puede permitir OAI-SearchBot para aparecer en los resultados de búsqueda y bloquear GPTBot, lo que indica que el contenido rastreado no debe usarse para entrenar los modelos fundacionales de IA generativa de OpenAI.
GPTBot se usa para rastrear contenido que puede utilizarse para entrenar los modelos fundacionales de IA generativa de OpenAI, y bloquearlo indica que el contenido del sitio no debe usarse para ese entrenamiento.
ChatGPT-User es distinto: visita una página cuando una persona hace una pregunta a ChatGPT o a un GPT personalizado, y no se usa para el rastreo automático. Como esas visitas son iniciadas por el usuario, es posible que las reglas de robots.txt no se les apliquen. Si su sitio permite tanto OAI-SearchBot como GPTBot, OpenAI puede usar los resultados de un único rastreo para ambos fines, a fin de evitar rastreos duplicados. OpenAI describe ChatGPT-User como un agente que no se usa para determinar si el contenido puede aparecer en la búsqueda, así que para excluirse de la búsqueda debe gestionar OAI-SearchBot en robots.txt.
Rastreadores web usados por OpenAI y cómo controlarlos en robots.txt
| Rastreador | Para qué se usa | Qué hacer en robots.txt |
|---|---|---|
| OAI-SearchBot | Mostrar sitios web en las funciones de búsqueda de ChatGPT | Permitirlo en robots.txt y permitir los rangos de IP publicados de OpenAI |
| GPTBot | Rastrear contenido que puede usarse para entrenar los modelos fundacionales de IA generativa de OpenAI | Opcional: bloquearlo para indicar que el contenido no debe usarse para entrenamiento; el ajuste es independiente de OAI-SearchBot |
¿Cómo puedo comprobar que el rastreador de búsqueda de OpenAI está llegando a mi sitio?
Compare las solicitudes de sus registros del servidor con los datos publicados por OpenAI. OAI-SearchBot se identifica en su cadena de user-agent, y OpenAI publica sus direcciones IP en openai.com/searchbot.json.
Cuando OAI-SearchBot obtiene robots.txt, puede añadir una marca de robots.txt a su cadena de user-agent. Esa marca le permite separar las solicitudes de robots.txt de otras solicitudes, lo que importa cuando sus registros no incluyen rutas. La cadena de user-agent de OAI-SearchBot incluye su número de versión, que OpenAI señala que puede cambiar, así que conviene comparar por el nombre del bot y no por una versión exacta.
Fuentes
- Overview of OpenAI Crawlers, OpenAI, consultado el 8 de noviembre de 2026developers.openai.com