Um webmaster pode permitir o OAI-SearchBot no arquivo robots.txt para aparecer nos resultados de pesquisa do ChatGPT, e essa configuração é independente das demais. Segundo a OpenAI, sites que optaram por não receber o OAI-SearchBot não serão exibidos nas respostas de pesquisa do ChatGPT, embora ainda possam aparecer como links de navegação. A OpenAI afirma que um webmaster pode permitir o OAI-SearchBot no robots.txt para aparecer nos resultados de pesquisa, e oferece as tags de robots.txt do OAI-SearchBot e do GPTBot para que os webmasters possam gerenciar como seus sites interagem com a IA.
Como faço para tornar meu site elegível para ser nomeado e citado nas respostas de pesquisa do ChatGPT?
Comece permitindo o OAI-SearchBot no arquivo robots.txt do seu site. A OpenAI usa esse rastreador para exibir sites nos recursos de pesquisa do ChatGPT, e recomenda também permitir seus intervalos de IP publicados.
Depois de alterar o robots.txt, aguarde cerca de 24 horas para que os sistemas da OpenAI se ajustem antes de avaliar o resultado. Como os resultados de pesquisa da OpenAI podem levar cerca de 24 horas para refletir uma atualização do robots.txt, você não deve avaliar a mudança antes desse prazo. A OpenAI afirma que cada configuração do robots.txt é independente e que um webmaster pode permitir que o OAI-SearchBot apareça nos resultados de pesquisa enquanto bloqueia o GPTBot, o que descreve o que essas configurações gerenciam.
Quais rastreadores da OpenAI devo permitir ou bloquear, e o que cada configuração controla?
Cada configuração de rastreador da OpenAI é independente das outras. Você pode permitir o OAI-SearchBot para aparecer nos resultados de pesquisa e bloquear o GPTBot, o que sinaliza que o conteúdo rastreado não deve ser usado para treinar os modelos de fundação de IA generativa da OpenAI.
O GPTBot é usado para rastrear conteúdo que pode ser usado no treinamento dos modelos de fundação de IA generativa da OpenAI, e bloqueá-lo indica que o conteúdo do site não deve ser usado para esse treinamento.
O ChatGPT-User é diferente: ele visita uma página quando uma pessoa faz uma pergunta ao ChatGPT ou a um GPT personalizado, e não é usado para rastreamento automático. Como essas visitas são iniciadas pelo usuário, as regras do robots.txt podem não se aplicar a elas. Se o seu site permitir tanto o OAI-SearchBot quanto o GPTBot, a OpenAI pode usar os resultados de um único rastreamento para ambos os fins, para evitar rastreamentos duplicados. A OpenAI descreve o ChatGPT-User como não usado para determinar se o conteúdo pode aparecer na Pesquisa, portanto, para opt-outs de pesquisa, você deve gerenciar o OAI-SearchBot no robots.txt.
Rastreadores da Web usados pela OpenAI e como controlá-los no robots.txt
| Rastreador | Para que é usado | O que fazer no robots.txt |
|---|---|---|
| OAI-SearchBot | Exibir sites nos recursos de pesquisa do ChatGPT | Permitir no robots.txt e permitir os intervalos de IP publicados da OpenAI |
| GPTBot | Rastrear conteúdo que pode ser usado para treinar os modelos de fundação de IA generativa da OpenAI | Opcional: bloquear para sinalizar que o conteúdo não deve ser usado para treinamento; a configuração é independente do OAI-SearchBot |
Como posso verificar se o rastreador de pesquisa da OpenAI está chegando ao meu site?
Compare as requisições nos logs do seu servidor com os dados publicados pela OpenAI. O OAI-SearchBot se identifica em sua string de user-agent, e a OpenAI publica seus endereços IP em openai.com/searchbot.json.
Quando o OAI-SearchBot busca o robots.txt, ele pode acrescentar um marcador de robots.txt à sua string de user-agent. Esse marcador permite separar as requisições do robots.txt das demais, o que importa quando seus logs não incluem caminhos. A string de user-agent do OAI-SearchBot inclui seu número de versão, que a OpenAI observa que pode mudar, então faça a correspondência pelo nome do bot, e não por uma versão exata.
Fontes
- Overview of OpenAI Crawlers, OpenAI, consultado em 8 de novembro de 2026developers.openai.com