Um webmaster pode permitir o OAI-SearchBot no arquivo robots.txt para aparecer nos resultados de pesquisa do ChatGPT, e essa configuração é independente das demais. Segundo a OpenAI, sites que optaram por não receber o OAI-SearchBot não serão exibidos nas respostas de pesquisa do ChatGPT, embora ainda possam aparecer como links de navegação. A OpenAI afirma que um webmaster pode permitir o OAI-SearchBot no robots.txt para aparecer nos resultados de pesquisa, e oferece as tags de robots.txt do OAI-SearchBot e do GPTBot para que os webmasters possam gerenciar como seus sites interagem com a IA.

Como faço para tornar meu site elegível para ser nomeado e citado nas respostas de pesquisa do ChatGPT?

Comece permitindo o OAI-SearchBot no arquivo robots.txt do seu site. A OpenAI usa esse rastreador para exibir sites nos recursos de pesquisa do ChatGPT, e recomenda também permitir seus intervalos de IP publicados.

Depois de alterar o robots.txt, aguarde cerca de 24 horas para que os sistemas da OpenAI se ajustem antes de avaliar o resultado. Como os resultados de pesquisa da OpenAI podem levar cerca de 24 horas para refletir uma atualização do robots.txt, você não deve avaliar a mudança antes desse prazo. A OpenAI afirma que cada configuração do robots.txt é independente e que um webmaster pode permitir que o OAI-SearchBot apareça nos resultados de pesquisa enquanto bloqueia o GPTBot, o que descreve o que essas configurações gerenciam.

Quais rastreadores da OpenAI devo permitir ou bloquear, e o que cada configuração controla?

Cada configuração de rastreador da OpenAI é independente das outras. Você pode permitir o OAI-SearchBot para aparecer nos resultados de pesquisa e bloquear o GPTBot, o que sinaliza que o conteúdo rastreado não deve ser usado para treinar os modelos de fundação de IA generativa da OpenAI.

O GPTBot é usado para rastrear conteúdo que pode ser usado no treinamento dos modelos de fundação de IA generativa da OpenAI, e bloqueá-lo indica que o conteúdo do site não deve ser usado para esse treinamento.

O ChatGPT-User é diferente: ele visita uma página quando uma pessoa faz uma pergunta ao ChatGPT ou a um GPT personalizado, e não é usado para rastreamento automático. Como essas visitas são iniciadas pelo usuário, as regras do robots.txt podem não se aplicar a elas. Se o seu site permitir tanto o OAI-SearchBot quanto o GPTBot, a OpenAI pode usar os resultados de um único rastreamento para ambos os fins, para evitar rastreamentos duplicados. A OpenAI descreve o ChatGPT-User como não usado para determinar se o conteúdo pode aparecer na Pesquisa, portanto, para opt-outs de pesquisa, você deve gerenciar o OAI-SearchBot no robots.txt.

Rastreadores da Web usados pela OpenAI e como controlá-los no robots.txt

RastreadorPara que é usadoO que fazer no robots.txt
OAI-SearchBotExibir sites nos recursos de pesquisa do ChatGPTPermitir no robots.txt e permitir os intervalos de IP publicados da OpenAI
GPTBotRastrear conteúdo que pode ser usado para treinar os modelos de fundação de IA generativa da OpenAIOpcional: bloquear para sinalizar que o conteúdo não deve ser usado para treinamento; a configuração é independente do OAI-SearchBot

Como posso verificar se o rastreador de pesquisa da OpenAI está chegando ao meu site?

Compare as requisições nos logs do seu servidor com os dados publicados pela OpenAI. O OAI-SearchBot se identifica em sua string de user-agent, e a OpenAI publica seus endereços IP em openai.com/searchbot.json.

Quando o OAI-SearchBot busca o robots.txt, ele pode acrescentar um marcador de robots.txt à sua string de user-agent. Esse marcador permite separar as requisições do robots.txt das demais, o que importa quando seus logs não incluem caminhos. A string de user-agent do OAI-SearchBot inclui seu número de versão, que a OpenAI observa que pode mudar, então faça a correspondência pelo nome do bot, e não por uma versão exata.

Fontes

  1. Overview of OpenAI Crawlers, OpenAI, consultado em 8 de novembro de 2026developers.openai.com