Ein Webmaster kann OAI-SearchBot in der robots.txt-Datei zulassen, um in den ChatGPT-Suchergebnissen zu erscheinen, und diese Einstellung ist unabhängig von den anderen. OpenAI erklärt, dass Websites, die sich von OAI-SearchBot abgemeldet haben, nicht in ChatGPT-Suchantworten angezeigt werden, aber dennoch als Navigationslinks erscheinen können. OpenAI sagt, dass ein Webmaster OAI-SearchBot in robots.txt zulassen kann, um in den Suchergebnissen zu erscheinen, und es stellt die robots.txt-Angaben für OAI-SearchBot und GPTBot bereit, damit Webmaster steuern können, wie ihre Websites mit KI zusammenarbeiten.

Wie mache ich meine Website geeignet, um in ChatGPT-Suchantworten genannt und zitiert zu werden?

Beginnen Sie damit, OAI-SearchBot in der robots.txt-Datei Ihrer Website zuzulassen. OpenAI nutzt diesen Crawler, um Websites in den Suchfunktionen von ChatGPT sichtbar zu machen, und empfiehlt außerdem, die veröffentlichten IP-Bereiche zuzulassen.

Nachdem Sie robots.txt geändert haben, sollten Sie etwa 24 Stunden warten, bis sich die Systeme von OpenAI angepasst haben, bevor Sie das Ergebnis beurteilen. Da die Suchergebnisse von OpenAI etwa 24 Stunden benötigen können, um eine robots.txt-Änderung abzubilden, sollten Sie die Änderung vor Ablauf dieses Zeitraums nicht beurteilen. OpenAI erklärt, dass jede robots.txt-Einstellung unabhängig ist und ein Webmaster OAI-SearchBot zulassen kann, um in den Suchergebnissen zu erscheinen, während GPTBot untersagt wird, was beschreibt, was diese Einstellungen steuern.

Welche OpenAI-Crawler sollte ich zulassen oder blockieren, und was steuert jede Einstellung?

Jede Crawler-Einstellung von OpenAI ist unabhängig von den anderen. Sie können OAI-SearchBot zulassen, damit Sie in den Suchergebnissen erscheinen, und GPTBot untersagen, was signalisiert, dass Ihre gecrawlten Inhalte nicht für das Training der generativen KI-Basismodelle von OpenAI verwendet werden sollten.

GPTBot wird verwendet, um Inhalte zu crawlen, die für das Training der generativen KI-Basismodelle von OpenAI verwendet werden können, und ein Verbot zeigt an, dass die Inhalte einer Website nicht für dieses Training genutzt werden sollen.

ChatGPT-User ist anders: Es besucht eine Seite, wenn eine Person ChatGPT oder einer Custom GPT eine Frage stellt, und wird nicht für automatisches Crawling verwendet. Da diese Besuche nutzerinitiiert sind, gelten robots.txt-Regeln für sie möglicherweise nicht. Wenn Ihre Website sowohl OAI-SearchBot als auch GPTBot zulässt, kann OpenAI die Ergebnisse eines einzigen Crawls für beide Zwecke verwenden, um doppeltes Crawling zu vermeiden. OpenAI beschreibt ChatGPT-User als nicht dafür genutzt, zu bestimmen, ob Inhalte in der Suche erscheinen dürfen; für Suchabmeldungen sollten Sie daher OAI-SearchBot in robots.txt verwalten.

Von OpenAI genutzte Webcrawler und wie Sie sie in robots.txt steuern

CrawlerWofür er verwendet wirdWas in robots.txt zu tun ist
OAI-SearchBotSichtbarmachung von Websites in den Suchfunktionen von ChatGPTIn robots.txt zulassen und die veröffentlichten IP-Bereiche von OpenAI zulassen
GPTBotCrawlen von Inhalten, die zum Training der generativen KI-Basismodelle von OpenAI verwendet werden könnenOptional: untersagen, um zu signalisieren, dass Inhalte nicht für das Training genutzt werden sollen; die Einstellung ist unabhängig von OAI-SearchBot

Wie kann ich prüfen, ob der Suchcrawler von OpenAI meine Website erreicht?

Vergleichen Sie die Anfragen in Ihren Serverprotokollen mit den veröffentlichten Angaben von OpenAI. OAI-SearchBot identifiziert sich in seinem User-Agent-String, und OpenAI veröffentlicht seine IP-Adressen unter openai.com/searchbot.json.

Wenn OAI-SearchBot robots.txt abruft, kann er seinem User-Agent-String eine robots.txt-Kennung hinzufügen. Diese Kennung ermöglicht es Ihnen, robots.txt-Anfragen von anderen Anfragen zu unterscheiden, was wichtig ist, wenn Ihre Protokolle keine Pfade enthalten. Der User-Agent-String von OAI-SearchBot enthält seine Versionsnummer, die sich laut OpenAI ändern kann; gleichen Sie daher auf den Bot-Namen ab statt auf eine exakte Version.

Quellen

  1. Overview of OpenAI Crawlers, OpenAI, abgerufen am 8. November 2026developers.openai.com