Diese Websites blockieren ChatGPT

Portrait von André Goldmann

André Goldmann
👨‍💻 SEO- und Website-Experte, 📟 Maker und 🌳 Bonsai-Nerd

Letztes Update am: [chatgpt_robots_date]

Täglich analysiere und werte ich die robots.txt-Dateien von den 5.000 sichtbarsten Domains (SV-Index von SISTRIX) in Deutschland für dich aus.

Lediglich [chatgpt_robots_percentage] ([chatgpt_robots_sum] Domains) der in Deutschland relevantesten Websites setzen zurzeit der KI einen Riegel vor. Möglich ist dies durch eine bzw. zwei User-Agent-Anweisung in der robots.txt.

Spannend dabei ist, dass von den Top-100 lediglich [chatgpt_robots_sum100] Domains, OpenAI den Zugriff verwehren. 👉 Erfahre hier, welche Domains ChatGPT blockieren

Ebenfalls interessant: Nicht alle Website-Verantwortliche wissen wohl, dass es unterschiedliche User-Agents innerhalb von ChatGPT gibt. 

So hinderst du ChatGPT davor, deine Website zu crawlen

User-agent: GPTBot blockt lediglich den Crawler für die Trainingsdaten.

Möchtest du sicherstellen, dass kein ChatGTP-Plugin im Chatbot Daten deiner Website verwenden kann, musst du zusätzlich den User-agent: ChatGPT-User ausschließen. Eine offizielle Dokumentation für beide User Agents stellt OpenAI hier und hier zur Verfügung.

Hier mal ein Beispiel für eine robots.txt die beide User Agents ausschließt:

User-agent: ChatGPT-User
Disallow: /

User-agent: GPTBot
Disallow: /

Diese Websites blocken ChatGPT in Deutschland

[chatgpt_robots_combined_table]