Zum Inhalt springen
Tomas KadlecGespräch buchen

Können KI-Crawler Ihre Website lesen?

ChatGPT, Claude, Perplexity und die KI-Antworten von Google können nur Seiten nutzen, die ihre Crawler abrufen dürfen und lesen können.

Geben Sie eine Seite ein. Sie sehen, welche von 16 KI-Crawlern hereinkommen und was die anderen aufhält.

Seite prüfen

Ohne E-Mail sehen Sie das Kurzergebnis auf dem Bildschirm und nichts wird gespeichert. Mit E-Mail sende ich den vollständigen Bericht mit Lösungen, speichere E-Mail und Adresse 12 Monate und schreibe Ihnen eventuell einmal zum Ergebnis. Details in der Datenschutz.

Was geprüft wird

  • robots.txt für 16 KI-Crawler

    OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon, Common Crawl und ByteDance. Für jeden Crawler: erlaubt oder gesperrt, und ob er der KI-Suche, Nutzeranfragen oder dem Modelltraining dient.

  • Wie der Server antwortet

    Die Seite wird als normaler Browser und mit den Namen von drei KI-Crawlern abgerufen. Eine Firewall, die sie ablehnt, zeigt sich hier.

  • Text ohne JavaScript

    Die meisten KI-Crawler führen kein JavaScript aus. Die Prüfung zählt die Wörter, die sie wirklich lesen können.

  • Signale auf der Seite

    Titel, Beschreibung, eine Hauptüberschrift, Sprache, noindex und Snippet-Grenzen.

  • Strukturierte Daten und Sitemap

    schema.org-Daten auf der Seite und eine Sitemap für die Website.

Was die Prüfung nicht sagen kann

Die Anfragen kommen von meinem Server, nicht von den Adressen der Crawler selbst. Eine Firewall kann die echten Crawler also anders behandeln. Geprüft wird eine Seite. Und eine lesbare Seite ist noch keine Seite, die KI-Assistenten nennen.

Soll ich die Trainings-Crawler sperren?

Das ist Ihre Entscheidung. Ein gesperrter Trainings-Crawler entfernt Sie nicht aus der KI-Suche, solange die Crawler für Suche und Nutzeranfragen erlaubt bleiben. Das Ergebnis zeigt beide Gruppen getrennt. Zwei Crawler, die auf Anfrage eines Menschen handeln, ChatGPT-User und Perplexity-User, müssen sich laut ihren Betreibern gar nicht an die robots.txt halten.

Ändert das Tool etwas an meiner Website?

Nein. Es liest die Seite, die robots.txt, die Sitemap und die llms.txt, insgesamt sieben Anfragen.

Welche Seite soll ich prüfen?

Beginnen Sie mit der Startseite, dann eine Produkt- oder Leistungsseite. Vorlagen unterscheiden sich oft.

Lesbar ist der erste Schritt. Genannt zu werden ist das Ziel.

Das KI-Sichtbarkeitsaudit misst, ob ChatGPT und die KI-Antworten von Google Ihre Marke nennen, und warum.

Zum KI-SichtbarkeitsauditKostenloses 20-Minuten-Gespräch buchen