Fehlerbehebung bei Crawling-Fehlern

​​ Übersicht

Cloudflare setzt Suchmaschinen-Crawler und -Bots auf Whitelists. Wenn Sie Crawling-Probleme oder Cloudflare-Challenges für den Suchmaschinen-Crawler oder -Bot beobachten, sollten Sie den Cloudflare-Support kontaktieren Open external link und dabei die Informationen angeben, die Sie bei der Behebung der Crawling-Fehler mit den in dieser Anleitung beschriebenen Methoden sammeln.

​​ Einstellung der Crawling-Frequenz für Google und Bing

Um die CDN-Performance zu optimieren, weisen Google und Bing Websites, die CDN-Dienste nutzen, spezielle Crawling-Frequenzen zu. Spezielle Crawling-Frequenzen wirken sich nicht nachteilig auf die Suchmaschinenoptimierung (SEO) und die-Ergebnisseiten von Suchmaschinen (SERPs) aus. Befolgen Sie die nachstehenden Richtlinie, um Ihre Crawling-Frequenzen für Bing und Google zu ändern:

• Um die Crawling-Frequenz für Google zu ändern, sollten Sie die Google-Dokumentation durchsehen Open external link .

• Zur Änderung Ihrer Crawling-Frequenz für Bing finden Sie Hilfe in der Bing-Dokumentation:

• Bing-Crawling-Steuerung Open external link

• Crawling-Verzögerung und der Bing-Crawler Open external link

​​ Verhinderung von Crawling-Fehlern

Gehen Sie die folgenden Empfehlungen zur Verhinderung von Crawler-Fehlern durch:

• Überwachen Sie die Performance und Verfügbarkeit Ihrer Website mit dem Tool eines Drittanbieters:

  • StatusCake Open external link
  • Pingdom Open external link
  • Monitor.Us Open external link
  • Updown Open external link

• Blockieren Sie IP-Adressen von Google-Crawlern nicht mit Firewall Rules oder IP Access Rules innerhalb von Cloudflares Firewall-App.

• Blockieren Sie die USA nicht mit Firewall Rules oder IP Access Rules innerhalb von Cloudflares Firewall-App.
• Blockieren Sie User-Agents von Google Open external link  oder Bing Open external link  nicht in .htaccess, Ihrer Serverkonfiguration, robots.txt Open external link oder der Web-Applikation.

• Lassen Sie kein Crawling von Dateien im /cdn-cgi/-Verzeichnis zu. Dieser Pfad wird intern von Cloudflare verwendet, und Google stößt bei seinem Crawling auf Fehler. Lassen Sie kein Crawling von cdn-cgi über robots.txt zu:

Disallow: /cdn-cgi/

• Stellen Sie sicher, dass Ihre robot.txt-Datei den AdSense-Crawler zulässt Open external link .
• Stellen Sie die ursprünglichen Besucher-IP-Adressen Open external link in Ihren Server-Protokollen wieder her.

Die Schritte zur Fehlerbehebung für die am häufigsten gemeldeten Crawling-Fehler sind unten aufgeführt.

​​ HTTP-4XX-Fehler

HTTP-4XX-Fehler Open external link sind der häufigste Typ von Crawling-Fehlern. Cloudflare übermittelt diese Fehler von Ihrem Webserver an Google. Diese Fehler werden aus unterschiedlichen Gründen verursacht, z. B. durch eine fehlende Seite auf Ihrem Webserver oder einen falsch formatierten Link in Ihrer HTML. Die Lösung hängt von dem aufgetretenen Problem ab.

​​ HTTP-5XX-Fehler

HTTP-5XX-Fehler Open external link weisen darauf hin, dass entweder bei Cloudflare oder Ihrem Ursprungswebserver ein interner Fehler aufgetreten ist. Um das Auftreten von Crawling-Fehlern mit Website-Ausfällen zu korrelieren, sollten Sie den Zustand Ihres Ursprungswebservers überwachen. Durch Überwachung des Zustands Ihrer Website sowohl über Cloudflare als auch direkt über die IPs Ihres Ursprungswebserver lässt sich bestimmen, ob Fehler aufgrund von Cloudflare oder aufgrund Ihres Ursprungswebserver aufgetreten sind.

​​ DNS-Fehler

Abhängig davon, ob Ihre Domain über ein Full- oder ein CNAME-Setup auf Cloudflare ist, sind die Schritte bei der Fehlerbehebung unterschiedlich. Um zu überprüfen, welches Setup Ihre Domain verwendet, sollten Sie ein Terminal öffnen und den folgenden Befehl ausführen (ersetzen Sie www.example.com Open external link durch Ihre Cloudflare-Domain):

dig +short SOA www.example.com

Bei Domains mit einem CNAME-Setup enthält die resultierende Antwort cdn.cloudflare.net. Zum Beispiel:

example.com.cdn.cloudflare.net.

Bei Domains mit einem Full-Setup enthält die resultierende Antwort die cloudflare.com-Domain in den aufgeführten Nameservern. Zum Beispiel:

  josh.ns.cloudflare.com. dns.cloudflare.com. 2013050901 10000 2400 604800 3600

Sobald Sie bestätigt haben, wie Ihre Domain mit Cloudflare eingerichtet wurde, können Sie mit den Schritten zur Fehlerbehebung für Ihr jeweiliges Domain-Setup fortfahren.

CNAME

Kontaktieren Sie Ihren Hosting-Provider, um DNS-Fehler zu untersuchen und das Datum anzugeben, an dem Google auf DNS-Fehler gestoßen ist. Überprüfen Sie außerdem die Cloudflare-Systemstatus Open external link -Seite auf Netzwerkausfälle an dem Datum, an dem Google auf die Fehler gestoßen ist.

Full

Kontaktieren Sie den Cloudflare-Support Open external link und geben Sie das Datum und die Uhrzeit des Moments an, an dem Google die Fehler beobachtet hat.

​​ Anforderung von Unterstützung bei der Fehlerbehebung

Wenn Ihre Crawling-Fehler durch die obigen Schritte zur Fehlerbehebung nicht gelöst werden, sollten Sie die folgenden Schritte durchgehen, um Crawler-Fehler als .csv-Datei von Ihrem Google-Webmaster-Tools-Dashboard zu exportieren. Schließen Sie diese .csv-Datei mit ein, wenn Sie den Cloudflare-Support kontaktieren Open external link .

1. Melden Sie sich bei Ihrem Google Webmaster-Tools-Konto an und navigieren Sie zum Abschnitt Zustand der betroffenen Domain.
2. Klicken Sie in der linken Navigationsleiste auf Crawling-Fehler.
3. Klicken Sie auf Download, um die Liste der Fehler als .csv-Datei zu exportieren.
4. Geben Sie die heruntergeladene .csv-Datei an den Cloudflare-Support weiter.

​​ Verwandte Ressourcen

Googles Dokumentation zu Crawling-Fehlern und Fehlerbehebung Open external link