Indexierungsproblem durch robots.txt?: Mir ist heute etwas ziemlich seltsames in WMT's von Google aufgefallen. Ich bekam beim überprüfen meiner Sitemap die Fehlermeldung:
"Netzwerk nicht erreichbar: robots.txt ist nicht erreichbar Bei dem Versuch, auf Ihre Sitemap zuzugreifen, ist ein Fehler aufgetreten. Stellen Sie sicher, dass Ihre Sitemap unseren Richtlinien entspricht und dass der Zugriff an der von Ihnen angegebenen Position möglich ist. Reichen Sie anschließend die Daten erneut ein." Blöd natürlich, weil Google die Angewohnheit hat eine Seite nicht zu indexieren, wenn die Robots.txt sofern vorhanden nicht erreichbar ist.
Genau das passierte mir dann auch! Ich habe seit gestern schon leichte Probleme neuen Content in den Index zu bekommen. Wenn das crawlen eines neuen Post sonst 10 bis 15 Minuten gedauert, so braucht der Bot jetzt schon mehrere Stunden bzw. heute hat er noch gar nicht indexiert.
Da dieser Zustand für mich unhaltbar ist, habe ich mich mal auf Fehlersuche begeben und die Google-Suche bemüht. Dort erfuhr ich, dass es sein kann, dass die IP des Google-Bots serverseitig gesperrt wurde oder in einer Firewall hängengeblieben ist. Das ganze erscheint mir aber sehr ungewöhnlich, denn warum sollte Google seinen eigenen Bot aussperren?
- Blogger-Blog = Google Server
Dachte ich zumindest bislang. Falls jemand mehr Ahnung von dem Thema hat und mir Tipps geben kann, was ich jetzt machen sollte, immer her damit. Vorerst habe ich die Sitemap mal neu eingereicht und warte jetzt erstmal ab, was passiert.
Hat euch mein Artikel gefallen? Dann würde ich mich freuen, wenn ihr meinen Feed abonniert.
Weitere Artikel aus der Kategorie Blog-intern
:
6 Meinungen:
Hmm ich weiß nicht ob es Zufall ist, aber genau das selbe problem hatt ich vor 2 Tagen auch. Hab dann auch neu eingereicht, wird jetzt auch wieder runtergeladen aber die anzahl der indexierten URLS nimmer nicht mehr zu momentan.
Schälts du eigentlich keinen Kommetare frei oder was!
@ Andy - Dein Kommentar ist längst frei geschalten. Du solltest dir für die Zukunft vielleicht merken, bei welchen Post du einen Kommentar setzt, dann brauchst du hier auch nicht rummotzen. ;)
Schau mal bei Manchester Wolfsburg nach!
@ Markus - Ich habe auch festgestellt, dass sich die Anzahl der Index-URL'S nicht mehr ändert. Ich vermute da läuft im Hintergrund irgend ein Update am Sitemap-System.
MfG ihr beiden
Oh sorry, dann muss ich beim Kommentieren komplett verutscht sein ;-) Nehme alles zurück ;-)
Aber wie gesagt bei mir ist das Problem auch. Ich denke er indiziert vielleicht die Hälfte der Artikel udn wenn dann nur sehr langsam...Hoffe Google dreht nicht mal wieder durch ;-)
Inzwischen läuft die Anzeige in dem Webmaster tools bei mir wieder wie es sein sollte. Indexiert wurden die Artikel bei mir nur irgendwie nicht angezeigt in dem WMT. Nun ja wie Du sagst, die basteln bestimmt.
@ Markus - Nun ja, die Anzeige ist bei mir so halb richtig. Es werden zwar 26 erfasster URLs angezeigt, aber dafür nur 1 indexierte.
Das kann aber so nicht stimmen, da bei mir heute wieder halbwegs normal (dauert nur noch 30 min) indexiert wird.
Der google bastelt immer noch ;)
MfG
Kommentar veröffentlichen
Bitte schickt euren Kommentar nur einmal ab. Bedenkt, dass bei uns jeder Kommentar eine Moderation durchläuft. Kommentare mit rechtswidrigen Inhalten, Beleidigungen und offensichtliche Werbung werden nicht freigeschaltet.
Ansonsten würden wir uns freuen, wenn ihr auch auf unserer Facebook-Fanpage mitdiskutiert.