Blogger.com hat ein robots.txt und Sitemap

Google hat der Blogger.com Plattform ein weiteres, wirklich nützliches Feature verpasst.

Neu gibt es für jeden Blogger Blog eine robots.txt Datei, welche den Zugriff für Crawler auf Seiten mit dem Pattern /search verbietet. Dies verhindert in allererster Linie doppelten Content in Suchmaschinen, was in der Regel als abwertend beim Ranking gewertet wird. Auch sollte sich so die Crawling-Last auf die Plattform weiter verringern.



Als weiteres Goodie hat Google der robots.txt den Sitemap: Parameter verpasst. Hier wird nun der Default XML-Feed angegeben, welcher immer die chronologisch letzten Posts bereit hält. Diese Neuerung bringt gleichermassen etwas für Crawler von Google, Yahoo und Microsoft, da diese den Sitemap.xml Standard unterstützen.

Update bei sitemaps.org

Im vergangenen November hatten sich ja bekanntermassen Google, Yahoo und Microsoft unter dem Label Sitemaps.org zusammengetan, um das von Google ins Leben gerufene Format der sitemap.xml zu standardisieren und zu verbreiten.

Nun sind auf dem Google Webmaster Central Blog die Neuerungen bekannt geworden:
- die Website Sitemaps.org in 18 Sprachen (z.B. deutsche FAQ)
- Ask.com hat das Format ebenfalls adaptiert und unterstützt es
- das File sitemap.xml kann jetzt an einem beliebigen Ort liegen, welchen man im robots.txt definieren kann. Dazu braucht man aber Direktzugriff auf sein robots.txt File.

Vor allem Punkt 3 wird alle Blogger User oder Nutzer von hosted Blogsystemen freuen. Die Sitemap kann nun wohl auch ausserhalb der Domain liegen. Bisher hatten die Google Webmaster Tools dies NICHT zugelassen.

Und vielleicht Hoffentlich bringen sie Blogger.com ja auch irgendwann noch bei, dass das sitemap.xml automatisch generiert wird.

UPDATE:
Das oben durchgestrichene war Quatsch! Tut leider ohne Zugriff auf robots.txt immer noch nicht. Das sitemap.xml muss weiterhin in der selben Domain/Subdomain liegen.

Google, Microsoft und Yahoo mit Quasi-Web-Standard

Google, Microsoft und Yahoo sind gemeinsam eine Partnerschaft eingegangen und unterstützen nun alle das von Google ins Leben gerufene Sitemap Format.
Mit dem Sitemap-XML ist es möglich, den Crawlern der Suchmaschinen einen kompletten Index der eigenen Site zu übermitteln. So können beispielsweise auch URLs in den Index aufgenommen werden, welche nicht direkt per Link erreichbar sind.

Google führt dies schon seit längerem in den eigenen Webmaster Tools durch. Hier können Benutzer die eigene Sitemap zur Verfügung stellen.

Der Sitemap Format-Standard steht von allen drei beteiligten Unternehmen unter der Attribution-ShareAlike Creative Commons License offen bereit. Ausserdem wurde eine neue Website unter sitemaps.org gelaunced, welche neben der Protokoll-Spezifikation auch einen Bereich mit FAQ enthält.

Ich finde es noch erstaunlich von Google, dass sie nun Teile ihrer Technologie ihren grössten Konkurrenten zur Verfügung stellen. Es scheint doch etwas an der Aussage dran zu sein, dass es Google sich auf die Fahnen geschrieben hat das Internet überall besser machen zu wollen.