Donnerstag, 19. Juli 2007

Blogger.com hat ein robots.txt und Sitemap

Google hat der Blogger.com Plattform ein weiteres, wirklich nützliches Feature verpasst.

Neu gibt es für jeden Blogger Blog eine robots.txt Datei, welche den Zugriff für Crawler auf Seiten mit dem Pattern /search verbietet. Dies verhindert in allererster Linie doppelten Content in Suchmaschinen, was in der Regel als abwertend beim Ranking gewertet wird. Auch sollte sich so die Crawling-Last auf die Plattform weiter verringern.



Als weiteres Goodie hat Google der robots.txt den Sitemap: Parameter verpasst. Hier wird nun der Default XML-Feed angegeben, welcher immer die chronologisch letzten Posts bereit hält. Diese Neuerung bringt gleichermassen etwas für Crawler von Google, Yahoo und Microsoft, da diese den Sitemap.xml Standard unterstützen.

Kommentare:

Goggi hat gesagt…

Ist noch net von Google.

eLd0raDo hat gesagt…

Goggi, diesen Kommentar musst Du mir erklären... Was genau ist nicht von Google?

- Blogger, Feb. 2003 gekauft
- Sitemaps.org mit und durch Google gegruendet und standardisiert