Neu gibt es für jeden Blogger Blog eine robots.txt Datei, welche den Zugriff für Crawler auf Seiten mit dem Pattern /search verbietet. Dies verhindert in allererster Linie doppelten Content in Suchmaschinen, was in der Regel als abwertend beim Ranking gewertet wird. Auch sollte sich so die Crawling-Last auf die Plattform weiter verringern.
Als weiteres Goodie hat Google der robots.txt den Sitemap: Parameter verpasst. Hier wird nun der Default XML-Feed angegeben, welcher immer die chronologisch letzten Posts bereit hält. Diese Neuerung bringt gleichermassen etwas für Crawler von Google, Yahoo und Microsoft, da diese den Sitemap.xml Standard unterstützen.
2 Kommentare:
Ist noch net von Google.
Goggi, diesen Kommentar musst Du mir erklären... Was genau ist nicht von Google?
- Blogger, Feb. 2003 gekauft
- Sitemaps.org mit und durch Google gegruendet und standardisiert
Kommentar veröffentlichen