robots.txt und deren Optimierung für Suchmaschinen bzw. Anpassung. Manchmal ist es nämlich sehr ratsam bestimmte Seiten oder Bereich von der Indexierung auszuschließen, nicht zu Letzt um keinen Doppelter Content zu produzieren.
Bookmark bei:
| Bookmarks