|
Der Begriff der Reichweite einer Suchmaschine gibt an, wie viel Prozent der Internetnutzer eine bestimmte Suchmaschine monatlich nutzen. Das wichtigste Maß für die Messung der Popularität ist die durchschnittliche Nutzungsdauer.
|
|
Robots.txt bezeichnet eine Textdatei, die verhindert, dass Spider im Hauptverzeichnis einer Website Daten und Ordner spidern und indexieren. Seriöse Suchmaschinen-Spider halten sich in der Regel an solche Vorschriften. Es ist darauf zu achten, dass es in einem durch ein Passwort geschützen Verzeichnis Websiten gibt, die in keinem Falle gespider werden sollen. Folgt ein Spider nicht den Anweisungen der Textdatei robots.txt, so kann er über den Agenten-Namen bzw. die IP vom Webmaster erkannt werden. Dieser verhindert dann einen Zugriff auf die Website über die htaccess-Datei.
|