		Websuche	Auf gut Glück	Onlineshop	Amazon

Startseite :: WEB-Verzeichnis :: Seite anmelden


	Sie sind hier: Startseite » Robot-Info

Robot / Crawler

Die Datei robots.txt ist eine Standardmöglichkeit um Robots / Crawler zu steuern.
Nähere Informationen können Sie hier nachlesen
Informationen auf Deutsch

Inhalt aus dem IT-Sucher-Index entfernen! - Löschen Ihrer schon eingetragenen Domain bitte über das Supportformular beantragen.

Wenn unser Bot das Web durchsucht, findet er neue Seiten und Inhalte. Diese werden dann im Suchindex aufgenommen und gegebenenfalls der richtigen Kategorie zugeordnet.
Wenn Sie nicht wünschen, dass unser Robot Ihre Seiten besucht und in diesem Suchdienst verfügbar macht, können Sie unseren Bot mit dem folgenden Eintrag in Ihrer robots.txt aussperren:

User-agent: it-sucher.bot
Disallow: /

Wenn Sie unserem Bot einzelne Verzeichnisse verbieten wollen, erreichen Sie dies mit dem folgenden Eintrag

User-agent: it-sucher.bot
Disallow: /verzeichnis_1/
Disallow: /verzeichnis_2/

Impressum :: Seite anmelden :: Einträge ändern :: Bannerfarm :: Werbung :: Tools :: AGB's :: FAQ :: Kontakt :: Robot-Info
Partner