Lexikon:
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
 
 

robots.txt

In diesem Lexikon werden Ihnen Begriffe aus den Bereichen Webhosting, Server-Housing und Webspace erklärt.


Mit der robots.txt - Datei im Hauptverzeichnis einer Website können Sie bestimmten Spidern verbieten Ihre Website oder einen Teil Ihrer Website aufzunehmen. Zum Beispiel können Sie unerwünschte Bots von einem Verzeichnis mit dem befehl User Agent:* Disallow: /verzeichnis dieses bestimmte Verzeichnis verbieten.Im Internet findet Sie eigene robots.txt - Generatoren, die Ihnen bei der Erstellung dieser einfachen aber nützlichen Textdatei behilflich sind.