Robots.txt Generator

Robots.txt Generator

Standard - Alle Roboter sind:	Dürfen Verweigert
Crawl-Verzögerung:	Standard - Keine Verzögerung 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Seitenverzeichnis: (leer lassen, wenn Sie nicht haben)
Roboter suchen:	Google	Wie Standard Dürfen Verweigert
	Google Image	Wie Standard Dürfen Verweigert
	Google Mobile	Wie Standard Dürfen Verweigert
	MSN Search	Wie Standard Dürfen Verweigert
	Yahoo	Wie Standard Dürfen Verweigert
	Yahoo MM	Wie Standard Dürfen Verweigert
	Yahoo Blogs	Wie Standard Dürfen Verweigert
	Ask/Teoma	Wie Standard Dürfen Verweigert
	GigaBlast	Wie Standard Dürfen Verweigert
	DMOZ Checker	Wie Standard Dürfen Verweigert
	Nutch	Wie Standard Dürfen Verweigert
	Alexa/Wayback	Wie Standard Dürfen Verweigert
	Baidu	Wie Standard Dürfen Verweigert
	Naver	Wie Standard Dürfen Verweigert
	MSN PicSearch	Wie Standard Dürfen Verweigert
Eingeschränkte Verzeichnisse:	Der Pfad ist relativ zu root und muss einen abschließenden Schrägstrich enthalten "/"

Erstellen Sie jetzt die Datei "robots.txt" in Ihrem Stammverzeichnis. Kopieren Sie den obigen Text und fügen Sie ihn in die Textdatei ein.

Über Robots.txt Generator

Creating a Robots.txt is easy now with the help of Robots.txt Generator. This online tool is important for creating robot.txt files to instruct web robots. 

It is fast, free, and easy to use. You can create your own robot.text files in seconds. 

 

How to use Robots.txt Generator? 

To create Robots.txt files using Robots.txt Generator:

• Determine whether you allow or refuse Default - All Robots.
• Choose the Crawl-Delay
• Sitemap: (leave blank if you don't have) 
• Determine Search Robots wanted
• Determine the Restricted Directories
• Click Robots.text or Create and save as Robots.text