Name des Robots wird festgelegt, für welchen Robot die Einträge gelten.
Mit den einzelnen Disallow-Einträgen bestimmt man dann Verzeichnisse, die von diesem nicht indexiert werden sollen.
www.hello-engines.deName of the Robot you determine for which search engine robot the orders are valid.
By adding Disallow entries you can determine folders which you don't want to be indexed, for example, because they have not yet been finished.
www.hello-engines.deIn dem Bereich Site-Scanner können Sie die Struktur Ihrer Seite einlesen und Verzeichnisse auswählen, die für die gewünschten Agenten gesperrt werden sollen.
Unterhalb der Liste mit User-Agents und Disallow-Pfaden sehen Sie den Quelltext Ihrer Robots.txt-Datei. Klicken Sie auf Aktualisieren, um Änderungen, die Sie oben vorgenommen haben in diesem Text wirksam zu machen und umgekehrt.
Sobald Sie die Bearbeitung beendet haben, können Sie die Datei Speichern oder ihren Inhalt in eine Textdatei Exportieren.
www.hello-engines.deUse the Site Scanner to read the structure of your site and select directories to be locked for selected agents.
Below the list of User Agents and Disallow paths you can see the source text of your robots.txt file.Click Refresh to apply any changes you made in the upper part to that text or vice versa.
When finished you can save your file or export its content to a text file.
www.hello-engines.deWould you like to add some words, phrases or translations?
Submit a new entry.