# ===================================

# Erstellt am: 10.07.2012, 18:00

# Webseite: https://www.bayerischer-rigi.de

# ===================================

Sitemap: https://www.bayerischer-rigi.de/sitemap.xml

# ===================================

# Folgende Seiten sollen nicht indexiert werden:

# ===================================

User-agent: *
Disallow: /anfragen/
Disallow: /admin/
Disallow: /temp/ # Die Dateien sind sehr kurzlebig
Disallow: /logs/ # Die ändern sich jeden Tag
Disallow: /bilder/ # Bilder nicht downloaden
Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren
Disallow: /01homepage/
Disallow: /phpunity-useronline/

# Die news.html ändert sich täglich

# ===================================

# Schließe folgende Spider komplett aus:

# ===================================

User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /