# robots.txt für www.burgmannschaft.com
# Diese Webcrawler schließe ich aus

# Diese Verzeichnisse/Dateien sollen nicht durchsucht werden

User-agent: *
Disallow: /Temp/ 			# diese Inhalte verschwinden bald
Disallow: /landkarte/
Disallow: /temp/     		# Die Dateien sind sehr kurzlebig
Disallow: /logfiles/ 		# Die ändern sich jeden Tag
Disallow: /bilder/     		# Bilder nicht downloaden
Disallow: /cgi-bin/    		# CGI Ausgaben nicht indexieren
Disallow: /mitglieder.html  # Die news.html ändert sich täglich
Disallow: /Internes/ 		# CGI Ausgaben nicht indexieren