# robots.txt for http://www.klewer.de/ # Zugriff auf alle Dateien erlauben User-agent: * Disallow: /js/ # uninteressant für Suchende Disallow: /css/ # unerwünscht Disallow: /daten/ # unerwünscht Disallow: /grafiken/ # Bilder nicht downloaden Disallow: /logs/ # uninteressant für Suchende Disallow: /team/ # uninteressant für Suchmaschinen