# http://www.abex-berlin.de/ ################################################################################ # # Alle Robots erlauben # User-agent: * # # Sitemap # Sitemap: http://www.abex-berlin.de/sitemap.xml # # Verzeichnisse/Dateien erlauben # Allow: /*.htm$ Allow: /index.php Allow: /sitemap.xml Allow: /uploads/ # # Da wir das gesamte Verzeichnis uploads erlaubt haben, # müssen wir nun doch noch einige spezielle Dateien ausschließen # Disallow: /*.cgi$ Disallow: /*.css$ Disallow: /*.gif$ Disallow: /*.gz$ Disallow: /*.inc$ Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.js$ Disallow: /*.php$ Disallow: /*.php* Disallow: /*.png$ Disallow: /*.tpl$ Disallow: /*.wmv$ Disallow: /*.flv$ Disallow: /*.xhtml$ # ... usw. # # /cmsms/ aus Suchergebnissen entfernen # Disallow: /cmsms/*.htm$ # # Hier bricht der Googlebot ab, da der Anweisungsblock f?r ihn hier beendet ist. # Das erkennt der Bot durch die neue User-agent: Anweisung # ################################################################################ # # GOOGLE IMAGE: # User-agent: Googlebot-Image Allow: /uploads/images/*.jpg$ Allow: /uploads/images/*.jpeg$ Allow: /uploads/images/*.png$ Allow: /uploads/images/*.gif$ Disallow: / # # hier bricht Google-Image ab #