htaccess: Bots dauerhaft aussperren

[berny]

um in einer Htaccess Suchbots dauerhaft auszzusperren ist folgender Eintrag hilfreich:

#Liste der Bots definieren
SetEnvIfNoCase user-Agent “^ShopWiki” stopbot
SetEnvIfNoCase user-Agent “^Bot-Name” stopbot
#Liste der Bots ende


#Bots anhand der Liste aussperren
<Files *>
Order Allow,Deny
Allow from all
Deny from env=stopbot
</Files>
#Ende der Sperrfunktion

Somit werden Bots, die mit den in den obigen Zeilen gelisteten Zeichen beginnen, ausgesperrt.
Diese Liste kann man einfach erweitern:
Neue Zeile, dort genau nach dem oberen Muste einen neuen Botnamen einfügen, fertig.

[Melendi]

Danke für diese Anleitung!

Eine Frage hätte ich noch dazu - und zwar... wo bekomme ich denn eine Liste von Bots her, die ich aussperren sollte? Und warum genau sollte man die Bots aussperren? Unnötiger Traffic?

[KlausK]

Es gibt eine Menge Bots die nichts anderes machen wie z.B. deinen Content zu kopieren.
Deine eigenen selbst geschriebenen Texte findest du plötzlich auf fremden Seiten wieder.
Google straft dich dann vielleicht sogar ab.
Viele Bots erzeugen auch eine unerwünscht hohe Serverlast, weil die DB exessiv abgefragt wird.

Entsprechend Listen gibt es millionenfach im Internet.
Google mal "bad bot list" oder ähnliches.

Man sollte natürlich nicht einfach wahllos irgendwelche Listen zur Hand nehmen.
Du solltest schon genau wissen welchen Bot du aussperren möchtest.

Es gibt aber auch einige Projekte, die sich genau diesem Problem annehmen.
Schau dir hierzu mal bot-trap.de an

[Melendi]

Danke für deine Antwort - das hilft mir auf jeden Fall weiter. Hätte nicht gedacht, dass es tatsächlich Leute gibt, die solche Listen zusammenstellen und veröffentlichen und das auch noch ehrenamtlich. Finde ich super!