Spider ..

Started by Feline, a year ago

previous topic - next topic

0 Members and 1 Guest are viewing this topic.

Feline

*
a year ago
Wie wir in den Logs gesehen habe, sind einige Spider sehr aggressiv (sehr viele Seitenzugriffe) unterwegs.
Solche Spider haben wir ausgeschlossen ...

Wie kann man das machen?
Sehr einfach .. über die .htaccess Datei (die ohnehin vorhanden sein muss, wenn SEF genutzt wird).

Zu dem Zweck einfach folgende Zeilen (am Anfang der Datei) hinzufügen:
Code Select
# Stop these bots
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|Barkrowler|MJ12bot|BLEXBot|BUbiNG|YandexBot|YandexImages|SemrushBot|Baiduspider|seznambot|DnyzBot) [NC]
RewriteRule .* - [F,L]
#

Damit laufen die Bots auf einen 403 Error ..
Und schon ist ruhe  ;)

Fel
Many are stubborn in relation to the way, but less in relation to the target.

hartiberlin

*
#1
a year ago
Hmm, aber kann es sein, dass man dann auch weniger Backlinks von diesen Websites der Spiders hat ?
Kann das negativ fürs SEO  Ranking bei Google sein ??

Danke.

Gruss, Stefan.

Feline

*
#2
a year ago
Google wird ja nicht geblock.

Das sind vornehmlich Spider aus dem Asiatischem Raum ..
Die machen einen derart heftigen Traffic .. mehr als 200 Seitenzugriffe und die kommen alle 10 Minuten vorbei ..
Aber wir lassen ja dem Anwender die Entscheidung, welche Spider geblockt werden und welche nicht.
Wenn der Spider nicht in der .htaccess drin steht, kann er auch die Seiten indizieren.

Wer nicht geblock ist, kommt automatisch in die Spider Liste, wenn er noch nicht drin steht.
Mit anderen Worten .. wir verwenden eine List aller Weltweit operierenden Spider/Bots.
Und wenn einer kommt der noch nie da war, wird automatisch zur Spiderliste hinzugefügt.
Sprich .. die Spider liste füllt sich im laufe der Zeit .. da muss nicht von Hand hinzugefügt werden.

Fel
Many are stubborn in relation to the way, but less in relation to the target.

hartiberlin

*
#3
a year ago
Kann man den Spider-403 Code in der .htaccess Datei auch z.B. für Wordpress benutzen ?
Müsste eigentlich gehen, oder ?
Danke.

Feline

*
#4
a year ago
Quote from: hartiberlin, a year agoKann man den Spider-403 Code in der .htaccess Datei auch z.B. für Wordpress benutzen ?
Müsste eigentlich gehen, oder ?
Danke.
Kann ich nicht sagen, da ich Wordpress nicht kenne.
Ausserdem .. wird das in der kommenden Version nicht mehr über die .htaccess gemacht, sondern das wird intern abgehandelt.
In der Spiderliste gibt es dann eine Checkbox über die ein Spider geblockt werden kann.
Der Spider sieht dann ein 403 Forbidden ..

Fel
Many are stubborn in relation to the way, but less in relation to the target.

* Shouts

Feline
7 months ago
Today we update our Forum to the Version 1.45
Feline
10 months ago
Today we update our Forum to Version 1.4
This release is full compatible with the EU GDPR
Feline
a year ago
Update for PortaMx 1.54 ecl released.
With this updates the Portal works with PHP 7.x and SMF 2.0.15
Feline
a year ago
PortaMx Forum 1.3
released !

*
Feline
a year ago
Today we switched to PHP 7.2 and activate Opcode caching.
Fast .. Very fast *
Feline
2 years ago
Today we upgrade our old SMF 2.0 Forum to PortaMx Forum *

* Calendar

Su
Mo
Tu
We
Th
Fr
Sa
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30