On 18 Nov., 03:09, "Leif Neland" <
l...@neland.dk> wrote:
> En flok baiduspiders fra forskellige kinesiske ip-adresser har hærget mit
> website med requests med en uforskammet hastighed.
Hvad er hastigheden?
Normalt hærger disse botter med 2-4 requests i sekundet. Men så slem
synes jeg nu ikke Baidu har været.
> De respekterer ikke robots.txt. så nu har jeg lavet således, at hvis
> useragent er baiduspider, får de en 301 redirct til en side om Liu Xiaobo,
> den kinesiske nobelprismodtager, som regimet i Kina forsøger at
> hemmeligholde.
Det er kreativt :)
Hvad siger iøvrigt acceptencoding og acceptlanguage? Og IP? Har du
taget IPerne på projecthoneypot,org?
Kunne du måske give lidt uddrag af loggen, det pirrer min
nysgerrighed.
MVH
Rune Jensen