Ilse's hobbyprojectje loopt een beetje uit de hand...
John Bokma
7450 7450 38890 pip0-7.ilse.nl
In 7 dagen...
--
John Bokma
Website design: http://johnbokma.com/websitedesign/
Ervaren Perl / Java programmeur beschikbaar: http://castleamber.com/
Tevreden opdrachtgevers: http://castleamber.com/testimonials.html
Marcel Rijgersberg
>Hits Files KBytes
>7450 7450 38890 pip0-7.ilse.nl
>
>In 7 dagen...
Kan je dit even toelichten (was even op Barbados), TIA.
Groet groet,
Marcel Rijgersberg
robert
Carel
ab...@ilse.nl of anders de firewall in met het spul. Maar is 38MB
traffic nu zo veel?
Carel
John Bokma
> John Bokma wrote:
>> Hits Files KBytes
>> 7450 7450 38890 pip0-7.ilse.nl
>>
>> In 7 dagen...
>
> ab...@ilse.nl
Al gedaan.
> of anders de firewall in met het spul.
Daar zit ik al aan te denken :-)
> Maar is 38MB traffic nu zo veel?
Wel als het door knullig programeren komt, zie mijn reaktie op Marcel.
John Bokma
Ik heb abuse gemailed, geen idee of dat gelezen gaat worden :-)
John Bokma
> On 8 Jul 2005 16:55:10 GMT John Bokma <jo...@castleamber.com> wrote:
>
>>Hits Files KBytes
>>7450 7450 38890 pip0-7.ilse.nl
>>
>>In 7 dagen...
>
> Kan je dit even toelichten (was even op Barbados), TIA.
Ilse is op het briljante idee gekomen om ook maar eens iets met XML feeds
te gaan doen.
Ik heb 1 feed, met daarin 12 links. Die wordt elk uur opgehaald (vind ik
niet erg), maar... ook elke pagina waar naar verwezen wordt in mijn feed
wordt opgehaald.
Het is niet zo veel werk om de delta's in de feed bij te houden per feed,
dus alleen *nieuwe* links op te halen. Begin deze week kreeg ik elk uur 13
hits (1 voor de feed, 12 voor de elke pagina waarnaar verwezen werd).
Krankzinnig natuurlijk. Dat die feed opgehaald wordt snap ik, maar dat
telkens opnieuw elke pagina opgehaald wordt waarnaar verwezen wordt,
terwijl daar volgens de feed geen reden toe is... te gek voor woorden.
Ziet er allemaal erg amateuristisch uit :-(
Ben nu ff mijn log aan het ophalen om te kijken waarom het ineens nog
harder lijkt te gaan...
robert
> {n.i.w.o}@allyourbass.org.invalid (robert) wrote:
>
>> John Bokma <jo...@castleamber.com>:
>> > Hits Files KBytes 7450 7450 38890 pip0-7.ilse.nl
>> >
>> > In 7 dagen...
>>
>> Lastig vallen die mannen, dan :)
>
> Ik heb abuse gemailed, geen idee of dat gelezen gaat worden :-)
Zo niet, dan kan je webcr...@experimental.net eens proberen.
--
robert
Marcel Rijgersberg
>> [...]
>
>Ilse is op het briljante idee gekomen om ook maar eens iets met XML feeds
>te gaan doen.
>
>Ik heb 1 feed, met daarin 12 links. Die wordt elk uur opgehaald (vind ik
>niet erg), maar... ook elke pagina waar naar verwezen wordt in mijn feed
>wordt opgehaald.
>
>Het is niet zo veel werk om de delta's in de feed bij te houden per feed,
>dus alleen *nieuwe* links op te halen. Begin deze week kreeg ik elk uur 13
>hits (1 voor de feed, 12 voor de elke pagina waarnaar verwezen werd).
>
>Krankzinnig natuurlijk. Dat die feed opgehaald wordt snap ik, maar dat
>telkens opnieuw elke pagina opgehaald wordt waarnaar verwezen wordt,
>terwijl daar volgens de feed geen reden toe is... te gek voor woorden.
>
>Ziet er allemaal erg amateuristisch uit :-(
>
>Ben nu ff mijn log aan het ophalen om te kijken waarom het ineens nog
>harder lijkt te gaan...
Bedankt voor kort en bondige toelichting. Wordt tijd dat ik me er ook
eens wat meer in verdiep.
Ondertussen kan ik me voorstellen dat als hun botje aan jouw zijde
nogal wat extra traffic veroorzaakt dat het aan gene zijne een
veelvoud daarvan zal zijn. Wellicht zoveel dat het aldaar ook als een
probleem zal worden ervaren.
Groet groet,
Marcel
Hans
> {n.i.w.o}@allyourbass.org.invalid (robert) wrote:
>
>> John Bokma <jo...@castleamber.com>:
>> > Hits Files KBytes
>> > 7450 7450 38890 pip0-7.ilse.nl
>> >
>> > In 7 dagen...
>>
>> Lastig vallen die mannen, dan :)
>
> Ik heb abuse gemailed, geen idee of dat gelezen gaat worden :-)
Helpt Crawl-delay: 2000 niet? :-)
Carel
>> Maar is 38MB traffic nu zo veel?
>
> Wel als het door knullig programeren komt, zie mijn reaktie op Marcel.
Dat klinkt inderdaad nogal knullig. Ik hoop dat het lukt contact te
krijgen. Bel ze anders eens.
Carel
John Bokma
Ik heb contact [1], en kreeg daarnaast een emailtje van iemand die wellicht
Groups Google gebruikt heeft, en mijn bericht las, geen Nederlands kon
begrijpen, maar wel de essentie oppikte, en dus hetzelfde probleem heeft.
robots.txt wordt niet opgehaald :-( (wat deze bot al twijfelachtig maakt),
ik krijg > 1000 hits/dag, en zit aardig over de 45M traffic van 1 bot in 8
dagen.
[1] Ik had iets geschreven a la: Kunnen jullie dat stukje speelgoed wat
o.a. op pip0-7.ilse.nl losloopt een beetje temmen? plus iets over clue
en programmeurs, met als Subject XML feed, maar hmmm... men wilde een wat
langere uitleg :-D.
John Bokma
> John Bokma <jo...@castleamber.com>:
> > {n.i.w.o}@allyourbass.org.invalid (robert) wrote:
> >
> >> John Bokma <jo...@castleamber.com>:
> >> > Hits Files KBytes 7450 7450 38890 pip0-7.ilse.nl
> >> >
> >> > In 7 dagen...
> >>
> >> Lastig vallen die mannen, dan :)
> >
> > Ik heb abuse gemailed, geen idee of dat gelezen gaat worden :-)
>
> Zo niet, dan kan je webcr...@experimental.net eens proberen.
Inmiddels mail terug van abuse @, plus van een lezer een gelijke klacht per
email gehad, dus hopelijk haalt iemand de cluebat uit de kast :-D
John Bokma
> Ondertussen kan ik me voorstellen dat als hun botje aan jouw zijde
> nogal wat extra traffic veroorzaakt dat het aan gene zijne een
> veelvoud daarvan zal zijn. Wellicht zoveel dat het aldaar ook als een
> probleem zal worden ervaren.
Ik heb geen idee hoe vaak iemand daar naar kijkt. Wellicht dat iemand
spoedig een grafiek ziet met een flinke piek :-)
John Bokma
mod_rewrite en ze een XML feed geven met 10,000 linkjes naar hun eigen site
:-) (Ik zit ff hardop te denken)
Hans
> Hans <replyel...@hans.kernelnewbies.nl> wrote:
>
>>>> > 7450 7450 38890 pip0-7.ilse.nl
>> Helpt Crawl-delay: 2000 niet? :-)
> mod_rewrite en ze een XML feed geven met 10,000 linkjes naar hun eigen site
>:-) (Ik zit ff hardop te denken)
Hmm, dat is wel een idee natuurlijk. Er zijn trouwens maar weinig
spiders die het zo bont maken, alhoewel msnbot er hier 2 keer per maand
ook rustig 20 meg doorheen jaagt. Pas trouwens op voor botjes van
het ip adres 66.194.55.242. Die kijkt ook niet naar de robots.txt en
haalt iedere 2 a 3 seconden een pagina op. Weet de naam niet meer, zit
hier nu in de firewall.
Randy Simons
> Ik begin me echt af te vragen hoe lang ze nog 404's willen
> blijven krijgen en dan nog los van het feit dat ze gewoon fijn alle
> links aflopen.
404 is geen definitief iets. Het kan een tijdelijk probleem zijn, of
gewoon tijdelijk niet beschikbaar.
Daarvoor is 410:
410 Gone
The requested resource is no longer available at the server and no
forwarding address is known. This condition is expected to be considered
permanent. Clients with link editing capabilities SHOULD delete
references to the Request-URI after user approval. If the server does
not know, or has no facility to determine, whether or not the condition
is permanent, the status code 404 (Not Found) SHOULD be used instead.
This response is cacheable unless indicated otherwise.
The 410 response is primarily intended to assist the task of web
maintenance by notifying the recipient that the resource is
intentionally unavailable and that the server owners desire that remote
links to that resource be removed. Such an event is common for
limited-time, promotional services and for resources belonging to
individuals no longer working at the server's site. It is not necessary
to mark all permanently unavailable resources as "gone" or to keep the
mark for any length of time -- that is left to the discretion of the
server owner.
Of zoekmachines het ook als zodanig oppikken?.. Maar proberen kan geen
kwaad, zeker niet als een 410 sowieso al een beter antwoord is dan 404.
--
Randy Simons
When replying to this message,
please follow the nettiquette and quote correctly.
Jeroen Heijmans
> En dan heb je nog tig robots van marketeers en research toko's die
> &*$&%($# denken dat ze dagelijks je site naar binnen kunnen sleuren om
> dan data te extracten voor hun [1]database. De enige die nog een beetje
> fatsoenlijk je site lijkt spideren is Google jammer genoeg. Is de
> strijd om searchengine bezoekers echt zo heftig zou je bijna afvragen.
En dan heb je nog van die nep-spiders die alleen maar hun naam in jouw logs
achterlaten en dan hopen dat je nieuwsgierig genoeg bent om op de link te
klikken. Zo krijgen ze sneller bezoekers. Vooral op de publieke logsites...
NoNo
> [1] Ik had iets geschreven a la: Kunnen jullie dat stukje speelgoed wat
> o.a. op pip0-7.ilse.nl losloopt een beetje temmen? plus iets over clue
> en programmeurs, met als Subject XML feed, maar hmmm... men wilde een wat
> langere uitleg :-D.
tja, de moderne programmeur denkt in extra hardware/bandbreedte ipv kostbaar
programmeerwerk en qua rendement heeft ie nog gelijk ook. Je kan altijd een
snellere machine met meer geheugen e.d. kopen dat is vele malen goedkoper
dan een dure (externe) programmeur. Ik moet ook vaak zo redeneren vooral bij
mkb waar alles op budget moet (behalve mijn uurloon) en dan kiezen we de
goedkoopste ICT oplossing die goed is, perfectie is vaak te duur.