Velocizzare awstats
Vide
tanti che awstats non riesce a processare un giorno di logs in meno di 24h,
diventanddo così un cane che si morde la coda. Come fate a processare con
awstats gli access log di siti ad alta frequentazione senza diventare pazzi?
La geolocalizzazione (GeoIP o reverse DNS) è fondamentale per le statistiche
di cui ho bisogno, ergo non la posso disabilitare.
Quanti GB di log riuscite a macinare in un giorno? Con che CPU?
--
Vide
CtRiX
> La geolocalizzazione (GeoIP o reverse DNS) è fondamentale per le
> statistiche di cui ho bisogno, ergo non la posso disabilitare. Quanti GB
> di log riuscite a macinare in un giorno? Con che CPU?
Considerando che awstats e compagnia cantante (gli altri sistemi
opensource di statistica) forniscono dati alquanto risibili, dopo molta
sperimentazione ho migrato il problema #altrove: analytics.
Fa molto di più di qualunque sistema opensource e lo fa sicuramente
meglio.
Giovanni Bechis
> Considerando che awstats e compagnia cantante (gli altri sistemi
> opensource di statistica) forniscono dati alquanto risibili, dopo molta
> sperimentazione ho migrato il problema #altrove: analytics.
>
> Fa molto di più di qualunque sistema opensource e lo fa sicuramente
> meglio.
>
io lo uso da un po' e mi trovo benissimo.
Giovanni
--
/*
* SnB - http://www.snb.it
*/
Vide
> Considerando che awstats e compagnia cantante (gli altri sistemi
> opensource di statistica) forniscono dati alquanto risibili, dopo molta
> sperimentazione ho migrato il problema #altrove: analytics.
Sì abbiamo già GA da un bel pezzo (e pure Nielsen) però con GA c'è del
traffico che abbiamo problemi a tracciare e volevo incrociare i dati con
quello che vede Apache direttamente. L'ideale per awstats sarebbe farlo in
map/reduce invece che serializzato com'è...
--
Vide
Gandalf Corvotempesta
> Che intendi per "risibili" esattamente?
I dati calcolati sono rossomodo "casuali".
E' tutto tranne che affidabile, come numeri.
Spara delle cifre che non hanno alcun senso
ne come logica, ne come validit�.
Abbiamo installato su un certo numero di siti
un nostro analytics ed i numeri mostrati da
awstats spessono sono o 3 volte superiori o 4
volte inferiori.
Vide
> Abbiamo installato su un certo numero di siti
> un nostro analytics ed i numeri mostrati da
> awstats spessono sono o 3 volte superiori o 4
> volte inferiori.
Senza polemica: l'affidabilità del *tuo* analytics con ui confronti è
dimostrata da...
--
Vide
Gandalf Corvotempesta
> Senza polemica: l'affidabilità del *tuo* analytics con ui confronti è
> dimostrata da...
- Dal fatto che facendo un controllo incrociato con GA i dati sono quasi
identici. (1% di differenza circa).
- Dal fatto che facendo manualmente il parse dei bytes dai log di apache
ed il conteggio delle visite i risultati rispetto analytics son
completamente diversi.
--
Non tocca a noi dominare tutte le maree del mondo,
il nostro compito è di fare il possibile per la
salvezza degli anni nei quali viviamo,
sradicando il male dai campi che conosciamo.
Gandalf Corvotempesta
> Scusa eh, i dati vengono dai vostri log, se i vostri log contengono
> schifezze, forse dovreste controllare come sono processati. In genere
> questo capita quando si usano redirect e rewrite a go-go senza
> preoccuparsi di rimuovere dai log le informazioni inutili.
Non contengono schifezze.
> Ed a questo punto come decidete quali sono i dati "veri" ?
Leggi la mia risposta a Vide.
--
Non tocca a noi dominare tutte le maree del mondo,
il nostro compito � di fare il possibile per la
Gandalf Corvotempesta
> <quote>
> - Dal fatto che facendo manualmente il parse dei bytes dai log di apache
> ed il conteggio delle visite i risultati rispetto analytics son
> completamente diversi.
>
> Il che mi fa' pensare che si', i tuo log _contengono schifezze_.
Immagina un log di apache con i soli byes:
100
123
546457
34234
li sommi, viene un numero.
Awstats non fa corrispondere quel numero.
GA ed il mio, grossomodo (ovvero schifezze permettendo) lo
fanno corrispondere.
Idem, ma ancora pi� accentuato, con le visite.
CtRiX
> On 2009-11-24, Gandalf Corvotempesta <gandalf.co...@gmail.com>
> wrote:
>> I dati calcolati sono rossomodo "casuali". E' tutto tranne che
>> affidabile, come numeri.
>
> Scusa eh, i dati vengono dai vostri log, se i vostri log contengono
> schifezze, forse dovreste controllare come sono processati. In genere
> questo capita quando si usano redirect e rewrite a go-go senza
> preoccuparsi di rimuovere dai log le informazioni inutili.
>
>> Abbiamo installato su un certo numero di siti un nostro analytics ed i
>> numeri mostrati da
>
> Ed a questo punto come decidete quali sono i dati "veri" ?
Non è questione di dati veri, è questione di affidabilità dei dati.
Anal-ytics vede le visite LATO browser, tramite Javascript-
awstats e simili guardano i files di log.
Se un utente è dietro un proxy che fa caching, Analytics funziona,
awstats non logga.
Se arriva uno spider e ti ravana il sito, analytics non logga, awstats si.
Se un idiota a caso (ne conosco uno) fa il sito in PHP includendo le
librerie usando non i file ma URL, le visite decuplicano, awstats le
conta, analytics no.
Sono due punti di vista differenti da cui osservare un sito.
Analytics dal mio punto di vista mi fornisce i dati di cui ho bisogno.
Awstats mi fornisce un sacco di rumenta che non mi serve ad un cazzo e
che, si, può essere eliminata tramite tuning quotidiano, ma mi fa perdere
un sacco di tempo e comunque non mi da i dati dal punto di vista che
preferisco.
Vide
> Se arriva uno spider e ti ravana il sito, analytics non logga, awstats si.
Beh questo ad onor del vero bisogna dire che awstst te li toglie già
automaticamente con la configurazione "chiavi in mano".
--
Vide
Vide
> Aggiungi 'no-script' (o un alieno come me che mette analytics e
> compagnia varia nel suo firewall) ed anche lui non ha tutte le
> informazioni.
I paranoici, in un sito con traffico generalista, sono statisticamente
irrilevanti.
Poi, puttanaccia troia, sto awstats è lento come una merda e perchè cazzo
salva i dati in una merda di file di testo, che deve aggiornare ogni volta
per completo, che deve *processare* ogni volta che si apre il report (e più
dati ci sono più ci mette ogni santa volta). Lo odio.
--
Vide
CtRiX
>> Analytics dal mio punto di vista mi fornisce i dati di cui ho bisogno.
>
> E allora usalo, ma non cercare di convincermi che e' meglio che avere i
> log a posto ed analizzarli in modo decente.
Quando uno dice "dal mio punto di vista" esprime una opinione personale.
Non me ne frega veramente nulla di convincerti anche perchè, se
rileggessi quanto ho scritto, awstats e analytics *per progetto*
forniscono dati diversi.
CtRiX
Te lo appoggio.
Io aggiungo la chicca che awstats ha una storia di buchi di sicurezza
micidiali e lo annnovero tra i tre pezzi di software peggiori che ho mai
visto. Gli altri due sono proftpd e asterisk (non ho voglia di flammare).
majale
> I paranoici, in un sito con traffico generalista, sono statisticamente
> irrilevanti.
> Poi, puttanaccia troia, sto awstats è lento come una merda e perchè cazzo
> salva i dati in una merda di file di testo, che deve aggiornare ogni volta
> per completo, che deve *processare* ogni volta che si apre il report (e
> più dati ci sono più ci mette ogni santa volta). Lo odio.
sacrosanto
--
give it away
Gandalf Corvotempesta
> Io aggiungo la chicca che awstats ha una storia di buchi di sicurezza
> micidiali e lo annnovero tra i tre pezzi di software peggiori che ho mai
> visto. Gli altri due sono proftpd e asterisk (non ho voglia di flammare).
Siamo in due.
(per la cronaca, ti ho mandato due-tre mail e non mi hai cagato.
Ti devo venire a prendere a casa? :-) )
--
Non tocca a noi dominare tutte le maree del mondo,
il nostro compito è di fare il possibile per la
Gandalf Corvotempesta
> Essendo stato una volta "bucato" dal buco, non posso che confermare.
> Ed infatti da allora le statistiche non sono piu' visibili da pigs+dogs.
Basta far generare file html anzich� usare il cgi.
--
Non tocca a noi dominare tutte le maree del mondo,
il nostro compito � di fare il possibile per la
Giuseppe Lucente
> Poi, puttanaccia troia, sto awstats è lento come una merda e perchè cazzo
> salva i dati in una merda di file di testo, che deve aggiornare ogni volta
> per completo, che deve *processare* ogni volta che si apre il report (e più
> dati ci sono più ci mette ogni santa volta). Lo odio.
Hai mai provato webalizer ? http://www.mrunix.net/webalizer/
Temo che non sia cosi' dettagliato come awstats, e anche sul sul
versante grafico pare sia rimasto al paleozoico :)
awstats non l'ho mai utilizzato, percui un confronto non sono
in grado di farlo. Posso dirti che difficilmente sentirai dire che
webalizer è lento.
Beppe
Giuseppe Della Bianca
]zac[
> (per la cronaca, ti ho mandato due-tre mail e non mi hai cagato.
> Ti devo venire a prendere a casa? :-) )
]zac[
Rispetta la coda ... ci sono altri prima di te ...