Interpretazione del coefficiente di correlazione di Pearson

[Luca85]

Salve a tutti.

Avevo fatto una domanda simile qualche mese fa su isf ma non ho
trovato adeguate risposte.
Ogni volta che leggo un paper scientifico in cui si dice: "scoperta
una relazione tra questo e questo fenomeno perchè r^2=x e p<0.0001"
balzo sulla sedia.
Di solito è palese che le due variabili sono completamente
indipendenti tra di loro e il ricercatore doveva provare a tutti i
costi qualcosa, quindi ha usato questo indice.
Anche perchè se r^2 = 0.2 ad esempio si vede che i dati son sparsi
assolutamente a caso, anche se dato un N abbastanza grande posso
ottenere una p piccola a piacere.

Ad essere precisi (come spesso non sono....) questa p è "la
probabilità di aver ottenuto un r^2>= r^2_trovato partendo da dati che
avrebbero dovuto avere r^_2=0".

Detto questo...
Se uno trova dai suoi dati che "r^2=x e p<0.0001" che conclusione
_onesta_ può trarre?

[radica...@gmail.com]

Il giorno venerdì 14 dicembre 2012 11:49:29 UTC+1, Luca85 ha scritto:
> Salve a tutti. Avevo fatto una domanda simile qualche mese fa su isf ma non ho trovato adeguate risposte. Ogni volta che leggo un paper scientifico in cui si dice: "scoperta una relazione tra questo e questo fenomeno perchè r^2=x e p<0.0001" balzo sulla sedia. Di solito è palese che le due variabili sono completamente indipendenti tra di loro e il ricercatore doveva provare a tutti i costi qualcosa, quindi ha usato questo indice. Anche perchè se r^2 = 0.2 ad esempio si vede che i dati son sparsi assolutamente a caso, anche se dato un N abbastanza grande posso ottenere una p piccola a piacere. Ad essere precisi (come spesso non sono....) questa p è "la probabilità di aver ottenuto un r^2>= r^2_trovato partendo da dati che avrebbero dovuto avere r^_2=0". Detto questo... Se uno trova dai suoi dati che "r^2=x e p<0.0001" che conclusione _onesta_ può trarre?

------------------------------------

Scusa ma questa "p" cos'e' ?
Io sapevo che r^2 ha una distribuzione campionaria
(mi pare la t di student se ricordo bene) e che
quindi se calcoli r^2 su un campione, la probabilita'
che r^2 calcolato su tutto l' universo sia proprio
quello calcolato col campione a meno di uno scarto
in piu' o in meno e' tot.

Per es. se trovi r^2 = 0,2, allora che
0,01 <= r^2 universo <= 0,03 e' del 95%.

[Luca85]

On 14 Dic, 13:10, radicale....@gmail.com wrote:

> Scusa ma questa "p" cos'e' ?

In ""ricerca"" si definisce (informalmente) p come la probabilità con
cui puoi scartare l'ipotesi nulla.
Convenzionalmente in fisica particellare, ad esempio, si dice che una
particella è stata scoperta se si può scartare l'ipotesi che il
segnale visto sia una flluttuazione del fondo ad un livello di 10^-6.
In medicina invece si definisce una scoperta se si può rigettare
l'ipotesi nulla (da vedere com'è stata definita.....) ad un livello
del 5%.
In altre """scienze""" trovi articoli in cui annunciano scoperte:
"tra il gruppo 1 ed il gruppo 2 c'è una differenza del 15% anche se
non siamo riusciti ad ottenere la significatività statistica". (non so
se mi spiego....)

Ora... se in campi specializzati si calcola bene l'ipotesi nulla e
qual è la sua probabilità in altri campi invece si mettono i dati
dentro programmi automatici che danno fuori "un p" e lo si riporta nei
risultati.

Se fai una comparazione tra due gruppi con un t-test allora l'ipotesi
nulla è sottointesa(che non ci siano differenze medie tra i due
gruppi) ed è ovvia l'interpretazione sperimentale di questo risultato
(i due gruppi son diversi o no?).
Con la correlazione invece?
La p che viene calcolata di solito da sti software è quella rispetto
all'ipotesi nulla "N punti completamente scorrelati abbiano dato r^2>x
per caso". Ma questo sperimentalmente come diavolo devo
interpretarlo???
Io non riesco proprio a vederlo!!

P.s.: non riesco a farmi una idea di un solo caso dove l'uso del
coefficiente di correlazione in analisi di dati sia indicativo di
qualcosa. Qualcuno può darmi di casi in cui sia utile e per cosa?

Eppure ne vedo un casino di articoli con 20 punti sparsi _a_caso_ nel
piano r^2=0.4, p<0.01 e allora: "scoperta significativa relazione tra
questa grandezza e questa altra"

[radica...@gmail.com]

Il giorno venerdì 14 dicembre 2012 13:57:43 UTC+1, Luca85 ha scritto:
(omissis)

Si piu' o meno ho capito. Grazie.

> Qualcuno può darmi di casi in cui sia utile e per cosa?

r^2 ti dice se la variabile y ha una dipendenza funzionale
*lineare* con la variabile x.
Al limite se r^2 = 1 avremmo y = a + bx con esattezza
infinita.
Ora, io penso che il sapere se la dipendenza e' lineare
puo' aiutare molto a semplificare i calcoli ed a costruire
modelli.

Nota
E pero' se la y e la x descrivessero una perfetta circonferenza
con centro nell' origine degli assi troveremmo r^2 = 0, pur
essendoci perfetta relazione funzionale del tipo x^2 + y^2 = 1
Il che fa vedere bene che r^2 esprime la dipendenza lineare e
basta : il colpo d' occhio su un grafico pare sia insostituibile
:-)

[Luca85]

On 14 Dic, 14:22, radicale....@gmail.com wrote:

> r^2 ti dice se la variabile y ha una dipendenza funzionale
> *lineare* con la variabile x.

Penso che me lo dica meglio il chi^2.

> Al limite se r^2 = 1 avremmo y = a + bx con esattezza
> infinita.

Questo è indubbio. O meglio, questo avviene se sui punti non ho errore
a livello teorico.
Eppure io sperimentalmente l'ho.
Ed in questo caso, nell'ipotesi in cui i punti siano in una relazione
lineare, il valore di r^2 che ottengo mi dipende dal rapporto tra gli
errori ed il range di x e y che ho a disposizione.

Per questo non riesco a capire quale sia un modo sensato di
interpretare r^2

[Quesnay F.]

Il 14/12/2012 11:49, Luca85 ha scritto:

> Di solito è palese che le due variabili sono completamente
> indipendenti tra di loro e il ricercatore doveva provare a tutti i
> costi qualcosa, quindi ha usato questo indice.
> Anche perchè se r^2 = 0.2 ad esempio si vede che i dati son sparsi
> assolutamente a caso, anche se dato un N abbastanza grande posso
> ottenere una p piccola a piacere.

Sì, ma quando fai un test t, questa p. ti dice solo che la p. che rho
sia *esattamente* zero è bassissima.

>
> Detto questo...
> Se uno trova dai suoi dati che "r^2=x e p<0.0001" che conclusione
> _onesta_ può trarre?
>

Beh, se trovi rho=0,05 puoi dedurre che la correlazione tra le variabili
è molto debole, quindi sostanzialmente ininfluente.
Certo che se trovi rho=0,97 le conclusioni sono ben diverse.
La p ti dice solo che a un certo livello alfa rho è significativamente
diverso da *zero*, ma una volta stabilito questo, l'interpretazione la
deve dare lo sperimentatore.
Se tu prendi, per esempio, un paper di economia in cui si usa un modello
di regressione lineare del tipo:
Y=betaX + epsilon con le seguenti ipotesi:
X strettamente esogene;
epsilon white noise;
assenza di eteroscedasticità.
usi un modello lineare classico ai minimi quadrati grazie al teorema di
gauss-markov (con l'ipotesi su epsilon fatta, se non ricordo male oltre
a ottenere stimatori corretti, ottieni anche i più efficienti).
Bene, i principali parametri diagnostici che guardi sono:
le stat. t sulla significatività dei parametri;
la F che ti fornisce la significatività globale della regressione;
l'R^2 che è il rapporto tra var. spiegata dal modello e var. totale;
il DW che testa l'omoscedasticità.
Ora, quando i t sono significativi, la F anche, il DW è ok e l'R^2
basso, si legge spesso che il modello teorico che aveva in mente
l'estensore dell'articolo è "confermato". Ma magari l'R^2 è sotto 0.5.
Anche a me queste conclusioni lasciano un po' ... sconcertato, perché in
realtà il grado di correlazione è significativamente diverso da zero, ma
il modello spiega solo una parte, magari piccola, della "storia"...

[Luca85]

On 15 Dic, 08:24, "Quesnay F." <nonscriv...@nonvirispondo.it> wrote:

> Sì, ma quando fai un test t, questa p. ti dice solo che la p. che rho
> sia *esattamente* zero è bassissima.

Infatti, è questo che mi fa pensare che la "p" in questione non abbia
utilità nell'analisi di dati.

> Beh, se trovi rho=0,05 puoi dedurre che la correlazione tra le variabili
> è molto debole, quindi sostanzialmente ininfluente.

Mh... Ma cosa vorrebbe dire: "la correlazione è debole"?

Ti spiego. Io faccio il ricercatore. Al laboratorio del primo anno di
università ho deciso di non usare mail il coefficiente di
correlazione perchè mi sfuggiva il senso ed il possibile utilizzo,
visto che infatti chi ci spiegava statistica ci ha detto di "lasciarlo
stare che confonde e basta".
Adesso mi trovo a lavorare in un ambito dove molti altri gruppi
sperimentali lo usano, e la cosa mi lascia una quantità enorme di
dubbi.
Quindi ho deciso che "devo capirlo fino in fondo".

> Certo che se trovi rho=0,97 le conclusioni sono ben diverse.

Però capirai che se ho dei punti con rho=0.97 e N>5.... Tipicamente
non mi serve proprio fare la correlazione! :-)

> La p ti dice solo che a un certo livello alfa rho è significativamente
> diverso da *zero*, ma una volta stabilito questo, l'interpretazione la
> deve dare lo sperimentatore.

Ecco. Qua sta il bandolo della matassa. Le proprietà matematiche di
rho mi son chiare. Le possibili interpretazioni assolutamente no!
Se questo cercavo una guida, degli esempi!

> Se tu prendi, per esempio, un paper di economia in cui si usa un modello
> di regressione lineare del tipo:
> Y=betaX + epsilon con le seguenti ipotesi:
> X strettamente esogene;
> epsilon white noise;
> assenza di eteroscedasticità.
> usi un modello lineare classico ai minimi quadrati grazie al teorema di
> gauss-markov (con l'ipotesi su epsilon fatta, se non ricordo male oltre
> a ottenere stimatori corretti, ottieni anche i più efficienti).
> Bene, i principali parametri diagnostici che guardi sono:
> le stat. t sulla significatività dei parametri;
> la F che ti fornisce la significatività globale della regressione;
> l'R^2 che è il rapporto tra var. spiegata dal modello e var. totale;
> il DW che testa l'omoscedasticità.
> Ora, quando i t sono significativi, la F anche, il DW è ok e l'R^2
> basso, si legge spesso che il modello teorico che aveva in mente
> l'estensore dell'articolo è "confermato". Ma magari l'R^2 è sotto 0.5.
> Anche a me queste conclusioni lasciano un po' ... sconcertato, perché in
> realtà il grado di correlazione è significativamente diverso da zero, ma
> il modello spiega solo una parte, magari piccola, della "storia"...

Uhm...
Premetto che di economia ne so niente, quindi ho dovuto cercarmi un
po' di definizioni.
Però pure qua, che mi sembra un caso nettamente meglio fatto, ho dei
dubbi.
Dici che R^2 è il rapporto tra la var. spiegata dal modello e var.
totale. Che, ovviamente, è vero.
Ma questo come si può interpretare? Perchè anche nel caso perfetto in
cui effettivamente y=bx+eps (e tutte le altre ipotesi che hai scritto)
e non esiste alcuna altra causa di varianza in y oltre a X ed al white
noise comunque il valore di r^2 che ottengo dipenderà dal rapporto tra
eps ed il range di y che ho a disposizione.
Quindi potrei trovare un r^2 di solo 0.3 quando in realtà il mio
modello è perfetto. (anche se effettivamente spiegherebbe poco la
varianza dei dati, visto che sarebbe in maggior parte dovuta ad altro,
specificamente rumore)

Ma quello che vedo io e che mi manda fuori dai gangheri sono articoli
in cui magari mettono in X un parametro fisiologico, in Y un altro
parametro fisiologico poi calcolano rho e p. Trovano rho=0.4, n=50 e
p=0.004. E concludono dicendo: "è provata la presenza di una relazione
tra X e Y". A me sembra fuori da ogni accettabile logica!
Eppure in certi ambiti (medicina e biologia) è comune pubblicare paper
così.
E già non mi tornerebbe qualcosa se fosse fatto in presenza di tutte
le ipotesi che hai elencato.
Ma spesso è fatto anche quando queste sono palesemente violate (le
quasi sempre violate, spesso fortemente, epsilon white noise ed
assenza di eteroscedasticità.)

[Quesnay F.]

Il 15/12/2012 14:49, Luca85 ha scritto:

(anche se effettivamente spiegherebbe poco la
> varianza dei dati, visto che sarebbe in maggior parte dovuta ad altro,
> specificamente rumore)

Attenzione al significato di rumore, il quale può essere dovuto a errori
nella misurazione delle variabili (mi viene in mente, oltre a tutte le
scienze sociali, per esempio, i test microbiologici in ambito
farmaceutico in cui molte operazioni si fanno ancora manualmente col
calibro) e le variabili che, pur avendo influenza, non sono incluse nel
modello. Distinzione che puoi fare solo concettualmente.

>
> Ma quello che vedo io e che mi manda fuori dai gangheri sono articoli
> in cui magari mettono in X un parametro fisiologico, in Y un altro
> parametro fisiologico poi calcolano rho e p. Trovano rho=0.4, n=50 e
> p=0.004. E concludono dicendo: "è provata la presenza di una relazione
> tra X e Y". A me sembra fuori da ogni accettabile logica!
> Eppure in certi ambiti (medicina e biologia) è comune pubblicare paper
> così.
> E già non mi tornerebbe qualcosa se fosse fatto in presenza di tutte
> le ipotesi che hai elencato.
> Ma spesso è fatto anche quando queste sono palesemente violate (le
> quasi sempre violate, spesso fortemente, epsilon white noise ed
> assenza di eteroscedasticità.)
>

Bè, bisogna distinguere tra il concetto di causalità (nel senso della
statistica, a scanso di equivoci) e quello di correlazione.
Puoi avere che a causa b e c, mentre b e c sono incorrelati. se il tuo
modello ipotizza correlazione tra b e c, allora la troverai di sicuro
:-) Ma se la interpretri in senso causale, vai oltre il significato
attribuibile a quel test.
Infatti, il coefficiente di correlazione, per come è definito ovvero
sxy/sx*sy, non ti dice nulla più che due fenomeni sembrano variare
all'unisono (direttamente o inversamente).
Non mi ricordo più il convincente esempio che fece il prof. Gallo
(statistico francese in un seminario sulla causalità in econometria
circa 25 anni fa)... Pazienza :-)
Tuttavia, rispetto al semplicistico modello lineare classico si fanno
poi test di endogeneità, etc. e si usano modelli diversi quando qualche
ipotesi è violata.
Cmq anche problemi che sono banali, in realtà possono citare notevoli
difficoltà, non solo interpretative, ma anche tecniche. Questo lo conoscevi?
http://en.wikipedia.org/wiki/Behrens%E2%80%93Fisher_problem

[Quesnay F.]

Nella fretta ho scritto male. Meglio specificare meglio.
b non causa c e viceversa; a causa b e la correlazione è positiva; a
causa c e la correlazione è sempre positiva. c e b sono falsamente
correlate. Scusa, ma avevo scritto da cani...

[r61]

Luca85 ha scritto:

> Salve a tutti.
>
> Avevo fatto una domanda simile qualche mese fa su isf ma non ho
> trovato adeguate risposte.
> Ogni volta che leggo un paper scientifico in cui si dice: "scoperta

> una relazione tra questo e questo fenomeno perch� r^2=x e p<0.0001"
> balzo sulla sedia.
> Di solito � palese che le due variabili sono completamente

> indipendenti tra di loro e il ricercatore doveva provare a tutti i
> costi qualcosa, quindi ha usato questo indice.

> Anche perch� se r^2 = 0.2 ad esempio si vede che i dati son sparsi

> assolutamente a caso, anche se dato un N abbastanza grande posso
> ottenere una p piccola a piacere.
>

> Ad essere precisi (come spesso non sono....) questa p � "la
> probabilit� di aver ottenuto un r^2>= r^2_trovato partendo da dati che

> avrebbero dovuto avere r^_2=0".
>
> Detto questo...
> Se uno trova dai suoi dati che "r^2=x e p<0.0001" che conclusione

> _onesta_ pu� trarre?

Detto questo... hai gi� detto molto, tua conclusione non dovrebbe essere
troppo lontana.
Da un lato, come hai rilevato, c'� il teorema per cui il rifiuto di una
qualunque ipotesi nulla diventa una certezza per un n abbastanza grande,
teorema che mette a nudo l'inadeguatezza del paradigma statistico con
cui vengono condotti gli studi in diversi campi, con effetti devastanti;
dall'altro c'� l'arbitrariet� di scelta dell'indice da usare per
giustificare le conclusioni che si preferisce, fonte di distorsioni
altrettanto devastanti, in buona come in cattiva fede.
In ogni caso non dimentichiamo mai a) la differenza tra significativit�
statistica e rilevanza pratica, e b) l'impossibilit� di un indice di
rappresentare tutta l'informazione contenuta in un insieme di dati.

Quindi, per concludere: che valore ha l'affermazione "r^2=x e p<0.0001"?
Non hai specificato il tuo campo di studi, ma, a parte situazioni
particolari in cui esistono forti vincoli su n, la specificazione
"p<0.0001" ha uno scarsissimo valore. Dice in sostanza quanto si pu�
essere confidenti che r non sia zero (questo dualismo zero-non zero,
sinonimo di verit�-falsit�, � intrinseco nel paradigma che citavo
prima). Ha scarsissimo valore anche perch�, a differenza di quello che
mi pare credere tu, in natura la correlazione � la norma e
l'indipendenza � l'eccezione.
Limitiamoci dunque all'affermazione "r^2=x". Tale valore pu� essere il
risultato di un meccanismo di generazione dei dati che segue una
relazione lineare perfetta del tipo y=az+b ma con una dispersione
intorno ai valori predetti molto alta, o quello che segue una relazione
non lineare non lineare del tipo y=az^2+bz+c e ha una dispersione
intorno ai valori predetti nulla. Quasi tutti i libri di testo sulla
regressione per esempio riportano graficamente l'esempio di una
correlazione nulla relativa a un insieme di punti (x,y) tali per cui
y=x^2 (incorrelazione, dunque, che assolutamente non implica indipendenza).
Dunque il valore dell'informazione "r^2=x" va giudicato solo in
combinazione a qualche altro tipo di analisi, per esempio l'ispezione
grafica dei dati, che pu� essere riassunta nell'analisi dei residui.

[Luca85]

On 15 Dic, 16:07, "Quesnay F." <nonscriv...@nonvirispondo.it> wrote:

> Attenzione al significato di rumore, il quale può essere dovuto a errori
> nella misurazione delle variabili (mi viene in mente, oltre a tutte le
> scienze sociali, per esempio, i test microbiologici in ambito
> farmaceutico in cui molte operazioni si fanno ancora manualmente col
> calibro) e le variabili che, pur avendo influenza, non sono incluse nel
> modello. Distinzione che puoi fare solo concettualmente.

Certo. Ma in certi casi, soprattutto entro certi limiti, puoi farle
anche praticamente, non solo concettualmente.

> Bè, bisogna distinguere tra il concetto di causalità (nel senso della
> statistica, a scanso di equivoci) e quello di correlazione.
> Puoi avere che a causa b e c, mentre b e c sono incorrelati. se il tuo
> modello ipotizza correlazione tra b e c, allora la troverai di sicuro
> :-) Ma se la interpretri in senso causale, vai oltre il significato
> attribuibile a quel test.

Ecco! Ma qual è il significato attribuibile a quel test?
La correlazione fine a se stessa?
Uhm...

> Tuttavia, rispetto al semplicistico modello lineare classico si fanno
> poi test di endogeneità, etc. e si usano modelli diversi quando qualche
> ipotesi è violata.

Entriamo nell'analisi di un caso specifico per capirsi. Se hai
l'accesso ad una biblioteca scientifica:
Intensive Care Med. 2012 Apr;38(4):694-701. doi: 10.1007/
s00134-011-2456-1. Epub 2012 Jan 26.
Time course of metabolic activity and cellular infiltration in a
murine model of acid-induced lung injury.
Zambelli V, Di Grigoli G, Scanziani M, Valtorta S, Amigoni M, Belloli
S, Messa C, Pesenti A, Fazio F, Bellani G, Moresco RM.

Prendi le figure 4 (a e b)

(hanno causato una infiammazione nel polmone di un topo, gli hanno
fatto della diagnostica per immagini e poi hanno misurato post-mortem
la quantità di macrofagi presenti)
Quello che vorrebbero dimostrare (spiegandolo con concetti intuitivi
non formalizzati) è che il numerello visto con la diagnostica per
immagini ""relazioni"" con quanto era infiammato il polmone (quanti
macrofagi c'erano)
Mettono questi punti su di un grafico, calcolano R^2 (=0.5) e P,
vedono che p<=0.01 e concludono dicendo: "la metodica funziona perchè
è stata trovata una correlazione tra queste due grandezze, si può
""vedere"" l'infiammazione in-vivo".

Non riesco proprio a capire se sia corretto questo modo di fare.

Da una parte in un caso come questo direi: "è vero, l'uptake di fdg
varia con l'infiammazione"
Dall'altra parte ho letto innumerevoli paper di gente che faceva una
misura con lo strumento "A", la faceva poi con lo strumento "B",
trovava R^2=0.999 e concludeva: "A e B sono sistemi di misura
perfettamente compatibili tra di loro"
In realtà andando a vedere i risultati saltava fuori che B era
sistematicamente +15% rispetto ad A ed inoltre la varianza tra il
risultato A ed il B su una singola misura era del 20%.
Quindi in quel caso direi: "no, non sono compatibili per niente. Il
fatto che siano correlati non è affatto sufficiente a dire che siano
compatibili."

> Cmq anche problemi che sono banali, in realtà possono citare notevoli
> difficoltà, non solo interpretative, ma anche tecniche. Questo lo conoscevi?http://en.wikipedia.org/wiki/Behrens%E2%80%93Fisher_problem

Sai, se mi incuriosisce molto dal punto di vista matematico e teorico
in realtà all'atto pratico lo vedo come pha alcuna ricaduta pratica.
io mi calcolerei la T con la formula proposta da Behrens e Fisher
fregandomene dei problemi di questa distribuzione e se mi viene 5 o
più direi: "le due medie sono diverse" (fregandomene quanto questo "z-
score approssimato" sia diverso dalla p di una vera differenza a 5
sigma). Tanto se mi vienisse 2 non avrebbe senso stare a fare tweaking
dei conti e andare a cercare proprio la correzione che mi dà 2.1 per
dire: "son diversi" (avendo in realtà la quasi certezza di star
beccando una cantonata colossale)
Io ritengo fondamentale mettere soglie di significatività molto alte,
non solo per evitare di prendere cantonate per "puro caso", ma pure
per evitare tutte queste mini-correzioni.

[Luca85]

On 15 Dic, 17:09, r61 <r...@mailinator.com> wrote:

Concordo su tutto il resto che hai detto.... Comunque ho sempre più
l'idea che l'indice di correlazione nell'analisi di dati sperimentali
sia alla meglio una quantità fuorviante, come pensavo.
Che alla fine vada bene solo per fare le matrici di covarianza nelle
analisi degli errori o giù di lì.

> Dunque il valore dell'informazione "r^2=x" va giudicato solo in
> combinazione a qualche altro tipo di analisi, per esempio l'ispezione

> grafica dei dati, che può essere riassunta nell'analisi dei residui.

Sapresti formalizzare il concetto di "analisi grafica dei dati"?

Inoltre sarei molto interessato ad una tua opinione sulla "analisi di
un caso pratico" che ho riportato nell'ultima mia risposta a "Quesnay
F."

Grazie!

[Quesnay F.]

Il 15/12/2012 21:10, Luca85 ha scritto:
> On 15 Dic, 16:07, "Quesnay F." <nonscriv...@nonvirispondo.it> wrote:
>
>> Attenzione al significato di rumore, il quale può essere dovuto a errori
>> nella misurazione delle variabili (mi viene in mente, oltre a tutte le
>> scienze sociali, per esempio, i test microbiologici in ambito
>> farmaceutico in cui molte operazioni si fanno ancora manualmente col
>> calibro) e le variabili che, pur avendo influenza, non sono incluse nel
>> modello. Distinzione che puoi fare solo concettualmente.
>
> Certo. Ma in certi casi, soprattutto entro certi limiti, puoi farle
> anche praticamente, non solo concettualmente.
>
>
>> Bè, bisogna distinguere tra il concetto di causalità (nel senso della
>> statistica, a scanso di equivoci) e quello di correlazione.
>> Puoi avere che a causa b e c, mentre b e c sono incorrelati. se il tuo
>> modello ipotizza correlazione tra b e c, allora la troverai di sicuro
>> :-) Ma se la interpretri in senso causale, vai oltre il significato
>> attribuibile a quel test.
>
> Ecco! Ma qual è il significato attribuibile a quel test?
> La correlazione fine a se stessa?
> Uhm...

Che variano allo stesso modo. Se hai un po' di pazienza, puoi trovare
un'alta correlazione tra serie storiche che non c'entrano nulla una con
l'altra :-) A monte devi avere un modello, ovviamente, ... un
riferimento teorico.

>
>> Tuttavia, rispetto al semplicistico modello lineare classico si fanno
>> poi test di endogeneità, etc. e si usano modelli diversi quando qualche
>> ipotesi è violata.
>
> Entriamo nell'analisi di un caso specifico per capirsi. Se hai
> l'accesso ad una biblioteca scientifica:
> Intensive Care Med. 2012 Apr;38(4):694-701. doi: 10.1007/
> s00134-011-2456-1. Epub 2012 Jan 26.
> Time course of metabolic activity and cellular infiltration in a
> murine model of acid-induced lung injury.
> Zambelli V, Di Grigoli G, Scanziani M, Valtorta S, Amigoni M, Belloli
> S, Messa C, Pesenti A, Fazio F, Bellani G, Moresco RM.
>
> Prendi le figure 4 (a e b)
>
> (hanno causato una infiammazione nel polmone di un topo, gli hanno
> fatto della diagnostica per immagini e poi hanno misurato post-mortem
> la quantità di macrofagi presenti)

La mia conoscenza in questo campo è ferma all'Armitage edizione 1987 e a
un paio di lavori in cui mi coinvolse un'amica proprio in quel periodo,
quindi non credo di essere la persona più adatta a discutere questo caso.

> Quello che vorrebbero dimostrare (spiegandolo con concetti intuitivi
> non formalizzati) è che il numerello visto con la diagnostica per
> immagini ""relazioni"" con quanto era infiammato il polmone (quanti
> macrofagi c'erano)
> Mettono questi punti su di un grafico, calcolano R^2 (=0.5) e P,
> vedono che p<=0.01 e concludono dicendo: "la metodica funziona perchè
> è stata trovata una correlazione tra queste due grandezze, si può
> ""vedere"" l'infiammazione in-vivo".
>
> Non riesco proprio a capire se sia corretto questo modo di fare.

In questo caso, mi pare che l'obiettivo sia proprio quello di trovare la
correlazione tra le due grandezze, quindi non vi è alcun uso "improprio"
dello strumento statistico. Il problema è solo interpretativo. 0,5 a me
non sembra una correlazione così elevata (dipende dalla sensibilità
dello sperimentatore, ma sotto quota 0.8 direi che la correlazione è
sostanzialmente modesta).

> Da una parte in un caso come questo direi: "è vero, l'uptake di fdg
> varia con l'infiammazione"
> Dall'altra parte ho letto innumerevoli paper di gente che faceva una
> misura con lo strumento "A", la faceva poi con lo strumento "B",
> trovava R^2=0.999 e concludeva: "A e B sono sistemi di misura
> perfettamente compatibili tra di loro"
> In realtà andando a vedere i risultati saltava fuori che B era
> sistematicamente +15% rispetto ad A ed inoltre la varianza tra il
> risultato A ed il B su una singola misura era del 20%.
> Quindi in quel caso direi: "no, non sono compatibili per niente. Il
> fatto che siano correlati non è affatto sufficiente a dire che siano
> compatibili."

Bè, questo è evidente. Se prendi la serie storica x e 1.15*x e le
correli (assumiamo l'ipotesi molto teorica che vi sia solo errore
sistematico perfetto tra i due strumenti) la correlazione è 1, ma un
test di differenza tra le medie ti fa vedere subito l'errore
sistematico. Poi c'è il discorso della varianza.
Bè la mia brevissima e informale esperienza in questo campo specifico
non è stata molto positiva. Ricordo una discussione con un luminare nel
suo campo che aveva scopiazzato una metodologia inadatta a quello che
stava facendo. Io ero uno studente e peraltro non del campo medico. Mi
fece intendere che non capivo una mazza. Ne parlai con uno dei miei
professori di inferenziale (ora piuttosto affermato), il quale concluse
che quella metodologia era effettivamente inadatta al problema.

>
>
>> Cmq anche problemi che sono banali, in realtà possono citare notevoli
>> difficoltà, non solo interpretative, ma anche tecniche. Questo lo conoscevi?http://en.wikipedia.org/wiki/Behrens%E2%80%93Fisher_problem
>
> Sai, se mi incuriosisce molto dal punto di vista matematico e teorico
> in realtà all'atto pratico lo vedo come pha alcuna ricaduta pratica.
> io mi calcolerei la T con la formula proposta da Behrens e Fisher
> fregandomene dei problemi di questa distribuzione e se mi viene 5 o
> più direi: "le due medie sono diverse" (fregandomene quanto questo "z-
> score approssimato" sia diverso dalla p di una vera differenza a 5
> sigma).

Era solo un esempio, tra i tanti (dibattuto da oltre settant'anni).
Appena riesco verifico una cosetta sulla curva di potenza del test in
presenza di FB, per vedere se quanto dici può andare o no, poi ti faccio
sapere. Al momento non ricordo esattamente le implicazioni.
In generale, va rilevato come nella realtà vengono fatte un sacco di
assumptions che derivano dal modello teorico. Un altro esempio:
nell'analisi delle componenti principali, si assume che le variabili
siano distribuite normalmente (pena risultati distorti). Bè, prova a
fare una rassegna dei paper, procurati le serie storiche e sottoponile a
un test di normalità :-)

Tanto se mi vienisse 2 non avrebbe senso stare a fare tweaking
> dei conti e andare a cercare proprio la correzione che mi dà 2.1 per
> dire: "son diversi" (avendo in realtà la quasi certezza di star
> beccando una cantonata colossale)
> Io ritengo fondamentale mettere soglie di significatività molto alte,
> non solo per evitare di prendere cantonate per "puro caso", ma pure
> per evitare tutte queste mini-correzioni.

Vedi sopra...

[r61]

> Sapresti formalizzare il concetto di "analisi grafica dei dati"?

Beh, mi pare che l'analisi dei residui possa formalizzare il concetto di
ispezione grafica dei dati. Poi mi viene in mente l'analisi delle
osservazioni influenti.
Per il resto, rispondo di l�.

[r61]

> Prendi le figure 4 (a e b)
>
> (hanno causato una infiammazione nel polmone di un topo, gli hanno
> fatto della diagnostica per immagini e poi hanno misurato post-mortem

> la quantit� di macrofagi presenti)

> Quello che vorrebbero dimostrare (spiegandolo con concetti intuitivi

> non formalizzati) � che il numerello visto con la diagnostica per

> immagini ""relazioni"" con quanto era infiammato il polmone (quanti
> macrofagi c'erano)
> Mettono questi punti su di un grafico, calcolano R^2 (=0.5) e P,

> vedono che p<=0.01 e concludono dicendo: "la metodica funziona perch�
> � stata trovata una correlazione tra queste due grandezze, si pu�

> ""vedere"" l'infiammazione in-vivo".
>
> Non riesco proprio a capire se sia corretto questo modo di fare.

Premettendo che non ho accesso all'articolo e non sono un esperto della
materia, l'analisi mi sembra avere un suo senso. r2=0.5 pu� essere
considerato poco o tanto, a seconda delle specificit� della situazione
studiata. Se l'alternativa � uccidere il topo, allora il risultato mi
pare un grande successo. Se invece ci sono altre misure alternative,
allora bisognerebbe confrontarne il valore predittivo.
Mi dispiace ma non sono in grado di dire di pi�.

> Da una parte in un caso come questo direi: "� vero, l'uptake di fdg

> varia con l'infiammazione"
> Dall'altra parte ho letto innumerevoli paper di gente che faceva una
> misura con lo strumento "A", la faceva poi con lo strumento "B",
> trovava R^2=0.999 e concludeva: "A e B sono sistemi di misura
> perfettamente compatibili tra di loro"

> In realt� andando a vedere i risultati saltava fuori che B era

> sistematicamente +15% rispetto ad A ed inoltre la varianza tra il
> risultato A ed il B su una singola misura era del 20%.
> Quindi in quel caso direi: "no, non sono compatibili per niente. Il

> fatto che siano correlati non � affatto sufficiente a dire che siano
> compatibili."

Beh, forse si tratta solo di capire cosa si intende per "compatibili".
Io per esempio direi che sono praticamente equivalenti. Come pu� essere
il caso di un termometro che indica la temperatura in gradi C e di un
altro che la riporta in gradi F.
Per cui non trovo nulla di strano che tra le due serie esista una
differenza del 15%. Confesso invece di non avere capito l'affermazione
sulla varianza; cos� su due piedi, considerato che stiamo parlando di un
caso in cui r2=1 o quasi, mi lascia abbastanza perplesso.

[Quesnay F.]

Il 15/12/2012 21:10, Luca85 ha scritto:

Era come mi ricordavo:
Simply stated, the Behrens-Fisher problem arises
in testing the difference between two means with a
t test when the ratio of variances of the two
populations from which the data were sampled is
not equal to one. This condition is known as
heteroscedasticity, which is a violation of one of
the underlying assumptions of the t test. The
resulting statistic is not distributed as t, and
therefore the associated p values based on the
entries found in standard t tables are incorrect. Use
of tabulated critical values may lead to increased
false positives, which are known as Type I errors,
or a conservative test that lacks statistical power to
detect significant treatment effects.

Se la c.d.p è molto distorta, l'errore di primo tipo ha un'ampia
probabilità di manifestarsi, quindi potresti rigettare il test perché di
fatto la v.c. che costruisci non è distribuita come una t (rapporto tra
una cnormale e una chi-quadro). Alzare la soglia potrebbe non servire a
molto.
Sinceramente non mi sono mai occupato a fondo del problema. Dovrei
rileggere un po' di letteratura, ma la questione, a prima vista e dopo
aver sfogliato qualche testo, non è poi così banale come sembri a prima
vista.
Saluti.

[Quesnay F.]

Il 16/12/2012 11:08, r61 ha scritto:
>> Prendi le figure 4 (a e b)

>
>

> Per cui non trovo nulla di strano che tra le due serie esista una
> differenza del 15%. Confesso invece di non avere capito l'affermazione
> sulla varianza; cos� su due piedi, considerato che stiamo parlando di un
> caso in cui r2=1 o quasi, mi lascia abbastanza perplesso.
>

Con un errore sistematico perfetto, il rapporto tra le varianze dovrebbe
essere esattamente 1,15. Difficile dare un'interpretazione a una
diferenza del 20%. Bisogna usare altri stumenti.
Es. hai le seguenti misurazioni con a e b.
A B Err
1 1 0,00%
2 2 0,00%
3 3 0,00%
4 4 0,00%
5 5 0,00%
6 6 0,00%
7 7 0,00%
8 26 225,00%

media 4,5 6,75 1,5
std 2,449489743 8,031189202 3,278719262

oppure queste:

A B Err
1 1 0,00%
2 2 0,00%
3 3 0,00%
4 4 0,00%
5 5,4 8,00%
6 7,6 26,67%
7 8,7 24,29%
8 9,7005 21,26%

media 4,5 5,1750625 1,150013889
std 2,449489743 3,217353065 1,313478889


quale � la migliore, partendo da un indice sintetico?

n.b se avessi solo errore sistematico perfetto, m e std sarebbero per le
serie pari a 1.15 entrambe...

[Quesnay F.]

Il 16/12/2012 11:47, Quesnay F. ha scritto:

>
> quale � la migliore, partendo da un indice sintetico?
>
> n.b se avessi solo errore sistematico perfetto, m e std sarebbero per le
> serie pari a 1.15 entrambe...

Dimenticavo di aggiungere che nel primo caso il coeff. di correlazione �
significativamente pi� basso...

[Luca85]

On 16 Dic, 08:29, "Quesnay F." <nonscriv...@nonvirispondo.it> wrote:
> > Ecco! Ma qual il significato attribuibile a quel test?

> > La correlazione fine a se stessa?
> > Uhm...
>
> Che variano allo stesso modo. Se hai un po' di pazienza, puoi trovare
> un'alta correlazione tra serie storiche che non c'entrano nulla una con
> l'altra :-) A monte devi avere un modello, ovviamente, ... un
> riferimento teorico.
>

Ed è questo il punto dove mi manca l'ultimo salto concettuale.
Come posso interpretare il "mi variano allo stesso modo"?
(in effetti nel campo con cui collaboro assai spesso non c'è "un
modello a monte", si cercano euristicamente delle "relazioni".)
Io però nei casi in cui ho un modello uso dei test più specifici per
quel determinato modello.

> In questo caso, mi pare che l'obiettivo sia proprio quello di trovare la

> correlazione tra le due grandezze, quindi non vi alcun uso "improprio"
> dello strumento statistico. Il problema solo interpretativo. 0,5 a me
> non sembra una correlazione cos elevata (dipende dalla sensibilit

> dello sperimentatore, ma sotto quota 0.8 direi che la correlazione

> sostanzialmente modesta).

Ma che senso avrebbe nella pratica "aver dimostrato una correlazione
tra le due grandezze"?
Lì si vorrebbe dimostrare che la metodica di analisi proposta è
efficace a vedere la presenza di infiammazione, rispetto al valutare
l'infiammazione con un'altra tecnica.
La presenza di una correlazione mi dice questo?
Inoltre, supponendo che abbia senso avere come scopo di alcune
ricerche dimostrare correlazioni, come è possibile dire: "la
correlazione c'è"?
Tu dici: "sotto quota 0.8 è modesta". Ma ci sono delle "soglie
standard accettate", per così dire?
Perchè se no in medicina e biologia son contenti di trovare la "p"
associata minore di 0.05, a qualsiasi r. Ma, come dibattevamo, è
abbastanza insensato.

> Se prendi la serie storica x e 1.15*x e le
> correli (assumiamo l'ipotesi molto teorica che vi sia solo errore

> sistematico perfetto tra i due strumenti) la correlazione 1, ma un

> test di differenza tra le medie ti fa vedere subito l'errore

> sistematico. Poi c' il discorso della varianza.

Ti faccio un esempio più specifico di questa diversa applicazione di R
che mi lascia assai sbigottito.

Esistono delle metodiche di analisi clinica che dan dei risultati
numerici. Un gruppo propone un nuovo sistema per misurare la stessa
grandezza quantitativa.
Prendono una serie di dati, calcolano il valore numerico col sistema A
e col sistema B e tirano la correlazione.
Ottengono _sempre_ r>0.9. E la cosa non è banale perchè spesso così
vengono approvati nuovi sistemi diagnostici.

Ma è ovvio!! Se appena appena il sistema B che proponi misura un
qualcosa di legato allo stesso fenomeno del sistema A per forza
otterrai r>0.9.

Ma lo otterrai sia che B=1.2A+ eps (con A compreso in [0.8, 6] e eps
di media zero e varianza 0.3... Quindi su una singola misura posso
trovarmi addirittura con A=1 e B = 1.8! ) ma pure in casi in cui
B=sigm(A)+eps (B tende a saturare, ma comunque cresce nel range in
questione... Se il range prima della saturazione è abbastanza alto
avrò anche R>0.8... Ma mai e poi mai un ricercatore in buona fede può
dire:"A e B funzionano ugualmente").
Quindi lì cosa significa "son correlati"? come lo interpreto?

Infatti io quando ho dovuto fare un lavoro del genere non ho usato r
ma mi son limitato a calcolare quale era la variazione e la differenza
media tra le due metodiche.
Ho fatto media(B-A) e sd(B-A) ed ho concluso: "i due sistemi hanno una
differenza media di TOT (compatibile/non compatibile con l'ipotesi di
differenza nulla) ed una deviazione standard inter-sistema di X".
Evitando di dare un giudizio sull' ""agreement"" tra i due metodi.
Perchè non ritengo che sia possibile darlo! (vedevo nei grafici che
r>0.998... ma comunque la varianza era abbastanza altina e la
differenza media significativamente diversa da zero di svariate sigma!)

[Luca85]

On 16 Dic, 11:08, r61 <r...@mailinator.com> wrote:

> Se l'alternativa uccidere il topo, allora il risultato mi
> pare un grande successo. Se invece ci sono altre misure alternative,
> allora bisognerebbe confrontarne il valore predittivo.
> Mi dispiace ma non sono in grado di dire di pi .

Ma qua sta il bandolo, che forse riesco a spiegare poco.
E' sufficiente provare che esista una correlazione per poter dire: "mi
permette di fare diagnosi"?

Io, a posteriori e sapendo la biologia del fenomeno in questione e
sapendo come funziona il radioatracciante iniettato, dico: "è ovvio e
te lo potevo dire pure prima di fare l'esperimento che dove c'è
un'infiammazione questo tracciante si accumula". E questo scatter plot
mi fa vedere che effettivamente c'è una relazione. Debole perchè varia
in funzione di moltissimi altri fenomeni l'uptake assoluto".
Ma questo mi giustificare di fare un esame con quella metodica?
Non vedo in alcun modo come!
Mi parrebbe molto più robusto un risultato in cui dei tizi giudicavano
ad occhio la presenza dell'infiammazione, poi la giudicavano ex-vivo e
riportavano brutalmente la percentuale di volte in cui era stata
correttamente individuata, quelle in cui non era stata indivituata
mentre in realtà c'era e via dicendo. Il fatto che "r=0.5" invece cosa
mi dice?
A spanne dal grafico, che purtroppo non puoi vedere, direi che ci sono
vari casi in cui il valore misurato è basso e l'infiammazione è
presente e pure viceversa.

E se non sapessi a priori la ragione della relazione e vedessi giusto
che due grandezze hanno r=0.5?
Potrei dire qualcosa?

> Beh, forse si tratta solo di capire cosa si intende per "compatibili".

Già!!

> Io per esempio direi che sono praticamente equivalenti. Come pu essere
> il caso di un termometro che indica la temperatura in gradi C e di un
> altro che la riporta in gradi F.
> Per cui non trovo nulla di strano che tra le due serie esista una
> differenza del 15%. Confesso invece di non avere capito l'affermazione
> sulla varianza; cos su due piedi, considerato che stiamo parlando di un
> caso in cui r2=1 o quasi, mi lascia abbastanza perplesso.

Quello era il risultato di un esperimento che ho fatto.
Ho misurato una grandezza con uno strumento "A" su 30 campioni. Ho
misurato la stessa grandezza con lo strumento "B" sugli stessi
campioni. (la misura non influenza il campione, le misure sono
infinitamente ripetibili etc...)
La misura ha valori tra 0.5 e 5.
Se faccio sd(a_i - b_i) (deviazione standard delle differenze "a
coppie") ottengo 0.18
Se faccio la media delle differenze (a_i-b_i) (a coppie....ma essendo
la media lineare la cosa non fa differenza) ottengo 0.22. Si nota che
questa differenza è incompatibile con l'ipotesi nulla di "nessuna
differenza tra i due sistemi di misura" a oltre "6 sigma".

Quindi noto che se misuro con lo strumento A o col B ottengo risultati
numericamente assai diversi. C'è un bias non trascurabile per cui B è
in media più alto di A e la varianza sulla singola misura tra A e B è
mica così bassa.

Quindi il mio "risultato della ricerca" sarebbe stato: "occhio che se
usate A o B ottenete risultati ben diversi, sappiatevi tarare di
conseguenza".
Però disegnando le coppie a_i,b_i e calcolando l'r di correlazione
ottenevo un qualcosa di superiore a 0.98 (con una p <1e-8 o giù di
lì!!) Quindi altri ricercatori, avrebbero voluto concludere: "le
misure fatte con A o con B sono fortemente compatibili". Cosa, secondo
me, indifendibile.
Eppure che ho visto su _svariati_ paper di ""validazione"" di nuovi
strumenti diagnostici.

[Quesnay F.]

Il 17/12/2012 15:18, Luca85 ha scritto:
> On 16 Dic, 08:29, "Quesnay F." <nonscriv...@nonvirispondo.it> wrote:
>>> Ecco! Ma qual il significato attribuibile a quel test?
>>> La correlazione fine a se stessa?
>>> Uhm...
>>
>> Che variano allo stesso modo. Se hai un po' di pazienza, puoi trovare
>> un'alta correlazione tra serie storiche che non c'entrano nulla una con
>> l'altra :-) A monte devi avere un modello, ovviamente, ... un
>> riferimento teorico.
>>
>
> Ed è questo il punto dove mi manca l'ultimo salto concettuale.
> Come posso interpretare il "mi variano allo stesso modo"?
> (in effetti nel campo con cui collaboro assai spesso non c'è "un
> modello a monte", si cercano euristicamente delle "relazioni".)
> Io però nei casi in cui ho un modello uso dei test più specifici per
> quel determinato modello.

Dipende da cià ciò che stai facendo. Ammetti, ad esempio,di avere uno
strumento portatile che misura, che so, la glicemia di un paziente.
Questi si buca il "ditino", inserisce la gocciolina nello strumento
(portable) e ottiene un risultato numerico, analogo a quello che
otterrebbe se facesse un analisi di laboratorio standard. Ora... il
disegno strumentale per vedere se lo strumento è efficae impone di:
- usare k strumenti e n soggetti;
- operare, contestualmente, un'analisi standard e una con lo strumento
"portable";
- trattare i dati per verificare se esistono significative differenze
tra i risultati ottenuti con le metodologie.
Bene... in questo caso, l'analisi di correlazione che ti fornisce un
valore significativo di rho, il quali è pari a 0,99 di da l'idea che
questo strumento può essere utilizzato tranquillamente da un soggetto
per automonitorarsi la glicemia senza il rischio di finire in coma. Se
rho è pari a 0,05 *e la metodologia standard* è considerata come
"affidabile", allora lo strumento andrebbe buttato nel cesso.
Ovviamente, questa correlazione da sola non basta: va letta insieme ad
altri parametri. Per esempio, se non vi sono errori sistematici, allora
possiamo dire che non vi è sovrastima (o sottostima dei valori), pur
muovendosi, gli stessi nella stessa direzione.
Diverso è il caso in cui si usa la correlazione per verificare
causalità: a priori non puoi dire (uso un esempio non medico) se è la
quantità di moneta in circolazione a provocare inflazione (nella credit
view, si alza la capacità di spesa e, vicini al pieno impiego, si
incrementano i prezzi) o viceversa (un aumento dei prezzi necessità di
una più elevata quantità di moneta per scopi transattivi). La
correlazione ti dice se queste due grandezze co-variano, ma non se la
prima causa la seconda, o viceversa. Devi affinare l'analisi.

>
>
>> In questo caso, mi pare che l'obiettivo sia proprio quello di trovare la
>> correlazione tra le due grandezze, quindi non vi alcun uso "improprio"
>> dello strumento statistico. Il problema solo interpretativo. 0,5 a me
>> non sembra una correlazione cos elevata (dipende dalla sensibilit
>> dello sperimentatore, ma sotto quota 0.8 direi che la correlazione
>> sostanzialmente modesta).
>
> Ma che senso avrebbe nella pratica "aver dimostrato una correlazione
> tra le due grandezze"?

Mah... vedi sopra. Dipende dall'uso che ne fai. Di certo, da sola, la
correlazione non dice nulla: tutto dipendende dalle ipotesi che vuoi
testare.

> Lì si vorrebbe dimostrare che la metodica di analisi proposta è
> efficace a vedere la presenza di infiammazione, rispetto al valutare
> l'infiammazione con un'altra tecnica.
> La presenza di una correlazione mi dice questo?

Sì, ti da un indice, normalizzato a |1| di come co-variano due serie
storiche che operano, nel caso specifico, una misura sulla stessa unità
statistica.

> Inoltre, supponendo che abbia senso avere come scopo di alcune
> ricerche dimostrare correlazioni, come è possibile dire: "la
> correlazione c'è"?
> Tu dici: "sotto quota 0.8 è modesta". Ma ci sono delle "soglie
> standard accettate", per così dire?
> Perchè se no in medicina e biologia son contenti di trovare la "p"
> associata minore di 0.05, a qualsiasi r. Ma, come dibattevamo, è
> abbastanza insensato.

Bè, sono due misure diverse. La p ti dice: ci sono alfa probabilità che
la correlazione trovata sia diversa da zero. La seconda ti dice come
co-variano due grandezze; è un indice normalizzato a 1.
Vorrei farti presente che alla facoltà di statistica il primo esame che
si fa è quello di statistica descrittiva: qui si fa l'ipotesi di
lavorare sulla popolazione/i senza commettere errori. La p è, per
definizione, uguale a 1. Quindi... l'unica cosa da fare è valutare
l'indice di correlazione.
In ogni caso, ti faccio un esempio antropometrico...
Assumi una serie di misure. Es. Altezza e misura del pene. Se l'indice
di correlazione fosse 0,99 cosa ti aspetti di vedere se un gigante di
due metri e venti si cala le mutande? e cosa se le cala Brunetta? :-)
:-) E se avessi rho=0,05? Direi che in questo caso puoi aspettarti di
tutto...
V

Bè, mi pare che hai usato un criterio molto serio. La correlazione non
ti mostra l'esistenza di errori sistematici. E' ovvio che se invento uno
strumento che misura una certa grandezza (che so, la pressione) e ho una
correlazione di 0,99 e un errore sistematico positivo e significativo,
rischio di dare un farmaco ipertensivo a uno che ha una pressione
normale :-)
Tanti anni fa (da studente) feci un periodo in un istituto di medicina
a collaborare per la parte statistica (da volontario). Trassi la
conclusione - e l'ebbero anche i miei docenti di statistica matematica e
statistica inferenziale con cui discussi di alcune perplessità che avevo
avuto - che questi signori, molto bravi nei loro campi, di statistica
non capissero molto. Uno di loro, quello di inferenziale, aggiunse che,
mediamente, all'estero medici e biologi ci capivano molto di più, mentre
in Italia (almeno allora) era molto più difficile trovare un ricercatore
dotato di un minimo di rigore.
Non racconto cosa faceva il luminare con cui ho avuto a che fare. Di
certo posso affermare che se fosse stato disinvolto allo stesso modo
come medico, avrebbe decimato la popolazione (conclusione non solo mia,
ma anche, come dicevo, di un paio di espertoni) :-)
Non conosco bene il campo, ma mi pare che ora i tempi siano notevolmente
cambiati rispetto a venticinque anni fa, quindi la situazione dovrebbe
essere notevolmente migliorata.

[r61]

> E' sufficiente provare che esista una correlazione per poter dire: "mi
> permette di fare diagnosi"?

No.
Se ti interessa la diagnosi, allora è opportuno calcolare la curva ROC,
che ti da sensibilità e specificità per ogni "taglio" che separa i casi
"malati" da quelli "sani", ovvero la percentuale di falsi positivi e
falsi negativi.

> Mi parrebbe molto più robusto un risultato in cui dei tizi giudicavano
> ad occhio la presenza dell'infiammazione, poi la giudicavano ex-vivo e
> riportavano brutalmente la percentuale di volte in cui era stata
> correttamente individuata, quelle in cui non era stata indivituata
> mentre in realtà c'era e via dicendo.

Un esame strumentale è smpre da preferire a uno soggettivo. La mancanza
di uniformità nelle valutazioni dei medici è un problema molto serio, ed
è per questo che in quel campo assume importanza l'analisi della
concordanza.

> A spanne dal grafico, che purtroppo non puoi vedere, direi che ci sono
> vari casi in cui il valore misurato è basso e l'infiammazione è
> presente e pure viceversa.

E' normale. La diagnosi perfetta non esiste. Vedi sopra: ROC.

> Quello era il risultato di un esperimento che ho fatto.
> Ho misurato una grandezza con uno strumento "A" su 30 campioni. Ho
> misurato la stessa grandezza con lo strumento "B" sugli stessi
> campioni. (la misura non influenza il campione, le misure sono
> infinitamente ripetibili etc...)
> La misura ha valori tra 0.5 e 5.
> Se faccio sd(a_i - b_i) (deviazione standard delle differenze "a
> coppie") ottengo 0.18
> Se faccio la media delle differenze (a_i-b_i) (a coppie....ma essendo
> la media lineare la cosa non fa differenza) ottengo 0.22. Si nota che
> questa differenza è incompatibile con l'ipotesi nulla di "nessuna
> differenza tra i due sistemi di misura" a oltre "6 sigma".

Non ho capito cosa significa: Si nota che questa differenza è

incompatibile con l'ipotesi nulla di "nessuna differenza tra i due
sistemi di misura" a oltre "6 sigma".

Perché incompatibile? quale è il valore della statistica test? E da dove
salta fuori "6 sigma"?
E comunque, come ho già avuto modo di dire, non vanno confuse
significatività statistica e rilevanza clinica. 0.22 è una differenza
giudicata *clinicamente* rilevante o no? Il suo intervallo di confidenza
quale è?

> Quindi noto che se misuro con lo strumento A o col B ottengo risultati
> numericamente assai diversi. C'è un bias non trascurabile per cui B è
> in media più alto di A e la varianza sulla singola misura tra A e B è
> mica così bassa.
>
> Quindi il mio "risultato della ricerca" sarebbe stato: "occhio che se
> usate A o B ottenete risultati ben diversi, sappiatevi tarare di
> conseguenza".
> Però disegnando le coppie a_i,b_i e calcolando l'r di correlazione
> ottenevo un qualcosa di superiore a 0.98 (con una p <1e-8 o giù di
> lì!!) Quindi altri ricercatori, avrebbero voluto concludere: "le
> misure fatte con A o con B sono fortemente compatibili". Cosa, secondo
> me, indifendibile.

Mi dispiace ma io non sono in grado di seguire questo ragionamento.
Se io peso 80 chili ma a casa ho una bilancia che mi dice che peso 180
chili, e analogamente aggiunge un quintale al peso di tutti quelli che
la usano, che mi importa della distorsione? Se viene mia zia a casa mia
e va a pesarsi e la bilancia dichiara 200 chili, so che mia zia pesa in
effetti 100 chili.
Questo per il peso, che è un parametro fisico. Nel tuo caso, se si
tratta di fare una diagnosi, che importanza ha tracciare una linea a 2
piuttosto che a 10 o a 55? Se il coefficiente di regressione è prossimo
a uno, le due misure sono equivalenti. Non vedo quale dubbio possa
sussistere in proposito.
Non ho capito se tu stai negando l'equivalenza tra il peso in chili e
quello in libbre perché il valore del peso in libbre è sistematicamente
più alto del valore del peso in chili... ma la relazione d'ordine viene
comunque mantenuta. Se A pesa più di B, lo sarà sia che il peso è
espresso in chili, piuttosto che in libbre.

[Luca85]

On 17 Dic, 21:43, r61 <r...@mailinator.com> wrote:

> No.
> Se ti interessa la diagnosi, allora è opportuno calcolare la curva ROC,
> che ti da sensibilità e specificità per ogni "taglio" che separa i casi
> "malati" da quelli "sani", ovvero la percentuale di falsi positivi e
> falsi negativi.

Ok. Quindi in realtà mi ha dato informazioni quasi nulle aver trovato
quella correlazione. O sbaglio?

> Un esame strumentale è smpre da preferire a uno soggettivo. La mancanza
> di uniformità nelle valutazioni dei medici è un problema molto serio, ed
> è per questo che in quel campo assume importanza l'analisi della
> concordanza.

Guarda... Io lavoro sulla diagnostica per immagini, come ricercatore
(sono un fisico).
Mi piacerebbe poter concordare con te ma -purtroppo- l'occhio umano è
di gran lunga il sistema migliore.
Questo nella medicina nucleare dove devi vedere se "l'uptake del
tracciante è più o meno del normale". L'uptake, come dice la parola
stessa, è una grandezza puramente quantitativa! Eppure anche se nel
90% dei casi è evidente anche a chi non ha mai messo piede in un
reparto cosa è "normale" o cosa "no" definirlo in maniera
"standardizzata" e mettibile in formula è ai limiti dell'impossibile.
(con grande rammarico della comunità scientifica che vorrebbe diagnosi
meno "operatore dipendenti" e pure mio che quando invento qualcosa di
nuovo per migliorare le immagini non ho una metrica numerica che mi
faccia dire: "questa immagine è migliore")

Quando invece passi ai campi degli studi anatomici (tac, risonanze
etc....) invece lì proprio è senza speranza. Lì all'occhio appaiono
oltremodo evidenti le malformazioni, la presenza di corpi estranei
etc...... Ma non esiste modo neanche di iniziare a pensare un modo per
far dare un risultato "numerico" a questi esami.
Dura la vita a lavorare in questi campi!

Anzi... Spesso nel mio campo (medicina nucleare) visto che l'uptake è
un "numero" arrivano orde di persone che propongono di fare qualche
conto su questo numero proponendo innumerevoli misure "quantitative"
della "gravità" di una malattia.
Peccato che queste abbiano tutte performance diagnostiche (in termini
di ROC) estremamente inferiori al giudizio ad occhio del medico
(questo perchè l'uptake assoluto è influenzato da mille-mila parametri
per cui l'occhio corregge all'istante, il "numero" no... e quelli che
provano a tenerne conto di questi mille fenomeni finiscono con
amplificare gli errori ad un livello supermostruoso). Quindi mi tocca
sempre andare a spiegare in giro di non usare quei numeri lì che
confondono e basta.

> > A spanne dal grafico, che purtroppo non puoi vedere, direi che ci sono
> > vari casi in cui il valore misurato è basso e l'infiammazione è
> > presente e pure viceversa.
>
> E' normale. La diagnosi perfetta non esiste. Vedi sopra: ROC.

La conosco bene la ROC. Ma quindi... aver trovato la correlazione non
mi serve a nulla. O no?

> Non ho capito cosa significa: Si nota che questa differenza è
> incompatibile con l'ipotesi nulla di "nessuna differenza tra i due
> sistemi di misura" a oltre "6 sigma".
> Perché incompatibile? quale è il valore della statistica test? E da dove
> salta fuori "6 sigma"?

Parlare di "6 sigma" è un linguaggio improprio in effetti, anche se è
comunemente utilizzato in fisica. Sarebbe il livello di quanti errori
standard sono distanti le due misure.
Comunque qua avevo 30 misure, che sono già abbastanza per cui la p di
un t-test o di uno z-score sono all'atto pratico uguali.
Se fai s=0.18/sqrt(29) e t= 0.22/s ti viene t= 6.6
Con N=30 la p che A e B abbiano in media lo stesso risultato è ~10^-7


Se la differenza media tra la misura A e la misura B è 0.2 e la
deviazione standard delle differenze è 0.18 e le misure effettuate
sono 30 ho una t di student

O ho sbagliato qualcosa?
Mi pare che sia un "t-test accoppiato" ultrastandard, che ti permette
di vedere se due set di valori A e B hanno in media lo stesso valore
per ogni elemento preso in ordine.

> E comunque, come ho già avuto modo di dire, non vanno confuse
> significatività statistica e rilevanza clinica. 0.22 è una differenza
> giudicata *clinicamente* rilevante o no?

Io non lo so! Devi chiederlo a un medico (in realtà non è facile
stabilirlo....)
comunque la dottoressa con cui lavoro ha seri problemi ad accettare
che fatta la misura una volta venga 1 e la volta dopo 1.1... figurati
1.2!!!

>Il suo intervallo di confidenza
> quale è?

0.22+/-0.03. (Ho calcolato l'errore sulla media come 0.18/sqrt(N-1))

> Mi dispiace ma io non sono in grado di seguire questo ragionamento.
> Se io peso 80 chili ma a casa ho una bilancia che mi dice che peso 180
> chili, e analogamente aggiunge un quintale al peso di tutti quelli che
> la usano, che mi importa della distorsione? Se viene mia zia a casa mia
> e va a pesarsi e la bilancia dichiara 200 chili, so che mia zia pesa in
> effetti 100 chili.
> Questo per il peso, che è un parametro fisico. Nel tuo caso, se si
> tratta di fare una diagnosi, che importanza ha tracciare una linea a 2
> piuttosto che a 10 o a 55? Se il coefficiente di regressione è prossimo
> a uno, le due misure sono equivalenti. Non vedo quale dubbio possa
> sussistere in proposito.

Che la cosa non è informativa, a meno che mi sfugga qualcosa (che è il
motivo per cui ho aperto il topic)
Se mi viene r=0.9999 so che posso trovare una relazione matematica
lineare piuttosto precisa che mi fa avere numeri uguali sia che io
analizzi con A che con B. Ma non ho ricavato alcuna altra
informazione. (e se sto usando due sistemi di misura che dovrebbero
darmi un risultato nella stessa unità di misura differenze di pendenza
o di intercetta sono comunque interessanti)
A fare un t-test accoppiato so anche quantificare qual è la differenza
media tra i due sistemi di misura e qual è la deviazione standard. Ho
due informazioni in più che direi utili e nessuna informazione in
meno.

Se mi viene r=0.7? Cosa posso dire? Che i due strumenti non funzionano
troppo bene? Forse funzionano bene ma li ho testati su un range di
valori troppo piccolo rispetto al rumore delle metodiche.
Quindi non posso concludere assolutamente niente usando solo r. (o
sì?)

Se mi viene r=0?? Cosa posso dire? I sistemi non funzionano? Non è
detto, magari è solo un problema dei dati su cui l'ho applicato. (in
effetti mi garantirebbe che non è utile su quel range di dati...ma
tutto lì!)

[Luca85]

On 16 Dic, 11:12, "Quesnay F." <nonscriv...@nonvirispondo.it> wrote:

> Se la c.d.p è molto distorta, l'errore di primo tipo ha un'ampia
> probabilità di manifestarsi, quindi potresti rigettare il test perché di
> fatto la v.c. che costruisci non è distribuita come una t (rapporto tra
> una cnormale e una chi-quadro). Alzare la soglia potrebbe non servire a
> molto.
> Sinceramente non mi sono mai occupato a fondo del problema. Dovrei
> rileggere un po' di letteratura, ma la questione, a prima vista e dopo
> aver sfogliato qualche testo, non è poi così banale come sembri a prima
> vista.
> Saluti.

Interessante, non ho mai investigato il problema.
Ma dici che all'atto pratico se io ho la distribuzione normale A con
media osservata media(A)=10 e sd(A)=5 ed N=10, più la distribuzione
normale B con media osservata media(B)=20, sd(b)=5 ed N=30 non posso
escludere con un ragionevole grado di certezza che le due
distribuzioni abbiano medie diverse?

Dovrei studiare a fondo il problema ma "così ad occhio" non penso
proprio che se t=5, ed i due N sono abbastanza grandi (ma manco
tanto... N>10 mettiamo) io faccia una frazione significativa di errori
di tipo 1, anche con N estremamente diversi.
Alla fine i t-test convergono ad uno z-score quando N è abbastanza
grande.

(poi in effetti l'N giusto per definire quando "N è abbastanza grande"
dipenderà anche dal rapporto tra la distanza delle medie rispetto alle
varianze, visto quanto è grande l'errore sulla varianza... Quindi
facilmente se N sono piccoli e le due distribuzioni si sovrappongono
molto lì si distorcerà molto la distribuzione di probabilità)

[Quesnay F.]

L'inferenza si fonda su varianza conosciuta\sconosciuta della
popolazione. Dipende da quanto possa ragionevolmente ipotizzare il
ricercatore sul fatto che campioni diversi provengano o no da
popolazioni diverse.

[r61]

>> Se ti interessa la diagnosi, allora � opportuno calcolare la curva ROC,
>> che ti da sensibilit� e specificit� per ogni "taglio" che separa i casi

>> "malati" da quelli "sani", ovvero la percentuale di falsi positivi e
>> falsi negativi.
>

> Ok. Quindi in realt� mi ha dato informazioni quasi nulle aver trovato
> quella correlazione. O sbaglio?

Ho premesso dicendo: se ti interessa la diagnosi. Non conosco
l'argomento sufficientemente bene per esprimere un giudizio definitivo.

>> Un esame strumentale � smpre da preferire a uno soggettivo. La mancanza
>> di uniformit� nelle valutazioni dei medici � un problema molto serio, ed
>> � per questo che in quel campo assume importanza l'analisi della

>> concordanza.
>
> Guarda... Io lavoro sulla diagnostica per immagini, come ricercatore
> (sono un fisico).

Anche io lavoro nel campo della diagnostica per immagini, e la mia
esperienza � contraria alla tua. Ma dichiaro senza problemi che di
uptake non so nulla.

>>> A spanne dal grafico, che purtroppo non puoi vedere, direi che ci sono

>>> vari casi in cui il valore misurato � basso e l'infiammazione �

>>> presente e pure viceversa.
>>
>> E' normale. La diagnosi perfetta non esiste. Vedi sopra: ROC.
>
> La conosco bene la ROC. Ma quindi... aver trovato la correlazione non
> mi serve a nulla. O no?

Mi vien da dire: forse serve, ma non basta.

> Parlare di "6 sigma" � un linguaggio improprio in effetti, anche se �

> comunemente utilizzato in fisica. Sarebbe il livello di quanti errori
> standard sono distanti le due misure.

> Comunque qua avevo 30 misure, che sono gi� abbastanza per cui la p di

> un t-test o di uno z-score sono all'atto pratico uguali.
> Se fai s=0.18/sqrt(29) e t= 0.22/s ti viene t= 6.6

> Con N=30 la p che A e B abbiano in media lo stesso risultato � ~10^-7

Ok, chiaro ora. A me per� non interessa tanto il p-value. Cio� mi
interessa la deviazione standard, non la deviazione standard della
media. Se arrotondo 0.18 a 0.2 e 0.22 a 0.2, allora la differenza tra le
medie e lo scarto quadratico medio sono uguali. Praticamente � come
confrontare due normali N(0,1) e N(1,1). Mi serve per valutare il grado
di sovrapposizione delle distribuzioni, cosa che puoi fare anche tu. Il
95% delle osservazioni della prima sta tra -2 e 2, il 95% delle
osservazioni della seconda sta tra -1 e 3.

> Se mi viene r=0.9999 so che posso trovare una relazione matematica
> lineare piuttosto precisa che mi fa avere numeri uguali sia che io
> analizzi con A che con B. Ma non ho ricavato alcuna altra
> informazione. (e se sto usando due sistemi di misura che dovrebbero

> darmi un risultato nella stessa unit� di misura differenze di pendenza

> o di intercetta sono comunque interessanti)

Se stai usando la stessa unit� di misura, s�. Come dici anche tu, per
avere il risultato ottimo non � sufficiente r2=1; deve anche essere a=0,
b=1 (y=a+bx).

> A fare un t-test accoppiato so anche quantificare qual � la differenza
> media tra i due sistemi di misura e qual � la deviazione standard. Ho
> due informazioni in pi� che direi utili e nessuna informazione in
> meno.

Boh. A me pare banalmente un test su a (perch� in ci� si traduce la
differenza tra le medie).

> Se mi viene r=0.7? Cosa posso dire? Che i due strumenti non funzionano
> troppo bene? Forse funzionano bene ma li ho testati su un range di
> valori troppo piccolo rispetto al rumore delle metodiche.
> Quindi non posso concludere assolutamente niente usando solo r. (o

> s�?)

Che � meglio che avere r=0.5. Di sicuro � utile per confrontare due
situazioni diverse, sottostanti alle medesime assunzioni.

[Luca85]

On 18 Dic, 22:21, r61 <r...@mailinator.com> wrote:

> Ho premesso dicendo: se ti interessa la diagnosi. Non conosco
> l'argomento sufficientemente bene per esprimere un giudizio definitivo.

Ma il mio dubbio fondamentale che sta rimanendo è "se non mi
interessase la diagnosi?" Cosa potrei farmene di quel risultato, in
termini assoluti?

> > Guarda... Io lavoro sulla diagnostica per immagini, come ricercatore
> > (sono un fisico).
>
> Anche io lavoro nel campo della diagnostica per immagini, e la mia
> esperienza contraria alla tua. Ma dichiaro senza problemi che di
> uptake non so nulla.

Sarei molto interessato ad avere informazioni su di questo. Se mi puoi
fare esempi di applicazioni di valutazioni quantitative alla
diagnostica per immagini, tanto per farmi un'idea di cosa si fa in
altri campi.
Perchè io di applicazioni che abbiano avuto successo ne conosco
estremamente poche. (tralaltro metà del mio lavoro è focalizzata su
una di queste).
Ma siccome quasi tutto quel che si fa in diagnostica per immagini è,
alla fin fine, "pattern recognition" lì l'occhio umano è ancora
estremamente superiore!

> Ok, chiaro ora. A me per non interessa tanto il p-value. Cio mi
> interessa la deviazione standard, non la deviazione standard della
> media. Se arrotondo 0.18 a 0.2 e 0.22 a 0.2, allora la differenza tra le
> medie e lo scarto quadratico medio sono uguali. Praticamente come
> confrontare due normali N(0,1) e N(1,1). Mi serve per valutare il grado
> di sovrapposizione delle distribuzioni, cosa che puoi fare anche tu. Il
> 95% delle osservazioni della prima sta tra -2 e 2, il 95% delle
> osservazioni della seconda sta tra -1 e 3.

Stiamo parlando di due fenomeni diversi.
Tu vuoi assegnare un evento ad una classe "A" piuttosto che "B"
sfruttrando una proprietà che nel caso "A" è distribuita come N(0,1) e
nel caso B come N(1,1). Cosa che quindi potrò fare con successo
"medio". (se ottengo 2 assegno l'evento a B con gran successo, se
ottengo 0 assegno l'evento ad A con gran confidenza, se ottengo 1.5
non so che fare).
Ma qua io volevo fare il contrario. Volevo vedere se due tipi di
eventi marcati a priori come "A" o "B" hanno la stessa distribuzione.
E ho potuto dimostrare che hanno distribuzioni diverse con un livello
di confidenza assai elevato.
Quindi qua il p mi interessava eccome.

> Se stai usando la stessa unit di misura, s . Come dici anche tu, per
> avere il risultato ottimo non sufficiente r2=1; deve anche essere a=0,
> b=1 (y=a+bx).

Sì e no. Fare un fit che ti restituisce a e b è un sistema un po'
debole per verificare questa ipotesi per via della "correlazione" tra
a e b.(eccola che ritorna!!). Nel caso è meglio valutare la p
associata al chi^2 che avrebbe la retta y=x ha.
Inoltre perchè questo risultato sia affidabile nel caso di fit lineare
è necessario verificare delle ipotesi piuttosto forti (=quasi sempre
false nei casi sperimentali) sul tipo di errori che affligono x e y
oppure trovare a e b minimizzando il chi^2 dopo aver fatto una
corretta stima degli errori su ogni punto.

> > A fare un t-test accoppiato so anche quantificare qual la differenza
> > media tra i due sistemi di misura e qual la deviazione standard. Ho
> > due informazioni in pi che direi utili e nessuna informazione in
> > meno.
>
> Boh. A me pare banalmente un test su a (perch in ci si traduce la
> differenza tra le medie).

Dovresti aggiungere a questo test un test sulla distribuzione dei
residui, per verificare che questi siano distribuiti casualmente e non
con un trend lineare.
Comunque volendo vedere anche nel caso del tirare la retta dovresti a
posteriori fare un test per escludere la presenza di un trend
quadratico, di uno cubico e di uno periodico (tanto per citare i più
comuni trend di tipo "generale" che potrebbero essere presenti)
Però ad aggiungere test perdi (molto) di potenza statistica.

[r61]

> Ma il mio dubbio fondamentale che sta rimanendo è "se non mi
> interessase la diagnosi?" Cosa potrei farmene di quel risultato, in
> termini assoluti?

In termini assoluti nulla. In termini relativi puoi dire rispetto a
un'altra nuvola di punti e annesso r2 se descrive una situazione
peggiore o migliore.

> Sarei molto interessato ad avere informazioni su di questo. Se mi puoi
> fare esempi di applicazioni di valutazioni quantitative alla
> diagnostica per immagini, tanto per farmi un'idea di cosa si fa in
> altri campi.

Non ho esempi da portare. So solo che le valutazioni dei medici sono
piuttosto disomogenee. Tanto è vero che la teoria dell "agreement
assessment" si è sviluppata anche per questo. Un articolo che mi è
capitato di dover studiare:
http://www.john-uebersax.com/stat/Uebersax_Invest_Radiol_1992.pdf

>> Ok, chiaro ora. A me per non interessa tanto il p-value. Cio mi
>> interessa la deviazione standard, non la deviazione standard della
>> media. Se arrotondo 0.18 a 0.2 e 0.22 a 0.2, allora la differenza tra le
>> medie e lo scarto quadratico medio sono uguali. Praticamente come
>> confrontare due normali N(0,1) e N(1,1). Mi serve per valutare il grado
>> di sovrapposizione delle distribuzioni, cosa che puoi fare anche tu. Il
>> 95% delle osservazioni della prima sta tra -2 e 2, il 95% delle
>> osservazioni della seconda sta tra -1 e 3.
>
> Stiamo parlando di due fenomeni diversi.
> Tu vuoi assegnare un evento ad una classe "A" piuttosto che "B"

Non mi pare.

> sfruttrando una proprietà che nel caso "A" è distribuita come N(0,1) e
> nel caso B come N(1,1). Cosa che quindi potrò fare con successo
> "medio". (se ottengo 2 assegno l'evento a B con gran successo, se
> ottengo 0 assegno l'evento ad A con gran confidenza, se ottengo 1.5
> non so che fare).
> Ma qua io volevo fare il contrario. Volevo vedere se due tipi di
> eventi marcati a priori come "A" o "B" hanno la stessa distribuzione.
> E ho potuto dimostrare che hanno distribuzioni diverse con un livello
> di confidenza assai elevato.
> Quindi qua il p mi interessava eccome.

Non eravamo partiti dalle constatazioni che potendo agire a piacere su n
per qualunque coppia di distribuzioni si conclude che le due componenti
sono diverse? e che la rilevanza pratica è cosa differente dalla
significatività statistica?
Per te N(0,1) e N(e,1) sono diverse anche quando e=10^-10?
Col mio esempio invece volevo proprio costruirmi una immagine mentale
semplificata della situazione, per misurare il grado di sovrapposizione
delle due distribuzioni. N(0,1) e N(e,1) per e=1 possono risultare
(significativamente) non differenti o differenti a seconda della
numerosità campionaria, ma il loro grado di sovrapposizione rimane lo
stesso.

>> Se stai usando la stessa unit di misura, s . Come dici anche tu, per
>> avere il risultato ottimo non sufficiente r2=1; deve anche essere a=0,
>> b=1 (y=a+bx).

>>> A fare un t-test accoppiato so anche quantificare qual la differenza
>>> media tra i due sistemi di misura e qual la deviazione standard. Ho
>>> due informazioni in pi che direi utili e nessuna informazione in
>>> meno.
>>
>> Boh. A me pare banalmente un test su a (perch in ci si traduce la
>> differenza tra le medie).

Non so se te ne accorgi ma tu usi implicitamente il modello di
regressione y_i=a+bx_i+e_i e testi l'ipotesi composta a=0 e b=1, che
così si riduce a y_i=x_i+e_i . L'unica differenza è che nel modello di
regressione le x sono "fissate", mentre nel test dei confronti appaiati
sono "aleatorie". Non ce la faccio a rivedere la teoria dei test sulle
ipotesi composte nel modello di regressione ma non mi stupirei se la
statistica test per l'ipotesi a=0 e b=1 sia equivalente a quella del
test t nel caso dei dati appaiati.

> Dovresti aggiungere a questo test un test sulla distribuzione dei
> residui, per verificare che questi siano distribuiti casualmente e non
> con un trend lineare.

Allora anche nel tuo test t per dati appaiati dovresti verificare
l'ipotesi i omoschedasticità. Siamo sempre lì...

[Luca85]

On 19 Dic, 21:30, r61 <r...@mailinator.com> wrote:

> In termini assoluti nulla. In termini relativi puoi dire rispetto a
> un'altra nuvola di punti e annesso r2 se descrive una situazione
> peggiore o migliore.

Mah... Arrivo alla conclusione del topic con più confusione rispetto
all'inizio....

> Non ho esempi da portare. So solo che le valutazioni dei medici sono
> piuttosto disomogenee. Tanto è vero che la teoria dell "agreement
> assessment" si è sviluppata anche per questo. Un articolo che mi è
> capitato di dover studiare:http://www.john-uebersax.com/stat/Uebersax_Invest_Radiol_1992.pdf

Beh, la teoria degli agreement è assai interessante. Comunque mi sa
che non ci scostiamo dal mio punto. Purtroppo l'occhio umano è ancora
il sistema migliore. Se io prendo un passante a caso sulla strada e
gli chiedo di individuarmi (o escludermi la presenza) in una TAC di
un nodulo polmonare o di una cisti epatica ce la fa benissimo senza
neanche sapere cosa sono gli oggetti che gli sto chiedendo di
descrivere!! E senza avere idea di come sia l'immagine "normale"!!!
Ancora più sorprendentemente riuscirà addirittura ad individuare le
stenosi nelle coronarie (fino ad una certa dimensione, sotto di quella
ci vuole un po' di pratica) o nelle carotidi.
Figurati uno che invece ha pratica su "com'è l'immagine normale". (poi
vabbè...da lì a fare un referto o da lì a conoscere la metodologia,
sapere come eseguire le tac, conoscere gli artefatti, interpretare i
risultati ne passa molto!)
Alle conferenze di imaging a cui ho partecipato ogni tanto qualcuno
presenta degli algoritmi ultracomplicati per fare l'individazione
automatica di queste strutture e salta fuori che "ce la fanno
abbastanza" ma sotto tutta una serie di ipotesi infinite, che
tipicamente sono quelle dove l'individuazione la sa fare anche un
miope forte senza occhiali.

Per quello sono estremamente interessato a metodi quantitativi di
interpretazione delle immagini mediche (che prima dicevi di conoscere
e ora no). Perchè è un po' come il sacro graal. Sarebbe ovviamente
ultra-utile.... ma non c'è idea di come fare!

(anzi... c'è una letteratura assai divertente che parte dalle analisi
che fanno i neuroscienziati tramite fMRI, VBM, SPM o robe del
genere..... per ottenere risultati ""quantitativi"" che poi vengono
spessissimo sconfessati perchè notoriamente inficiati da svariati
errori. Vedi l'ignobel di questo anno in neuroscienze!)

> > Stiamo parlando di due fenomeni diversi.
> > Tu vuoi assegnare un evento ad una classe "A" piuttosto che "B"
>
> Non mi pare.

Uhm... allora non ti seguo.

> Non eravamo partiti dalle constatazioni che potendo agire a piacere su n
> per qualunque coppia di distribuzioni si conclude che le due componenti
> sono diverse?

Sì, e mi pare che sia vero. O no?
(con opportuni caveat ovviamente quando le distribuzioni si avvicinano
perchè diventa sempre più difficile escludere errori sistematici,
micro-correzioni da tenere in conto nella stima della p
etc...etc...etc....)

>e che la rilevanza pratica è cosa differente dalla
> significatività statistica?
> Per te N(0,1) e N(e,1) sono diverse anche quando e=10^-10?

Ma questo è un problema totalmente separato dalla statistica!!
Una comune applicazione della fisica nucleare è misurare la
concentrazione di un qualche elemento extra-raro in un campione.
Questa si manifesta tipicamente con un incremento di una qualche
grandezza di un infinitesimo rispetto al fondo. Han rilevanza pratica
incrementi dello 0.1 per mille? Che ne so...e soprattutto....me ne
importa? Se parlo di statistica il mio unico problema è essere sicuro
che si possa escludere che quell'incremento di un niente sia dovuto al
fondo.

Quindi posso dire che sono diverse eccome N(0,1) e N(e,1) per ogni e,
se è il caso.

> Col mio esempio invece volevo proprio costruirmi una immagine mentale
> semplificata della situazione, per misurare il grado di sovrapposizione
> delle due distribuzioni. N(0,1) e N(e,1) per e=1 possono risultare
> (significativamente) non differenti o differenti a seconda della
> numerosità campionaria, ma il loro grado di sovrapposizione rimane lo
> stesso.

Certo. Ma il grado di sovrapposizione mi interesserà (tipicamente) se
devo usare un test su quella grandezza per selezionare due eventi.
Altrimenti l'unico problema pratico della sovrapposizione è che
maggiore è più risulta difficile garantire che effettivamente siano
distinte. Infatti se mi interessa solo sapere se A e B sono "diverse"
allora possono anche essere assai sovrapposte, che l'unico mio
problema sarà raccogliere abbastanza N ed escludere sistematici.
Ed una differenza di una deviazione standard tra le due medie è
abbastanza facile da individuare.

> Non so se te ne accorgi ma tu usi implicitamente il modello di
> regressione y_i=a+bx_i+e_i e testi l'ipotesi composta a=0 e b=1, che
> così si riduce a y_i=x_i+e_i .

Mah... Dipende da come imposti il problema. Io lo vedo come avere due
metri diversi. Cosa mi posso chiedere? Se danno lo stesso risultato. E
questo lo metto in formula testando "i dati son compatibili con
l'ipotesi y_i=x_i+e_i?"
Non ho ragioni specifiche a priori per chiedermi "i miei dati sono
compatibili con l'ipotesi y_i=a+bx_i" piuttosto che con un'altra
formula.
(Ci son varie formule che avrebbero qualche giustificazione nel venir
testate. se il metro B "satura" allora potrebbero essere compatibili
con un modello y_i=x_i-cx_i^2... Se il metro B ha un bias fisso saran
compatibili con y_i=x_i+a. Se hanno una sovrastima percentuale saran
compatibili con y_i=bx_i... ma potrei pure avere un bias periodico di
tipo y_i=x_i+d*sin(x_i/e)... Insomma...a priori non ho ragione per
testare proprio l'ipotesi y_i=a+bx_i piuttosto che un'altra. E, stante
il problema delle "multiple comparison", è meglio testare meno
ipotesi possibili).

Detto questo comunque preferisco sempre lavorare in una condizione in
cui l'errore su su x e y è stimabile , perchè così ci si libera
dall'obbligo, spesso per nulla semplice, di dimostrare vere svariate
assunzioni sulle varianze spesso false nei casi sperimentali.
Ed i test di compatibilità del modello sono più "forti".

>L'unica differenza è che nel modello di
> regressione le x sono "fissate", mentre nel test dei confronti appaiati
> sono "aleatorie". Non ce la faccio a rivedere la teoria dei test sulle
> ipotesi composte nel modello di regressione ma non mi stupirei se la
> statistica test per l'ipotesi a=0 e b=1 sia equivalente a quella del
> test t nel caso dei dati appaiati.

Mi immagino proprio di sì (almeno sotto opportune ipotesi). Poi c'è da
dire che in una bassisima frazione dei casi sperimentali x è senza
errore (o anche solo "piccolo" rispetto all'errore su y, con le dovute
proporzioni)

> Allora anche nel tuo test t per dati appaiati dovresti verificare
> l'ipotesi i omoschedasticità. Siamo sempre lì...

Infatti l'ho dovuto fare! (anzi... siccome non lo erano, come accade
nel 99% dei casi, per quanto molti se ne dimentichino, ho pure dovuto
applicare una trasformazione per soddisfare questa ipotesi!)
anche se non avevo mai sentito il nome omoschedasticità.

[r61]

>> In termini assoluti nulla. In termini relativi puoi dire rispetto a
>> un'altra nuvola di punti e annesso r2 se descrive una situazione
>> peggiore o migliore.
>

> Mah... Arrivo alla conclusione del topic con pi� confusione rispetto
> all'inizio....

Sai che non riesco a capire che tipo di risposta vuoi?
Hai esordito dicendo: "che significato posso attribuire
all'affermazione: il coefficiente di correlazione � x (0.5, mettiamo) e
il livello di significativit� � y (0.0001, mettiamo)"?
Ho cercato di spiegare che l'affermazione contiene due elementi di tipo
diverso: uno relativo alla misurazione di un fenomeno concreto,
traducibile quantitativamente, l'altro alla misurazione del grado di
certezza sull'esistenza del fenomeno stesso nell'espressione
quantitativa in cui si manifesta concretamente.
In sostanza la tua frase si traduce con:
a) in una scala da 0 a 1, dove 0 si traduce con inesistente e 1 si
traduce con esistente e perfetto, la relazione che ho misurato tra due
caratteri si colloca nel punto 0.5;
b) in un'altra, DIVERSA, scala da 0 a 1, dove 0 indica assoluta certezza
sull'esistenza e 1 indica assoluta certezza sulla inesistenza, sono
"confidente" (perdonami il termine, forse un po' equivoco) che la
relazione esista perch� la probabilit� che non esista (ovvero che la sua
misura secondo la scala di cui al punto precedente) � minore di 0.0001.
Le due cose (descrizione e inferenza) stanno su due piani completamente
diversi; la relazione pu� essere quasi perfetta (quindi il primo indice
pu� valere 0.95, mettiamo) e tu esserne molto dubbioso (e quindi il
secondo indice pu� valore 0.8, mettiamo), oppure la relazione pu� essere
molto debole (e quindi il primo indice pu� valere 0.1, mettiamo) e tu
essere comunque praticamente certo della sua esistenza (e quindi il
secondo indice valere 0.01, mettiamo).
Mi pareva d'avere detto che non voglio impegolarmi in discussioni sul
secondo elemento, e quindi sul punto b), perch� si tratta in sostanza di
interpretare la frase: "ho ottenuto x=0.5 e il mio grado di sicurezza
che non sia x=0 � 0.0001)" (per chi legge la prima volta: no, non � uno
scherzo, purtroppo, mi viene da aggiungere) che richiederebbe fiumi di
pagine per essere spiegata e commentata.
Limitatamente al punto 1, ricordo che r2, come (pressoch�) qualunque
altro indice normalizzato, definisce formalmente ed esattamente la
situazione descritta dal valore 0 e quella descritta dal valore 1. NON
definisce le situazioni intermedie! che ovviamente sono quelle pi�
ricorrenti ed interessanti!
Inoltre, come TUTTI gli indici sintetici, nel riassumere una situazione
complessa e articolata in un solo numero, comporta inevitabilmente una
perdita di informazioni.
Ecco perch� tu, che sei l'unico a conoscere la descrizione esatta e
completa della situazione, rappresentata dal grafico della nuvola dei
punti, non puoi chiedere a me come devi interpretare r2=0.5!!!
Io, da perfetto estraneo, ho cercato di risponderti che soli due termini
che conosco:
1) riconduci (con tutti i limiti, e ce ne sono, che questa operazione
comporta!!!) il tuo caso concreto a uno ideale, e giudica quest'ultimo.
Per esempio r2=0.5 corrisponde ad avere una x estratta da una normale
standard e una y estratta da una normale standard traslata di x (per
inciso, in uno dei miei messaggi precedenti ho sbagliato a fare i conti,
perch� ho parlato di N(1,1) quando doveva essere N(2,1)). Riesci a
costruire un'immagine mentale del caso che ho descritto, per giudicare
il livello di sovrapponibilit� delle diverse curve di y e vedere in che
misura soddisfa le tue esigenze di riconoscibilit�?
2) confronti il tuo caso concreto con altri analoghi, valutando i valori
di r2 ad essi associati. Se per esempio hai un altro r2=0.7, allora la
tua situazione � peggiore; se invece hai un altro r2=0.3, allora la tua
situazione � migliore. Ecco perch� ti avevo chiesto se c'erano tecniche
alternative a quella di tuo interesse.
Mi dispiace ma non mi vengono in mente altri tipi di risposte. Anzi, per
me non ce ne sono proprio. Temo che se ti aspettavi di pi� il tuo
problema sia destinato a rimanere irrisolto.

> Per quello sono estremamente interessato a metodi quantitativi di
> interpretazione delle immagini mediche (che prima dicevi di conoscere

> e ora no). Perch� � un po' come il sacro graal. Sarebbe ovviamente
> ultra-utile.... ma non c'� idea di come fare!

Non mi pare proprio d'avere detto una cosa del genere. Se l'ho fatto, ho
commesso un errore vistoso. Non mi occupo di medicina nucleare. Nel mio
campo, che mi pare molto pi� agevole del tuo, la gravit� di una malattia
si giudica misurando a occhio l'entit� di una certa massa. La stessa
massa per medici diversi pu� risultare "mild" e per altri "severe", per
cui alla fine si preferisce descrivere la situazione indirettamente
misurando, per esempio, un parametro preso dalle analisi del sangue.
Tutto qui.

>> Per te N(0,1) e N(e,1) sono diverse anche quando e=10^-10?
>
>

> Ma questo � un problema totalmente separato dalla statistica!!
> Una comune applicazione della fisica nucleare � misurare la

> concentrazione di un qualche elemento extra-raro in un campione.
> Questa si manifesta tipicamente con un incremento di una qualche
> grandezza di un infinitesimo rispetto al fondo. Han rilevanza pratica
> incrementi dello 0.1 per mille? Che ne so...e soprattutto....me ne

> importa? Se parlo di statistica il mio unico problema � essere sicuro

> che si possa escludere che quell'incremento di un niente sia dovuto al
> fondo.
>
> Quindi posso dire che sono diverse eccome N(0,1) e N(e,1) per ogni e,

> se � il caso.

Premetto che non so assolutamente nulla di fisica. Per� non sono
d'accordo sulla tua affermazione iniziale, e per me continua ad esserci
un fraintendimento, per cui mi sento di fare due osservazioni:
1) Non mi risulta che esistano strumenti mdi misura con un grado di
precisione assoluto. Quindi, se per esempio il tuo strumento di misura
rileva al pi� variazioni di 10^-10, allora non ha alcun senso chiedersi
se esiste un segnale di intensit� media pari a 10^-20.
2) La fisica nucleare non � la medicina. In medicina, se esiste un
problema come quello da te descritto, riguarda un numero
trascurabilissimo di situazioni. Prova a chiedere a qualunque medico di
valutare l'efficacia di un farmaco che funziona nel 50% dei casi
rispetto a quella di un altro farmaco che funziona nel 50,5% dei casi.
In altre parole, considera la "rilevanza clinica" come uno strumento di
misura che (molto, molto, molto) difficilmente scender� sotto la soglia
dell'1%.

> Altrimenti l'unico problema pratico della sovrapposizione � che
> maggiore � pi� risulta difficile garantire che effettivamente siano

> distinte. Infatti se mi interessa solo sapere se A e B sono "diverse"
> allora possono anche essere assai sovrapposte, che l'unico mio

> problema sar� raccogliere abbastanza N ed escludere sistematici.
> Ed una differenza di una deviazione standard tra le due medie �
> abbastanza facile da individuare.

Idem come prima. Tutto a questo mondo � correlato. E tutto � diverso.
Negli studi clinici dove l'output principale � il tasso di risposta dei
pazienti, generalmente si prende come soglia per dimostrare
l'equivalenza di due diversi trattamenti il valore del 15%. Ovvero una
differenza inferiore al 15% viene considerata non clinicamente
rilevante, sebbene "diversa", come scrivi tu.

[Luca85]

On 21 Dic, 15:22, r61 <r...@mailinator.com> wrote:

> Sai che non riesco a capire che tipo di risposta vuoi?

Non te lo so chiedere! Se mi fosse chiaro non starei continuando a
rimuginare su questo topic!!
E' proprio che non riesco a farmi un'idea di come usare il
coefficiente di correlazione in un esperimento.
Anzi, vedo solo casi in cui la sua applicazione dà risultati o non
informativi o "confondenti".

Facciamo un esempio ancora più pratico. Fai conto di essere un
reviewer e che ti venga chiesto di valutare se assegnare fondi ad un
progetto di ricerca che vuole sperimentare su dei pazienti un farmaco
che abbassa il parametro A nel sangue al fine di aumentare il
parametro "B", per via dei risultati di un precedente esperimento che
ha trovato la seguente correlazione tra A e B:
https://picasaweb.google.com/lh/photo/Zef-ioVejYNTPJfINmPrEYG0heYa-6EREghytAYpK5A

Tu che risponderesti?

Io vorrei mandarli a cagare per aver pensato ad una cosa del genere
partendo da dei dati simili. Ma quanto mi fermo a pensare ad una
motivazione statistico-matematica adeguata non ci riesco.

> a) in una scala da 0 a 1, dove 0 si traduce con inesistente e 1 si
> traduce con esistente e perfetto, la relazione che ho misurato tra due
> caratteri si colloca nel punto 0.5;

Questo mi è chiaro. Non mi è chiaro come interpretare il fatto: "la
relazione si colloca nel punto 0.5"

(il discorso sulla p associata invece mi è perfettamente chiaro)

> Mi dispiace ma non mi vengono in mente altri tipi di risposte. Anzi, per

> me non ce ne sono proprio. Temo che se ti aspettavi di più il tuo

> problema sia destinato a rimanere irrisolto.
>

Mi sa che siamo in questa situazione.

> Non mi pare proprio d'avere detto una cosa del genere. Se l'ho fatto, ho
> commesso un errore vistoso. Non mi occupo di medicina nucleare. Nel mio

> campo, che mi pare molto più agevole del tuo, la gravità di una malattia
> si giudica misurando a occhio l'entità di una certa massa. La stessa
> massa per medici diversi può risultare "mild" e per altri "severe", per

> cui alla fine si preferisce descrivere la situazione indirettamente
> misurando, per esempio, un parametro preso dalle analisi del sangue.
> Tutto qui.

E' che non so in che campo sei :-)
Nel campo che conosco io di PET-SPECT-TAC-MRI la maggior parte delle
valutazioni sono fatte ad occhio. O certe misure quantitative sono
fatte a mano dal medico che individua lui dove posizionare il righello
per definire le dimensioni degli oggetti. Perchè la detection
automatica è molto ma molto lontana da venire.
Per farti un esempio ti dico cosa accade in PET oncologica. "a spanne"
più un tumore capta più è maligno. I medici refertano così (più o meno
consciamente...ma per dire sano-infiammazione-tumore è quella la
discriminante che usano). Per questo molti autori hanno cercato di
introdurre grandezze "standard" per avere misure più accurate e
riproducibili.
Oh... riproducibili sono riproducibili, molto più del giudizio del
medico. Ma questo non significa che siano minimamente accurate. Perchè
l'umano si tara ad occhio su quel che c'è intorno e su vari altri
riferimenti in maniera assolutamente euristica per decidere cosa è
"tanto" e cosa è "poco". Con quegli indici invece si usano grandezze
assolute.
Che andrebbero corrette perchè fossero diagnosticamente significative
per almeno i seguenti fattori -peso del paziente, -altezza, -
percentuale di massa grassa, -attività fisica che ha fatto il giorno
prima, -tempo passato tra l'iniezione e lo scan, -biodistribuzione del
farmaco quel particolare giorno e a quello stadio della malattia, -
farmaci che sta prendendo,-dimensione della lesione etc....etc...
E l'occhio umano inspiegabilmente riesce a tenere in conto di tutte
queste cose decentemente... Gli indici proposti finora assolutamente
no!


> Premetto che non so assolutamente nulla di fisica. Però non sono

> d'accordo sulla tua affermazione iniziale, e per me continua ad esserci
> un fraintendimento, per cui mi sento di fare due osservazioni:
> 1) Non mi risulta che esistano strumenti mdi misura con un grado di
> precisione assoluto. Quindi, se per esempio il tuo strumento di misura

> rileva al più variazioni di 10^-10, allora non ha alcun senso chiedersi
> se esiste un segnale di intensità media pari a 10^-20.

In radioattività (usata per rivelare concentrazioni di materiali fino
a 10^-14!) sono comuni gli esperimenti di conteggio. Tu hai un fondo
di conteggi aspettati nel tuo intervallo di tempo di 10^8 e vedi
incrementi di 10^5 o meno. E' dura... ma si fa!!
(ovviamente prima fai un gran lavoro di riduzione di conteggi di
fondo, di misure che garantiscano che il fondo è veramente 10^8 e non
10^8+-1% e così via.... ma poi alla fine ti trovi a chiedere alla
statistica se la poisson con 10^8 conteggi attesi è compatibile o no
con l'osservazione di 100'100'000 di conteggi)

> 2) La fisica nucleare non è la medicina. In medicina, se esiste un

> problema come quello da te descritto, riguarda un numero
> trascurabilissimo di situazioni. Prova a chiedere a qualunque medico di
> valutare l'efficacia di un farmaco che funziona nel 50% dei casi
> rispetto a quella di un altro farmaco che funziona nel 50,5% dei casi.
> In altre parole, considera la "rilevanza clinica" come uno strumento di

> misura che (molto, molto, molto) difficilmente scenderà sotto la soglia
> dell'1%.

A parte che potrei citarti dei paper al riguardo molto interessanti di
medici che giusto in un caso cambiavano opinione(discutevano
l'opportunità o meno di prescrivere antidepressivi in classi di
pazienti in cui la rilevanza clinica era quasi nulla secondo le loro
stesse linee guida. che tralaltro sarebbero tutti tranne l' "ultra-
severe-depression"..... e dicevano di sì, che conviene far bombare la
gente di antidepressivi perchè alla fine "la rilevanza clinica è un
concetto vago".... che caso....)
Comunque negli studi di epidemiologia di sicuro si va ad osservare
variazioni minuscole di mortalità/incidenza di malattia. (ossia
differenze tra N(0,1) e N(eps,1))
Quando devono andare a vedere l'incremento di tumori in una certa zona
o per le esposizioni a certi agenti si tratta di numeri simili
tipicamente.
Ma anche la concentrazione nel sangue di un certo composto mi può
portare ad un quesito simile. "i malati di questa malattia l'hanno
uguale alla popolazione normale?" Se mi risulta su uno studio tra
10'000 pazienti che i malati hanno una concentrazione di 0.2
deviazioni standard più alta dovrei concludere: "non ho visto niente".
Io non direi. Direi: "vista una differenza" Cosa ci posso speculare
sopra poi è un altro problema, e dipenderà da caso a caso.

Ovvio che un farmaco che mi dà un'efficacia del 50.5% non mi serve di
più di uno che l'ha al 50%... Però....
Ho visto test clinici di fase 3 su certe tecniche di diagnostiche per
immagini che avevano come endpoint primario il dimostrare che la
sensibilità saliva dal 90% al 95% rispetto alla tecnica attuale e la
specificità non scendeva sotto il livello della tecnica standard
(85%).
Era uno studio inutile?


> Idem come prima. Tutto a questo mondo è correlato. E tutto è diverso.
> Negli studi clinici dove l'output principale è il tasso di risposta dei

> pazienti, generalmente si prende come soglia per dimostrare
> l'equivalenza di due diversi trattamenti il valore del 15%. Ovvero una
> differenza inferiore al 15% viene considerata non clinicamente
> rilevante, sebbene "diversa", come scrivi tu.

Ma mica si parla solo di efficacia dei farmaci in medicina!

[r61]

> Facciamo un esempio ancora più pratico. Fai conto di essere un
> reviewer e che ti venga chiesto di valutare se assegnare fondi ad un
> progetto di ricerca che vuole sperimentare su dei pazienti un farmaco
> che abbassa il parametro A nel sangue al fine di aumentare il
> parametro "B", per via dei risultati di un precedente esperimento che
> ha trovato la seguente correlazione tra A e B:
> https://picasaweb.google.com/lh/photo/Zef-ioVejYNTPJfINmPrEYG0heYa-6EREghytAYpK5A
>
> Tu che risponderesti?

Che la cosa avrebbe senso se:
a) si sapesse rispondere all'obiezione "correlation is not causation":
se tutti i magri sono alti e i grassi sono bassi, non è che un grasso
dimagrendo aumenterebbe la sua statura;
b) non ci fossero problemi etici a far scendere il parametro A in una
persona sana o in una persona malata;
c) il campione con cui è stato fatto lo studio fosse bilanciato per
sesso, età, e i fattori che possono influenzare il fenomeno oggetto di
analisi.

A parte queste due precisazioni, ho un'obiezione tranciante: togliendo
il punto più a destra e i tre punti più in alto, r si annullerebbe o
quasi (evidentemente non è stata fatta nessuna analisi si sensitività).

Quindi risponderei che la proposta va rigettata in attesa di prove più
solide.

Questo è un fatto che si può vedere solo graficamente, e che il solo
valore di r2 non dice (avevo già citato le osservazioni influenti).

>> a) in una scala da 0 a 1, dove 0 si traduce con inesistente e 1 si
>> traduce con esistente e perfetto, la relazione che ho misurato tra due
>> caratteri si colloca nel punto 0.5;
>
> Questo mi è chiaro. Non mi è chiaro come interpretare il fatto: "la
> relazione si colloca nel punto 0.5"

Te l'ho già scritto: vedi i miei punti 1) e 2).

> Comunque negli studi di epidemiologia di sicuro si va ad osservare
> variazioni minuscole di mortalità/incidenza di malattia. (ossia
> differenze tra N(0,1) e N(eps,1))

Evidentemente leggiamo testi diversi. A me risulta che in epidemiologia
l'influenza di un fattore è presa in considerazione se il suo odds ratio
vale almeno 2 (e qualcuno dice 3), a prescindere dal p-value.

> Ho visto test clinici di fase 3 su certe tecniche di diagnostiche per
> immagini che avevano come endpoint primario il dimostrare che la
> sensibilità saliva dal 90% al 95% rispetto alla tecnica attuale e la
> specificità non scendeva sotto il livello della tecnica standard
> (85%).
> Era uno studio inutile?

Sicuramente no. Ho voluto citare un caso limite. E se invece del 95%
fosse stata del 90,5%?

> Ma mica si parla solo di efficacia dei farmaci in medicina!

Certo, ma queste considerazioni valgono anche per altri campi. Se a
Milano la percentuale dei votanti del partito A fosse del 40% e a Napoli
del 40,5%, quale significato pratico attribuiresti a questa differenza?

Comunque temo che siamo andati molto OT. Forse è meglio che tu ponga la
domanda su it.scienza.medicina.

[Giuseppe]

Il giorno venerdì 21 dicembre 2012 18:50:18 UTC+1, Luca85 ha scritto:
> On 21 Dic, 15:22, r61 <r...@mailinator.com> wrote:
>
>
>
> > Sai che non riesco a capire che tipo di risposta vuoi?
>
>
>
> Non te lo so chiedere! Se mi fosse chiaro non starei continuando a
>
> rimuginare su questo topic!!

Invece di rimurginare su questo topic perchè non ti vai studiare la differenza tra relazione causale e causalità nel senso di granger (che poi non è causalità manco per niente, si chiama così per puro caso). Scopriresti che come ti hanno fatto notare eistono due ordini di concetti. Quello della significatività che tu forse confondi con relazione causale (di cui quella lineare può essere una approssimazione). Sono due cose totalmente diverse che determinano l'una e l'altra.
Anche una relazione del 0,0001% appurato che sia causale non è un risultato da poco.
Se è veramente causale stai dicendo che è quello l'effetto che da quella variabile hai sull'altra (ne piu' ne meno). Un informazione importantissima. Ma tutto il difficile sta nello stabilire se è causale o non lo è.
Il concetto di significatività è totalmente diverso ed è un concetto puramente probabilistico. In genere fa riferimento alla curva di gauss per generare le possibilità anche se non è detto che debba essere per forza così.
Spero che questo ti aiuti

[Luca85]

On 21 Dic, 20:36, r61 <r...@mailinator.com> wrote:

> > Tu che risponderesti?
>
> Che la cosa avrebbe senso se:
> a) si sapesse rispondere all'obiezione "correlation is not causation":
> se tutti i magri sono alti e i grassi sono bassi, non è che un grasso
> dimagrendo aumenterebbe la sua statura;
> b) non ci fossero problemi etici a far scendere il parametro A in una
> persona sana o in una persona malata;
> c) il campione con cui è stato fatto lo studio fosse bilanciato per
> sesso, età, e i fattori che possono influenzare il fenomeno oggetto di
> analisi.

Ok, supponiamo che sia stato fatto tutto più che correttamente.

> A parte queste due precisazioni, ho un'obiezione tranciante: togliendo
> il punto più a destra e i tre punti più in alto, r si annullerebbe o
> quasi (evidentemente non è stata fatta nessuna analisi si sensitività).
>
> Quindi risponderei che la proposta va rigettata in attesa di prove più
> solide.
>
> Questo è un fatto che si può vedere solo graficamente, e che il solo
> valore di r2 non dice (avevo già citato le osservazioni influenti).

E qua torna il mio problema.... A me sembrava ovvio a vista che da
quei dati non si possa tirar fuori assolutamente niente.
Ma quando parlo di indici statistici dovrei poter fare un commento
direttamente sull'indice, no?
Inoltre qua non c'era nessun modello dietro ai dati, era solo una
raccolta di dati e una ricerca a posteriori di "correlazioni".
Ha senso fare ricerche a posteriori di correlazioni valutando solo
"r"?
E se sì... Abbiam stabilito che quando r è alto allora si vede
chiaramente la presenza di un modello lineare.
Ma una soglia di r o un criterio per scegliere questa soglia non l'ho
mica visto proporre da nessuno.

>
> > Comunque negli studi di epidemiologia di sicuro si va ad osservare
> > variazioni minuscole di mortalità/incidenza di malattia. (ossia
> > differenze tra N(0,1) e N(eps,1))
>
> Evidentemente leggiamo testi diversi. A me risulta che in epidemiologia
> l'influenza di un fattore è presa in considerazione se il suo odds ratio
> vale almeno 2 (e qualcuno dice 3), a prescindere dal p-value.

Quando fanno un'analisi dei fattori di rischio tumorali o
cardiovascolari con che numeri pensi che abbiano a che fare?
I fattori che danno un'OR di 2 o 3 li han già visti nel '60. Quando
valutano le ipertensioni moderate, il leggero sovrappeso, i fattori
genetici e simili sulle malattie cardiache quanto pensi che siano gli
OR? Se arrivano a 1.4 penso sia tanta. In un'analisi in cui per giunta
devi deconvolvere per svariati fattori!

> Certo, ma queste considerazioni valgono anche per altri campi. Se a
> Milano la percentuale dei votanti del partito A fosse del 40% e a Napoli
> del 40,5%, quale significato pratico attribuiresti a questa differenza?

Nessuno, lo riporterei e basta. Però ti ribadisco che non ci sono solo
questi tipi di casi. Anche in medicina, mica solo in studi
cervellotici di fisica nucleare. Se devi analizzare la presenza di
veleno nel sangue o di infezioni di patogeni "strani" tipicamente
dovrai avere a che fare con metodologie che devono analizzare segnali
molto deboli rispetto al fondo.

> Comunque temo che siamo andati molto OT. Forse è meglio che tu ponga la
> domanda su it.scienza.medicina.

Mh... ma la mia domanda era sul coefficiente di correlazione

[Quesnay F.]

Il 22/12/2012 10:24, Giuseppe ha scritto:

> Il giorno venerd� 21 dicembre 2012 18:50:18 UTC+1, Luca85 ha scritto:
>> On 21 Dic, 15:22, r61 <r...@mailinator.com> wrote:
>>
>>
>>
>>> Sai che non riesco a capire che tipo di risposta vuoi?
>>
>>
>>
>> Non te lo so chiedere! Se mi fosse chiaro non starei continuando a
>>
>> rimuginare su questo topic!!
>
>

> Invece di rimurginare su questo topic perch� non ti vai studiare la differenza tra relazione causale e causalit� nel senso di granger (che poi non � causalit� manco per niente, si chiama cos� per puro caso). Scopriresti che come ti hanno fatto notare eistono due ordini di concetti. Quello della significativit� che tu forse confondi con relazione causale (di cui quella lineare pu� essere una approssimazione). Sono due cose totalmente diverse che determinano l'una e l'altra.
> Anche una relazione del 0,0001% appurato che sia causale non � un risultato da poco.

In che senso non � causalit� manco per niente? il test di Granger � un
test di endogeneit�, e serve a capire (anche qui si rigetta o si accetta
un'ipotesi nulla, quindi entra in ballo la significativit�) se una
variabile causa l'altra o viceversa.
Se da una relazione (ipotizziamo per semplicit� un regressore esogeno)
che passa un test di causalit� trovo anche che l'R^2 (tutto �
significativo) � pari a 0,1 ... va bene c'� relazione e anche causalit�,
ma la relazione � talmente debole che la teoria sosttostante, che ha
condotto alla specificazione del modello � una corazzata Potemkin, nel
senso di Fantozzi.

[Giuseppe]

Il giorno lunedì 24 dicembre 2012 11:02:33 UTC+1, Quesnay F. ha scritto:
> Il 22/12/2012 10:24, Giuseppe ha scritto:
>

> > Il giorno venerdì 21 dicembre 2012 18:50:18 UTC+1, Luca85 ha scritto:
>
> >> On 21 Dic, 15:22, r61 <r...@mailinator.com> wrote:
>
> >>
>
> >>
>
> >>
>
> >>> Sai che non riesco a capire che tipo di risposta vuoi?
>
> >>
>
> >>
>
> >>
>
> >> Non te lo so chiedere! Se mi fosse chiaro non starei continuando a
>
> >>
>
> >> rimuginare su questo topic!!
>
> >
>
> >
>

> > Invece di rimurginare su questo topic perchè non ti vai studiare la differenza tra relazione causale e causalità nel senso di granger (che poi non è causalità manco per niente, si chiama così per puro caso). Scopriresti che come ti hanno fatto notare eistono due ordini di concetti. Quello della significatività che tu forse confondi con relazione causale (di cui quella lineare può essere una approssimazione). Sono due cose totalmente diverse che determinano l'una e l'altra.
>
> > Anche una relazione del 0,0001% appurato che sia causale non è un risultato da poco.
>
>
>
> In che senso non è causalità manco per niente? il test di Granger è un
>
> test di endogeneità, e serve a capire (anche qui si rigetta o si accetta
>
> un'ipotesi nulla, quindi entra in ballo la significatività) se una

>
> variabile causa l'altra o viceversa.
>

> Se da una relazione (ipotizziamo per semplicità un regressore esogeno)
>
> che passa un test di causalità trovo anche che l'R^2 (tutto è
>
> significativo) è pari a 0,1 ... va bene c'è relazione e anche causalità,
>
> ma la relazione è talmente debole che la teoria sosttostante, che ha
>
> condotto alla specificazione del modello è una corazzata Potemkin, nel
>
> senso di Fantozzi.

Non è come tu dici.
Se c'è relazione di causalità o 0,1 0,99 è solo un problema di misura. Quello è il rapporto di causalità, punto.

Se viceversa non c'è esogeneità in senso stretto ma solo esogeneità debole, come nel caso di granger, allora può benissimo essere che:

a) C'è rapporto di causalità x a y
b) C'è rapporto di causalità y a x
c) x e y sono causati da una variabile comune esogena.

Nel caso di granger causality non saprai mai se a o b o c. Nel caso di causalità vera e propria lo sai al 100%. Dici che è una differenza da poco?

[Giuseppe]

Anzi se proprio vogliamo essere pignoli, se dalla relazione y=f(x) sappiamo 1 che x non è strettamente esogena ma sappiamo anche che 2 x granger-causa y, allora siamo sicuri per la 1 che non è a e per la 2 che o e b o e c, quindi da quest'ultima deduzione, deriva la mia giustissima affermazione che la granger causality non è causalità manco per nulla.

[Quesnay F.]

Il 24/12/2012 14:09, Giuseppe ha scritto:

> Il giorno luned� 24 dicembre 2012 11:02:33 UTC+1, Quesnay F. ha scritto:
>> Il 22/12/2012 10:24, Giuseppe ha scritto:
>>

>>> Il giorno venerd� 21 dicembre 2012 18:50:18 UTC+1, Luca85 ha scritto:
>>
>>>> On 21 Dic, 15:22, r61 <r...@mailinator.com> wrote:
>>
>>>>
>>
>>>>
>>
>>>>
>>
>>>>> Sai che non riesco a capire che tipo di risposta vuoi?
>>
>>>>
>>
>>>>
>>
>>>>
>>
>>>> Non te lo so chiedere! Se mi fosse chiaro non starei continuando a
>>
>>>>
>>
>>>> rimuginare su questo topic!!
>>
>>>
>>
>>>
>>

>>> Invece di rimurginare su questo topic perch� non ti vai studiare la differenza tra relazione causale e causalit� nel senso di granger (che poi non � causalit� manco per niente, si chiama cos� per puro caso). Scopriresti che come ti hanno fatto notare eistono due ordini di concetti. Quello della significativit� che tu forse confondi con relazione causale (di cui quella lineare pu� essere una approssimazione). Sono due cose totalmente diverse che determinano l'una e l'altra.
>>
>>> Anche una relazione del 0,0001% appurato che sia causale non � un risultato da poco.
>>
>>
>>
>> In che senso non � causalit� manco per niente? il test di Granger � un
>>

>> test di endogeneit�, e serve a capire (anche qui si rigetta o si accetta
>>
>> un'ipotesi nulla, quindi entra in ballo la significativit�) se una

>>
>> variabile causa l'altra o viceversa.
>>

>> Se da una relazione (ipotizziamo per semplicit� un regressore esogeno)
>>
>> che passa un test di causalit� trovo anche che l'R^2 (tutto �
>>
>> significativo) � pari a 0,1 ... va bene c'� relazione e anche causalit�,
>>

>> ma la relazione � talmente debole che la teoria sosttostante, che ha
>>
>> condotto alla specificazione del modello � una corazzata Potemkin, nel
>>
>> senso di Fantozzi.
>
> Non � come tu dici.
> Se c'� relazione di causalit� o 0,1 0,99 � solo un problema di misura. Quello � il rapporto di causalit�, punto.
>
> Se viceversa non c'� esogeneit� in senso stretto ma solo esogeneit� debole, come nel caso di granger, allora pu� benissimo essere che:
>
> a) C'� rapporto di causalit� x a y
> b) C'� rapporto di causalit� y a x

> c) x e y sono causati da una variabile comune esogena.
>

> Nel caso di granger causality non saprai mai se a o b o c. Nel caso di causalit� vera e propria lo sai al 100%. Dici che � una differenza da poco?
>

S�, � vero. Ma io facevo un altro discorso. l'R^2 misura il rapporto tra
varianza spiegata e residua (indipendentemente dalla relazione tra le
variabili, causale o no che sia). E con un R^2 a 0,1, secondo me un
modello � "buono" solo per pulirsi il ...
Invece, c'� un sacco di letteratura che deduce relazioni che, di fatto,
non esistono...

[Quesnay F.]

Il 24/12/2012 14:13, Giuseppe ha scritto:
> Il giorno luned� 24 dicembre 2012 14:09:37 UTC+1, Giuseppe ha scritto:
>> Il giorno luned� 24 dicembre 2012 11:02:33 UTC+1, Quesnay F. ha scritto:
>>

>> Nel caso di granger causality non saprai mai se a o b o c. Nel caso di causalit� vera e propria lo sai al 100%. Dici che � una differenza da poco?
>
> Anzi se proprio vogliamo essere pignoli, se dalla relazione y=f(x) sappiamo 1 che x non � strettamente esogena ma sappiamo anche che 2 x granger-causa y, allora siamo sicuri per la 1 che non � a e per la 2 che o e b o e c, quindi da quest'ultima deduzione, deriva la mia giustissima affermazione che la granger causality non � causalit� manco per nulla.

S�, s�. Avevo scritto troppo in fretta...

[Giuseppe]

Il giorno lunedì 24 dicembre 2012 14:27:22 UTC+1, Quesnay F. ha scritto:
> Il 24/12/2012 14:09, Giuseppe ha scritto:
>

> > Il giorno lunedì 24 dicembre 2012 11:02:33 UTC+1, Quesnay F. ha scritto:
>
> >> Il 22/12/2012 10:24, Giuseppe ha scritto:
>
> >>
>
> >>> Il giorno venerdì 21 dicembre 2012 18:50:18 UTC+1, Luca85 ha scritto:
>
> >>
>
> >>>> On 21 Dic, 15:22, r61 <r...@mailinator.com> wrote:
>
> >>
>
> >>>>
>
> >>
>
> >>>>
>
> >>
>
> >>>>
>
> >>
>
> >>>>> Sai che non riesco a capire che tipo di risposta vuoi?
>
> >>
>
> >>>>
>
> >>
>
> >>>>
>
> >>
>
> >>>>
>
> >>
>
> >>>> Non te lo so chiedere! Se mi fosse chiaro non starei continuando a
>
> >>
>
> >>>>
>
> >>
>
> >>>> rimuginare su questo topic!!
>
> >>
>
> >>>
>
> >>
>
> >>>
>
> >>
>

> >>> Invece di rimurginare su questo topic perchè non ti vai studiare la differenza tra relazione causale e causalità nel senso di granger (che poi non è causalità manco per niente, si chiama così per puro caso). Scopriresti che come ti hanno fatto notare eistono due ordini di concetti. Quello della significatività che tu forse confondi con relazione causale (di cui quella lineare può essere una approssimazione). Sono due cose totalmente diverse che determinano l'una e l'altra.
>
> >>
>
> >>> Anche una relazione del 0,0001% appurato che sia causale non è un risultato da poco.
>
> >>
>
> >>
>
> >>
>
> >> In che senso non è causalità manco per niente? il test di Granger è un
>
> >>
>

> >> test di endogeneità, e serve a capire (anche qui si rigetta o si accetta
>
> >>
>
> >> un'ipotesi nulla, quindi entra in ballo la significatività) se una

>
> >>
>
> >> variabile causa l'altra o viceversa.
>
> >>
>

> >> Se da una relazione (ipotizziamo per semplicità un regressore esogeno)
>
> >>
>
> >> che passa un test di causalità trovo anche che l'R^2 (tutto è
>
> >>
>
> >> significativo) è pari a 0,1 ... va bene c'è relazione e anche causalità,
>
> >>
>

> >> ma la relazione è talmente debole che la teoria sosttostante, che ha
>
> >>
>
> >> condotto alla specificazione del modello è una corazzata Potemkin, nel
>
> >>
>
> >> senso di Fantozzi.
>
> >
>

> > Non è come tu dici.
>

> > Se c'è relazione di causalità o 0,1 0,99 è solo un problema di misura. Quello è il rapporto di causalità, punto.
>
> >
>
> > Se viceversa non c'è esogeneità in senso stretto ma solo esogeneità debole, come nel caso di granger, allora può benissimo essere che:
>
> >
>
> > a) C'è rapporto di causalità x a y
>
> > b) C'è rapporto di causalità y a x

>
> > c) x e y sono causati da una variabile comune esogena.
>
> >
>

> > Nel caso di granger causality non saprai mai se a o b o c. Nel caso di causalità vera e propria lo sai al 100%. Dici che è una differenza da poco?
>
> >
>
>
>

> Sì, è vero. Ma io facevo un altro discorso. l'R^2 misura il rapporto tra

>
> varianza spiegata e residua (indipendentemente dalla relazione tra le
>
> variabili, causale o no che sia). E con un R^2 a 0,1, secondo me un
>

> modello è "buono" solo per pulirsi il ...
>
> Invece, c'è un sacco di letteratura che deduce relazioni che, di fatto,
>
> non esistono...

Non è vero che un R2 basso indica che il modello nn è specificato correttamente. Bisogna guardare altri parametri e bisogna capire cosa si vuole andare a vedere con quel modello.
Come ti ho fatto notare può essere benissimo che per le variabili prese in esame quello che viene spiegato, seppur poco, è corretto. Poi in base a quello che devi fare, puoi dire se sei arrivato a una considerevole conclusione o al niente.

[Quesnay F.]

Il 26/12/2012 10:50, Giuseppe ha scritto:

> Il giorno luned� 24 dicembre 2012 14:27:22 UTC+1, Quesnay F. ha scritto:
>> Il 24/12/2012 14:09, Giuseppe ha scritto:

>> non esistono...
>
> Non � vero che un R2 basso indica che il modello nn � specificato correttamente.

Non ho detto che non � specificato correttamente, ma che non "spiega" un
cazzo. Spero che usando il linguaggio dei burini sia pi� comprensibile :-)

[Giuseppe]

Il giorno mercoledì 26 dicembre 2012 11:36:36 UTC+1, Quesnay F. ha scritto:
> Il 26/12/2012 10:50, Giuseppe ha scritto:
>

> > Il giorno lunedì 24 dicembre 2012 14:27:22 UTC+1, Quesnay F. ha scritto:
>
> >> Il 24/12/2012 14:09, Giuseppe ha scritto:
>
>
>
> >> non esistono...
>
> >
>

> > Non è vero che un R2 basso indica che il modello nn è specificato correttamente.
>
>
>
> Non ho detto che non è specificato correttamente, ma che non "spiega" un
>
> cazzo. Spero che usando il linguaggio dei burini sia più comprensibile :-)

Se il tuo intento è quello di trovare tutte le variabili rilevanti che causano la y è un conto. Altro conto se l'oggetto della tua indagine è quello di vedere in che modo quelle determinate x (e non altre) ti vanno a influenzare la y allora l'R2 alto o basso ti da la risposta al tuo problema (fermo restando altri elementi che tralasciamo per brevità). Può essere che il tuo pensiero era proprio quello di vedere se una data x, al contrario di quanto si potesse immaginare, spiega solo una minima parte della y. Se il modello è non corretto, allora un r2 basso non conferma il tuo assunto. Viceversa, hai trovato quello che cercavi. Spero di essere stato chiaro.

[Quesnay F.]

Il 26/12/2012 14:19, Giuseppe ha scritto:

>>
>>
>> Non ho detto che non � specificato correttamente, ma che non "spiega" un
>>
>> cazzo. Spero che usando il linguaggio dei burini sia pi� comprensibile :-)
>
> Se il tuo intento � quello di trovare tutte le variabili rilevanti che causano la y � un conto. Altro conto se l'oggetto della tua indagine � quello di vedere in che modo quelle determinate x (e non altre) ti vanno a influenzare la y allora l'R2 alto o basso ti da la risposta al tuo problema (fermo restando altri elementi che tralasciamo per brevit�). Pu� essere che il tuo pensiero era proprio quello di vedere se una data x, al contrario di quanto si potesse immaginare, spiega solo una minima parte della y. Se il modello � non corretto, allora un r2 basso non conferma il tuo assunto. Viceversa, hai trovato quello che cercavi. Spero di essere stato chiaro.


Specificare *tutte* le variabili � impossibile :-)
No, non ti sei spiegato... :-)
Cmq la questione � semplice e ribadisco: con un R^2 pari a 0.02 ci
faccio i ciccioli col lambrusco...

[Giuseppe]

Il giorno mercoledì 26 dicembre 2012 17:03:31 UTC+1, Quesnay F. ha scritto:
> Il 26/12/2012 14:19, Giuseppe ha scritto:
>
>
>
> >>
>
> >>
>

> >> Non ho detto che non è specificato correttamente, ma che non "spiega" un
>
> >>
>
> >> cazzo. Spero che usando il linguaggio dei burini sia più comprensibile :-)
>
> >
>
> > Se il tuo intento è quello di trovare tutte le variabili rilevanti che causano la y è un conto. Altro conto se l'oggetto della tua indagine è quello di vedere in che modo quelle determinate x (e non altre) ti vanno a influenzare la y allora l'R2 alto o basso ti da la risposta al tuo problema (fermo restando altri elementi che tralasciamo per brevità). Può essere che il tuo pensiero era proprio quello di vedere se una data x, al contrario di quanto si potesse immaginare, spiega solo una minima parte della y. Se il modello è non corretto, allora un r2 basso non conferma il tuo assunto. Viceversa, hai trovato quello che cercavi. Spero di essere stato chiaro.
>
>
>
>
>
> Specificare *tutte* le variabili è impossibile :-)

>
> No, non ti sei spiegato... :-)
>

Se nn leggi tutto è impossibile che capisci. Tutte le variabili rilevanti.


> Cmq la questione è semplice e ribadisco: con un R^2 pari a 0.02 ci

>
> faccio i ciccioli col lambrusco...

Allora fallo uscire piu' alto, molti statistici da strapazzo farebbero così. Ma poi sei sicuro che ci faresti qualcosa?

[Luca85]

On 26 Dic, 17:03, "Quesnay F." <nonscriv...@nonvirispondo.it> wrote:

> Specificare *tutte* le variabili è impossibile :-)

> No, non ti sei spiegato... :-)

> Cmq la questione è semplice e ribadisco: con un R^2 pari a 0.02 ci

> faccio i ciccioli col lambrusco...

Io invece penso di aver capito e pure bene le posizioni di entrambi, e
penso che tralaltro non siano affatto incompatibili tra di loro.
In sostanza uno dice: "la variabile X può effettivamente influenzare
la Y anche nel caso di r^2=0.1. Spiega assai poca parte della varianza
ma la spiega".
L'altro risponde: "vabbè, ma un modello che mi spiega una parte così
limitata della varianza non mi permette di fare assolutamente niente".
Beh... Non mi paiono in contraddizione le due cose, per nulla. Detto
questo però non saprei come agire all'atto pratico se mi trovassi una
r^2=0.5, almeno in assenza di un modello.
Ma se avessi un modello non penso che userei l'r....

[Quesnay F.]

Il 26/12/2012 17:56, Giuseppe ha scritto:

>>>
>>

>
> Se nn leggi tutto � impossibile che capisci. Tutte le variabili rilevanti.

Ho letto tutto, ma definire ex ante se una variabile � rilevante o no �
molto difficile.

>
>
>> Cmq la questione � semplice e ribadisco: con un R^2 pari a 0.02 ci

>>
>> faccio i ciccioli col lambrusco...
>

> Allora fallo uscire piu' alto, molti statistici da strapazzo farebbero cos�. Ma poi sei sicuro che ci faresti qualcosa?

No, concludo solo che il modello va bene da stampare sulla Foxy per
rendere pi� trendy una pulita di culo...

[Quesnay F.]

Il 26/12/2012 23:12, Luca85 ha scritto:
> On 26 Dic, 17:03, "Quesnay F." <nonscriv...@nonvirispondo.it> wrote:
>

>> Specificare *tutte* le variabili � impossibile :-)

>> No, non ti sei spiegato... :-)

>> Cmq la questione � semplice e ribadisco: con un R^2 pari a 0.02 ci

>> faccio i ciccioli col lambrusco...
>
> Io invece penso di aver capito e pure bene le posizioni di entrambi, e
> penso che tralaltro non siano affatto incompatibili tra di loro.

> In sostanza uno dice: "la variabile X pu� effettivamente influenzare

> la Y anche nel caso di r^2=0.1. Spiega assai poca parte della varianza
> ma la spiega".

> L'altro risponde: "vabb�, ma un modello che mi spiega una parte cos�

> limitata della varianza non mi permette di fare assolutamente niente".
> Beh... Non mi paiono in contraddizione le due cose, per nulla. Detto

> questo per� non saprei come agire all'atto pratico se mi trovassi una

> r^2=0.5, almeno in assenza di un modello.
> Ma se avessi un modello non penso che userei l'r....
>

In sostanza dico (semplifico al massimo e so che non � cos� nella realt�
quindi considera per bene quanto scritto tra parentesi) che se il
rapporto tra varianza spiegata e residua � pari a 0.01 in una relazione
che lega il peso corporeo con la pressione arteriosa (anche nella
fantasiosa ipotesi di testare la causalit�), fare una legge molto severa
che costringe la gente a mettersi a dieta (con pene severe per chi
trasgredisce) sarebbe una cagata colossale... sarebbe una cagata
comunque, ma se l'R^2 fosse 0.99999...., b� almeno si imporrebbe la
dieta per una giusta causa :-)

[Giuseppe]

Il giorno giovedì 27 dicembre 2012 20:45:43 UTC+1, Quesnay F. ha scritto:
> Il 26/12/2012 17:56, Giuseppe ha scritto:
>
>
>
> >>>
>
> >>
>
>
>
> >
>

> > Se nn leggi tutto è impossibile che capisci. Tutte le variabili rilevanti.
>
>
>
> Ho letto tutto, ma definire ex ante se una variabile è rilevante o no è
>
> molto difficile.
>


Se non fosse difficile potrebbero fare gli statistici applicati, tutti, mezze seghe comprese.
Si fanno delle analisi e si stabilisce se una variabile è rilevante oppure no. Ci sono studi che hanno come fine quello di includere tutte le variabili rilevanti, che poi si arriva a comprenderle tutte o quasi tutte questo non cambia nulla. Il senso del discorso era di cercare di farti riflettere sul fatto che che in certi casi, lo studio non ha quel fine ma solo uno studio isolato della relazione Y=f(X) con X ristretta. Ma vedo che il compito è molto arduo.

>
>
> >
>
> >
>
> >> Cmq la questione è semplice e ribadisco: con un R^2 pari a 0.02 ci

>
> >>
>
> >> faccio i ciccioli col lambrusco...
>
> >
>

> > Allora fallo uscire piu' alto, molti statistici da strapazzo farebbero così. Ma poi sei sicuro che ci faresti qualcosa?

>
>
>
> No, concludo solo che il modello va bene da stampare sulla Foxy per
>

> rendere più trendy una pulita di culo...

Non penso che la tua conclusione aggiunga molto alla discussione.

[Giuseppe]

Dipende da cosa ci devi fare. In alcuni casi ti serve per riflettere sull'ordine della relazione. Un r2 basso può scaturire, come ho fatto già notare piu' volte, anche se l'infulenza di X su Y sia fuori ogni tipo di discussione. In questi casi bisogna che lo statistico, in base a quello che deve fare, decide se l'entità della relazione sia debole o forte, e in questi casi, piu' che prendere in considerazione l'R2 prenderei in considerazione il beta di quella X. Il mio discorso era solo per farvi capire che se l'R2 è basso il modello, non è assolutamente detto (anzi) che sia inutilizzabile. Se il costo di quella dieta è 0,0001 euro al mese e il beta della x mi dice che miglioro la mia performance corporea dello 0,1 per cento, non vedo perchè non usare questa relazione. Ammesso che gli altri parametri del modello siano Ok.
Quello che sto cercando di farvi capire è che un R2 basso può aversi anche in un modello con i controcazzi. Dipende dalla finalità dello studio.