derivata rispetto a matrice

[Kiuhnm]

In statistica capita spesso di dover differenziare espressioni
contenenti matrici. Che metodo usate?
Per es. come calcolate la derivata di
phi(X) = a^T Xb
rispetto alla matrice X?

Kiuhnm

[Kiuhnm]

Un classico, è derivare
ln p(X|m,S) = -ND/2 ln(2pi) - N/2 ln|S|
-1/2 sum_{n=1}^N (x_n-m)^T S^{-1} (x_n-m)
rispetto alla matrice S.

Kiuhnm

[Tommaso Russo, Trieste]

Direi questo:

<http://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-matrix>


--
TRu-TS
Buon vento e cieli sereni

[Kiuhnm]

On 7/14/2013 15:51, Tommaso Russo, Trieste wrote:
> Il 14/07/2013 12:16, Kiuhnm ha scritto:
>> In statistica capita spesso di dover differenziare espressioni
>> contenenti matrici. Che metodo usate?
>> Per es. come calcolate la derivata di
>> phi(X) = a^T Xb
>> rispetto alla matrice X?
>
> Direi questo:
>
> <http://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-matrix>

Quella è *una* definizione, non un metodo per calcolare la derivata.

Kiuhnm

[Tommaso Russo, Trieste]

Il 14/07/2013 16:05, Kiuhnm ha scritto:
> On 7/14/2013 15:51, Tommaso Russo, Trieste wrote:
>> Il 14/07/2013 12:16, Kiuhnm ha scritto:
>>> In statistica capita spesso di dover differenziare espressioni
>>> contenenti matrici. Che metodo usate?
>>> Per es. come calcolate la derivata di
>>> phi(X) = a^T Xb
>>> rispetto alla matrice X?
>>
>> Direi questo:
>>
>> <http://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-matrix>
>
> Quella è *una* definizione

ne conosci altre?

> , non un metodo per calcolare la derivata.

O bella... data la definizione, si ricava immediatamente il metodo:

[@phi(X)/@X]_ij = @phi(X)/@Xji = @[a^T Xb]/@Xji = a^t @X/@Xji b =

ma @X/@Xji e' la matrice nulla con un 1 in posizione j,i; quindi

[@phi(X)/@X]_ij = a_j*b_i.

[Kiuhnm]

On 7/14/2013 16:39, Tommaso Russo, Trieste wrote:
> Il 14/07/2013 16:05, Kiuhnm ha scritto:
>> On 7/14/2013 15:51, Tommaso Russo, Trieste wrote:
>>> Il 14/07/2013 12:16, Kiuhnm ha scritto:
>>>> In statistica capita spesso di dover differenziare espressioni
>>>> contenenti matrici. Che metodo usate?
>>>> Per es. come calcolate la derivata di
>>>> phi(X) = a^T Xb
>>>> rispetto alla matrice X?
>>>
>>> Direi questo:
>>>
>>> <http://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-matrix>
>>
>> Quella è *una* definizione
>
> ne conosci altre?

Sì. Un'altra diffusa traspone la matrice e altre la vettorizzano
(mediante l'operatore vec).

>> , non un metodo per calcolare la derivata.
>
> O bella... data la definizione, si ricava immediatamente il metodo:
>
> [@phi(X)/@X]_ij = @phi(X)/@Xji = @[a^T Xb]/@Xji = a^t @X/@Xji b =
>
> ma @X/@Xji e' la matrice nulla con un 1 in posizione j,i; quindi
>
> [@phi(X)/@X]_ij = a_j*b_i.

Vuoi dire che si ricava immediatamente il metodo ovvio. E comunque alla
fine devi riscrivere il risultato in forma matriciale, che non è sempre
facile.
Prova a usare quel metodo per calcolare @tr(A(XSX^T)^{-1}B)/@X
esprimendo il risultato in forma matriciale.
Volevo solo sapere come si comportano gli esperti di statistica in
questi casi. Non insegnano una qualche forma di calcolo differenziale
matriciale (CDM) nei corso universitari?
E' pura curiosità la mia. Nel mio studio del machine learning ho
scoperto il CDM, nato in ambito statistico, e mi chiedevo quanti lo
conoscessero.
I matematici (con un curriculum classico), di sicuro, non lo conoscono,
infatti non si trova in nessun libro di analisi conosciuto. Si trovano
abbozzi di metodi vari in alcuni libri di statistica. Per lo più bisogna
fare riferimento a pubblicazioni.
Ho chiesto qui perché alcuni di voi si occupano di statistica.

Kiuhnm

[Pippo]

Se non ricordo male, c'era un vecchio libro (forse 1988 o giù di lì) di
econometria di Mario Faliva che dedicava un capitolo a questo problema.
Purtroppo sono passati venticinque anni e non mi ricordo più un cazzo
:-) Mi ricordo, però, che era molto stringato, insomma della serie:
alcuni richiami.

[Kiuhnm]

On 7/14/2013 20:22, Pippo wrote:
> Se non ricordo male, c'era un vecchio libro (forse 1988 o giů di lě) di

> econometria di Mario Faliva che dedicava un capitolo a questo problema.

> Purtroppo sono passati venticinque anni e non mi ricordo piů un cazzo
> :-) Mi ricordo, perň, che era molto stringato, insomma della serie:
> alcuni richiami.

Vediamo se lo trovo...

Kiuhnm