Exemplo e formulas algoritmo de backpropagation

[Gladys Castillo]

Olá a todos:
Para estudar o algoritmo de backpropagation recomendo ler os acetatos
do trabalho do Bruno Custodio. No acetato 41 estão descritos todos os
passos do algoritmo. A partir do acetato 43 podem encontrar um exemplo
de execução que é preciso estudar e perceber. Este exemplo foi tirado
do livro Data Mining - Concepts and Techniques J. Han. Morgan
Kaufmann (2000) (vou subir agora as paginas referentes a este
algoritmo).

Eloisa e Elisabete: estive agora ver as formulas que vocês têm no
vosso trabalho para calcular o erro retropropagado e acho que não
estão correctas:
As vossas formulas são estas:
e8 = e
e6 = w68 x e
e7 = w78 x e
e3 = w36 x e6 + w37 e7
e4 = w46 x e6 + w47 e7
e5 = w56 x e6 + w57 e7

As formulas correctas para calcular o erro são estas:

1) Para cada unidade j na camada de salida: e_j = Oj (1 - Oj )(y -Oj )
(Oj - o output nessa camada, y - o valor real do output)

2) Para cada unidade j nas restantes camadas: ej = Oj (1 - Oj ) .sum_k
w_jk e_k

Cumprimentos,
Gladys

[Elo Isa]

bom dia, professora.
as fórmulas que usámos no nosso trabalho para o exemplo foram
retiradas de um site destacado no trabalho do Francisco Moço
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html e a base
teórica foi retirada tanto dos apontamentos do dr. Paulo Cortez como
do pdf seguinte www4.rgu.ac.uk/files/chapter3%20-%20bp.pdf . nestes 2
exemplos (sem falar no wikipedia) aparece o algoritmo backpropagation
geral (para qq função de activação) e a fórmula que se usa para
cálculo do erro à saída da rede é o erro absoluto, ou seja, o valor
real - valor obtido, e não a diferenciação do erro.

cumprimentos

[Gladys Castillo]

Eloisa: Nas formulas que estas a usar simplificas por uma parte no
calculo do erro mas depois para calcular os pesos tens que usar as
derivadas da função de activação para poder aplicar regra do
gradiente.
A derivação destas derivadas leva às formulas propostas no livro e que
o Bruno usou no seu trabalho (ver 4.2. trabalho Bruno)
Estas fórmulas são as que normalmente são usadas na implementação do
algoritmo.
Por isso recomendo que todos usem estas formulas no teste.

[Elo Isa]

ok , professora! então no próximo trabalho vamos colocar essa emenda.
cumprimentos