Trabalho TP3- Discussão
3 views
Skip to first unread message
Gladys Castillo
May 27, 2008, 9:00:34 PM5/27/08
to Aprendizagem Computacional na UA
Boa noite a todos: (aconselho a todos ler com atenção)
Como agora todos vão ter que trabalhar no projecto nº3 usando os
mesmos
métodos para avaliação, pré-processamento, etc. vou abrir aqui este
tópico
de discussão para que assim todos possam partilhar toda a informação
sobre
estes projectos. Assim que por favor, todas as dúvidas sobre o
trabalho TP3
tratem de envia-la logo para aqui. Também se algum de vocês super a
resposta, tratem de responder, assim não sou eu a única a esclarecer
as
questões. Já alguns de vocês estão mais espertos nestes assuntos e
podem
ajudar aos colegas que precisam.
Pergunta 1 (Rui e Pedro). Estamos a tentar fazer pré-
processamento(redução
de atributos) com FeatuteSelection juntamente com
CFSFeatureSetEvaluator,
mas estamos a obter out of memory. Como podemos fazer a redução??
Resposta: Para evitar o erro de out-of-memory quando correm os
algoritmos de
FSS experimentem mudar esta instrução no ficheiro RapidMinerGUI.bat in
the
scripts subdirectory onde está instalado o RapidMiner:
if "%MAX_JAVA_MEMORY%"=="" set MAX_JAVA_MEMORY=1024
Esta variavel MAX_JAVA_MEMORY deve ser 1024, OK? Eu tinha muito menos,
agora
não me lembro exactamente quanto. Estou a fazer todas estas
experiencias com
a nova versão 4.1. que aconselho-vos instalar.
Depois será conveniente correr o programa a partir do ficheiro .bat em
vez
de executa-lo pelo icono no desktop. Eu consegui assim correr um FSS
para o
problema de Luís P. e Rui que antes me dava out-of-memory e também
para o
meu problema dos microarrays onde tenho 7024 atributos.
Aqui neste projecto de RapidMiner que envio estou a combinar vários
métodos
de FSS que devem ser usados quando existe um elevado número de
atributos. A
ideia é primeiro remover alguns atributos baseando-se apenas no
computo de
uns pesos e assim evitar serem passados todos os atributos como
entrada do
problema de FSS que como sabem é um problema de optimização
combinatória e
quando são usados muitos atributos o número de possíveis subconjuntos
cresce
exponencialmente, por isso a memoria explode !!!.
Pedro e Rui, tratem de experimentar entre estes métodos de FSS com
qual é
possível obter melhores resultados e espero que possam corre-los (mas
notem
que neste projecto que os envio os métodos de FSS não melhoram o
desempenho
do NB, pelo contrario)
Podem alternar entre usar:
1) InfoGainWeighting + AttributeWeightSelection +
AttributeWeightsApplier -
a combinação destes métodos o que faz é seleccionar os atributos com
maior
information gain (até tem sentido para o vosso trabalho pois vocês
usam esta
medida para induzir arvores de decisão) - experimentem por break point
depois de cada operador e vão poder ver os pesos dos atributos e quais
são
os que têm maior information gain (por lógica o atributo com maior
peso =
maior information gain deveria ser aquele que foi seleccionado como
raiz na
árvore de decisão)
2) FeatureSelection + CFSFeatureSetEvaluator (experimentem se podem
agora
corre-lo depois de ter mudado a instrução sobre a memoria como
indicado)
3) InfoGainWeighting + AttributeWeightSelection +
AttributeWeightsApplier +
FeatureSelection + CFSFeatureSetEvaluator - so no caso que dei out-of-
memory
o método de FSS pelo explicado anteriormente.
Podem encontrar toda a informação sobre todos estes operadores no
ficheiro
do tutorial de RapidMiner que acabo de deixar no grupo.
Se quiserem em vez de usar o k-NN (sempre demora um bocado se o nº de
exemplos é grande) podem usar o Naive Bayes, que é muito rápido nas
contas,
mas isto o que vocês preferem.
Pergunta 2.Estamos a fazer a curva de ROC para cada método
separadamente e
tb uma curva de ROC com os 3. Estamos a verificar que as curvas não
coincidem. Isso deve-se ao facto de num utilizar-mos
BinomialClassificationPerformance e no outro ROCComparator??
Resposta. Podem entrar no novo fórum de RapidMiner que está agora
óptimo e
submeter esta pergunta. A Ana Raquel e Vítor escreveram ai e receberam
logo
muitas dicas.
Bom trabalho para todos,
Cumprimentos,
Gladys
Como agora todos vão ter que trabalhar no projecto nº3 usando os
mesmos
métodos para avaliação, pré-processamento, etc. vou abrir aqui este
tópico
de discussão para que assim todos possam partilhar toda a informação
sobre
estes projectos. Assim que por favor, todas as dúvidas sobre o
trabalho TP3
tratem de envia-la logo para aqui. Também se algum de vocês super a
resposta, tratem de responder, assim não sou eu a única a esclarecer
as
questões. Já alguns de vocês estão mais espertos nestes assuntos e
podem
ajudar aos colegas que precisam.
Pergunta 1 (Rui e Pedro). Estamos a tentar fazer pré-
processamento(redução
de atributos) com FeatuteSelection juntamente com
CFSFeatureSetEvaluator,
mas estamos a obter out of memory. Como podemos fazer a redução??
Resposta: Para evitar o erro de out-of-memory quando correm os
algoritmos de
FSS experimentem mudar esta instrução no ficheiro RapidMinerGUI.bat in
the
scripts subdirectory onde está instalado o RapidMiner:
if "%MAX_JAVA_MEMORY%"=="" set MAX_JAVA_MEMORY=1024
Esta variavel MAX_JAVA_MEMORY deve ser 1024, OK? Eu tinha muito menos,
agora
não me lembro exactamente quanto. Estou a fazer todas estas
experiencias com
a nova versão 4.1. que aconselho-vos instalar.
Depois será conveniente correr o programa a partir do ficheiro .bat em
vez
de executa-lo pelo icono no desktop. Eu consegui assim correr um FSS
para o
problema de Luís P. e Rui que antes me dava out-of-memory e também
para o
meu problema dos microarrays onde tenho 7024 atributos.
Aqui neste projecto de RapidMiner que envio estou a combinar vários
métodos
de FSS que devem ser usados quando existe um elevado número de
atributos. A
ideia é primeiro remover alguns atributos baseando-se apenas no
computo de
uns pesos e assim evitar serem passados todos os atributos como
entrada do
problema de FSS que como sabem é um problema de optimização
combinatória e
quando são usados muitos atributos o número de possíveis subconjuntos
cresce
exponencialmente, por isso a memoria explode !!!.
Pedro e Rui, tratem de experimentar entre estes métodos de FSS com
qual é
possível obter melhores resultados e espero que possam corre-los (mas
notem
que neste projecto que os envio os métodos de FSS não melhoram o
desempenho
do NB, pelo contrario)
Podem alternar entre usar:
1) InfoGainWeighting + AttributeWeightSelection +
AttributeWeightsApplier -
a combinação destes métodos o que faz é seleccionar os atributos com
maior
information gain (até tem sentido para o vosso trabalho pois vocês
usam esta
medida para induzir arvores de decisão) - experimentem por break point
depois de cada operador e vão poder ver os pesos dos atributos e quais
são
os que têm maior information gain (por lógica o atributo com maior
peso =
maior information gain deveria ser aquele que foi seleccionado como
raiz na
árvore de decisão)
2) FeatureSelection + CFSFeatureSetEvaluator (experimentem se podem
agora
corre-lo depois de ter mudado a instrução sobre a memoria como
indicado)
3) InfoGainWeighting + AttributeWeightSelection +
AttributeWeightsApplier +
FeatureSelection + CFSFeatureSetEvaluator - so no caso que dei out-of-
memory
o método de FSS pelo explicado anteriormente.
Podem encontrar toda a informação sobre todos estes operadores no
ficheiro
do tutorial de RapidMiner que acabo de deixar no grupo.
Se quiserem em vez de usar o k-NN (sempre demora um bocado se o nº de
exemplos é grande) podem usar o Naive Bayes, que é muito rápido nas
contas,
mas isto o que vocês preferem.
Pergunta 2.Estamos a fazer a curva de ROC para cada método
separadamente e
tb uma curva de ROC com os 3. Estamos a verificar que as curvas não
coincidem. Isso deve-se ao facto de num utilizar-mos
BinomialClassificationPerformance e no outro ROCComparator??
Resposta. Podem entrar no novo fórum de RapidMiner que está agora
óptimo e
submeter esta pergunta. A Ana Raquel e Vítor escreveram ai e receberam
logo
muitas dicas.
Bom trabalho para todos,
Cumprimentos,
Gladys
Gladys Castillo
Jun 2, 2008, 10:20:40 AM6/2/08
to Aprendizagem Computacional na UA
Caros alunos:
Devido ao imenso trabalho que sei muitos de vocês têm no fim deste
semestre decidi não fazer a ultima aula de AC como previsto. Eu queria
aproveitar esta aula para falar sobre os classificadores de Redes
Bayesianas e sobre o meu trabalho de investigação (algoritmos de
aprendizagem adaptativos). Mas nesta altura, devido ao esgotamento e
stress acumulado no final do semestre sei que poucos vão ter a
capacidade exigida para poder participar na aula com o interesse que
eu gostaria. Por isso, vou disponibilizar estas três últimas horas de
aula para que possam trabalhar no vosso trabalho TP3 e assim tratar
de termina-lo para a data indicada. Gostaria que todos tratem de
cumprir com o calendário proposto e que só mesmo em casos
excepcionais adiem a entrega.
Cumprimentos,
Gladys
Devido ao imenso trabalho que sei muitos de vocês têm no fim deste
semestre decidi não fazer a ultima aula de AC como previsto. Eu queria
aproveitar esta aula para falar sobre os classificadores de Redes
Bayesianas e sobre o meu trabalho de investigação (algoritmos de
aprendizagem adaptativos). Mas nesta altura, devido ao esgotamento e
stress acumulado no final do semestre sei que poucos vão ter a
capacidade exigida para poder participar na aula com o interesse que
eu gostaria. Por isso, vou disponibilizar estas três últimas horas de
aula para que possam trabalhar no vosso trabalho TP3 e assim tratar
de termina-lo para a data indicada. Gostaria que todos tratem de
cumprir com o calendário proposto e que só mesmo em casos
excepcionais adiem a entrega.
Cumprimentos,
Gladys
Marco Amaral
Jun 3, 2008, 3:46:19 PM6/3/08
to Aprendizagem Computacional na UA
Professora
Eu agradeço imenso o facto da professora disponibilizar o tempo da
aula para trabalharmos no projecto.
A mim facilita-me muito a vida já que esta semana não tenho mãos a
medir...
Cumprimentos, Marco Amaral
Eu agradeço imenso o facto da professora disponibilizar o tempo da
aula para trabalharmos no projecto.
A mim facilita-me muito a vida já que esta semana não tenho mãos a
medir...
Cumprimentos, Marco Amaral
Gladys Castillo
Jun 17, 2008, 5:58:45 PM6/17/08
to Aprendizagem Computacional na UA
Caros alunos:
As minhas aulas em España correram muito bem (podem ver o curso que
preparei aqui no grupo pois crei uma nova pagina "Curso Malaga", todo
em español). Até consegui inserir lá alguns slides com algum de vossos
trabalhos e projectos! Todos gostaram muito..
Já estou por aqui pronta para começar a receber os vossos trabalhos
TP3. Neste momento apenas Luis P. e Rui o têm enviado. Sei que todos
andam muito aflitos, mas como eu defini todo isto como avaliação
continua, para mim seria menos complicado se entregassem o trabalho
durante esta semana (incluindo fim-de-semana) ou caso extremo no
inicio da outra. Podiam, por favor, fazer um reply a este post para me
comunicar quando é que cada equipe tem planeado entregar? Assim eu
posso ir fazendo os meus planes para a correcção e também para
combinar nos reunir para uma pequena discussão. Também se alguém
precisar da minha ajuda ou concelhos é só enviar-me um email para
combinar nos encontrar no departamento.
Desejo-vos sinceramente a todos que os exames estejam a correr pelo
melhor e que todos possam atingir os objectivos traçados neste
semestre! Já quase quase estão de ferias...vão ver!
Cumprimentos,
Gladys
As minhas aulas em España correram muito bem (podem ver o curso que
preparei aqui no grupo pois crei uma nova pagina "Curso Malaga", todo
em español). Até consegui inserir lá alguns slides com algum de vossos
trabalhos e projectos! Todos gostaram muito..
Já estou por aqui pronta para começar a receber os vossos trabalhos
TP3. Neste momento apenas Luis P. e Rui o têm enviado. Sei que todos
andam muito aflitos, mas como eu defini todo isto como avaliação
continua, para mim seria menos complicado se entregassem o trabalho
durante esta semana (incluindo fim-de-semana) ou caso extremo no
inicio da outra. Podiam, por favor, fazer um reply a este post para me
comunicar quando é que cada equipe tem planeado entregar? Assim eu
posso ir fazendo os meus planes para a correcção e também para
combinar nos reunir para uma pequena discussão. Também se alguém
precisar da minha ajuda ou concelhos é só enviar-me um email para
combinar nos encontrar no departamento.
Desejo-vos sinceramente a todos que os exames estejam a correr pelo
melhor e que todos possam atingir os objectivos traçados neste
semestre! Já quase quase estão de ferias...vão ver!
Cumprimentos,
Gladys
Nuno Santos
Jun 17, 2008, 7:06:19 PM6/17/08
to aprendi...@googlegroups.com
Boa Noite!
No que diz respeito ao nosso grupo, não conseguimos ter o trabalho pronto antes de Domingo de certeza. Contamos entregar na pior das hipóteses 3ª Feira. Isto, na pior das hipóteses.
Se entretanto o concluirmos no Domingo, enviamo-lo de imediato.
Gratos pela atenção
Nuno Santos
Marco Amaral
Se entretanto o concluirmos no Domingo, enviamo-lo de imediato.
Gratos pela atenção
Nuno Santos
Marco Amaral
2008/6/17 Gladys Castillo <gla...@ua.pt>:
ANA SOFIA DE MELO E RAMOS
Jun 18, 2008, 4:26:00 AM6/18/08
to aprendi...@googlegroups.com
Bom dia!
Tal como lhe tinha dito, para nós é impossível entregar o
trabalho TP3 esta semana, pois não nos conseguimos reunir
antes de Sábado. Tentaremos acabar o trabalho durante o
fim de semana, o mais tardar início da próxima semana.
Dado que uma de nós está a trabalhar em Lisboa e já não
tem grande facilidade de vir à Sexta (pois acabaram as
aulas), marcar a defesa deste trabalho será um pouco
complicado. O ideal seria num sábado, mas se tal não for
possível, dá para marcar para uma segunda-feira de manhã
ou sexta-feira à tarde?
No caso de ser uma segunda ou sexta, é necessário que a
professora assine uma justificação do género da dos exames
para que a Cristina possa entregar no trabalho. Há algum
problema nisso?
Obrigado!
Ana Sofia
Cristina
Em Tue, 17 Jun 2008 14:58:45 -0700 (PDT)
Gladys Castillo <gla...@ua.pt> escreveu:
Gladys Castillo Jordán
Jun 18, 2008, 4:51:51 AM6/18/08
to aprendi...@googlegroups.com
Olá Ana Sofia e Cristina:
Se vocês me podem entregar o trabalho durante este fim-de-semana podiamos
marcar esta segunda-feira de manhã para nos encontrar, sempre e quando a
Cristina não lhe afecte perder essa manhã de trabalho (claro q. eu posso
assinar a declaração para justificar a falta). Caso ela possa ficar afectada
por faltar então falo só apenas com a Ana Sofia.
Se vocês me podem entregar o trabalho durante este fim-de-semana podiamos
marcar esta segunda-feira de manhã para nos encontrar, sempre e quando a
Cristina não lhe afecte perder essa manhã de trabalho (claro q. eu posso
assinar a declaração para justificar a falta). Caso ela possa ficar afectada
por faltar então falo só apenas com a Ana Sofia.
Cps,
Gladys
ANA SOFIA DE MELO E RAMOS
Jun 18, 2008, 5:14:36 AM6/18/08
to aprendi...@googlegroups.com
Olá!
Já falei com a Cristina e realmente não lhe dá muito jeito
ter de faltar ao trabalho. Deste modo, se possível,
falaria apenas comigo. Vamos fazer os possíveis para
acabarmos o TP3 este fim de semana.
Ana Sofia
Em Wed, 18 Jun 2008 09:51:51 +0100
Gladys Castillo Jordán <gla...@ua.pt> escreveu:
Lara
Jun 18, 2008, 9:34:47 AM6/18/08
to Aprendizagem Computacional na UA
Boa tarde.
Conforme lhe dissemos no e-mail, não temos a certeza se conseguimos
acabar o trabalho até sexta. De qualquer maneira, o mais tardar,
sabado enviamos. É possivel a defesa do nosso trabalho ser apenas dia
26? É que, por causa dos exames, não nos dá jeito antes.
Lara e André
Conforme lhe dissemos no e-mail, não temos a certeza se conseguimos
acabar o trabalho até sexta. De qualquer maneira, o mais tardar,
sabado enviamos. É possivel a defesa do nosso trabalho ser apenas dia
26? É que, por causa dos exames, não nos dá jeito antes.
Lara e André
a33...@ua.pt
Jun 18, 2008, 2:28:57 PM6/18/08
to Aprendizagem Computacional na UA
Professora, para mim e para a Elena é complicado entregar até sexta,
pois ela está a trabalhar e também tem estado a estudar para os
exames. Deste modo, não temos tido muito tempo para nos encontrar.
Esperamos ter o trabalho pronto o mais rápido possível...Vamos tentar
entregar no domingo.
Cumprimentos
Joana e Elena
efe...@gmail.com
Jun 18, 2008, 7:49:06 PM6/18/08
to Aprendizagem Computacional na UA
Olá
Eu estou a contar entregar o meu trabalho entre Sábado e Domingo.
Tenho tido bastante trabalho na escola. Para a defesa sugeria quinta
26 (manhã ou tarde) ou sexta 27 (de manhã). Neste momento são as
disponibilidades que disponho!
Cumprimentos
Francisco
Eu estou a contar entregar o meu trabalho entre Sábado e Domingo.
Tenho tido bastante trabalho na escola. Para a defesa sugeria quinta
26 (manhã ou tarde) ou sexta 27 (de manhã). Neste momento são as
disponibilidades que disponho!
Cumprimentos
Francisco
Ana Coelho
Jun 19, 2008, 3:15:09 AM6/19/08
to aprendi...@googlegroups.com
Bom dia a todos.
Eu e o Vitor Hugo contavamos ja ter entregue o trabalho, no entanto, o emprego esta semana não nos tem facilitado a vida e então ainda nem deu para nos encontrarmos pessoalmente. Temos apenas falado pela net e trabalhado um pouco.
Entre sábado e domingo vamos também enviar-lhe o nosso trabalho.
Quanto à defesa, eu tenho apenas possibilidade de me deslocar a Aveiro durante a semana depois das 18h/18:30. Só tenho férias a partir de 1 de Julho mas já é tarde para a defesa suponho.
Atentamente, Ana Raquel e Vitor Hugo
2008/6/17 Gladys Castillo <gla...@ua.pt>:
Pedro
Jun 19, 2008, 1:23:30 PM6/19/08
to Aprendizagem Computacional na UA
Boa tarde, nós (Pedro e Rui) gostaríamos de fazer a apresentação do
trabalho se possível na segunda-feira (dia 23) de manha. Caso seja
possível pode marcar uma hora. Relativamente á apresentação, esta
apenas será oral e sobre o terceiro trabalho, certo??
Aguardamos resposta….
Cumprimentos
Pedro e Rui
trabalho se possível na segunda-feira (dia 23) de manha. Caso seja
possível pode marcar uma hora. Relativamente á apresentação, esta
apenas será oral e sobre o terceiro trabalho, certo??
Aguardamos resposta….
Cumprimentos
Pedro e Rui
Gladys Castillo Jordán
Jun 19, 2008, 6:00:38 PM6/19/08
to aprendi...@googlegroups.com
Olá Pedro e Rui:
Podemos combinar para segunda-feira pelas 11:00 no meu gabinete? Não
precisam de preparar nenhuma apresentação, apenas vou lhe fazer algumas
perguntas sobre este trabalho e em geral sobre o vosso tema.
Cumprimentos,
Gladys
-----Original Message-----
From: aprendi...@googlegroups.com
[mailto:aprendi...@googlegroups.com] On Behalf Of Pedro
Sent: quinta-feira, 19 de Junho de 2008 18:24
To: Aprendizagem Computacional na UA
Subject: Re: Trabalho TP3- Discussão
Pedro
Jun 19, 2008, 6:05:50 PM6/19/08
to Aprendizagem Computacional na UA
Boa noite, pode ficar então para segunda as 11h.
Cumprimentos
Pedro e Rui
Cumprimentos
Pedro e Rui
Gladys Castillo
Jun 22, 2008, 2:50:33 PM6/22/08
to Aprendizagem Computacional na UA
Boa tarde a todos:
Já tenho os trabalhos TP3 dos temas 1,2, 3 e 4. Faltam os trabalhos
dos temas 5, 6 e 7. Espero que até o fim do dia de hoje possa ter-los
todos.
Eu gostaria de poder fazer todas as defesas antes da próxima 5ª-
feira. Amanha estou disponível todo o dia, 3ª toda a manha até as
13:00. Depois vou ter vigilância e quando acabe (deve ser pelas 17:30)
estou novamente disponível, 4ª todo o dia. Eu posso ficar até tarde
por se aqueles que trabalham (Ana Raquel, Vitor, Franciso, Elena)
quiserem passar depois do vosso horário de trabalho. Mas lembrem-se
que nos amanha as 15:00 temos marcado o exame final, por isso se
precisarem de uma justificação para faltar ao emprego eu posso assina-
la e podíamos já assim aproveitar esse horário marcado para o nosso
exame para realizar a defesa.
Já actualizei na página aqui do grupo com título "Trabalhos alunos"
todos os trabalhos que me têm enviado, incluído o último. Peço-vos
para verificar se está tudo OK com os links e se realmente está
colocada a ultima versão entregue.
Continuação de bom fim-de-semana,
Gladys
Já tenho os trabalhos TP3 dos temas 1,2, 3 e 4. Faltam os trabalhos
dos temas 5, 6 e 7. Espero que até o fim do dia de hoje possa ter-los
todos.
Eu gostaria de poder fazer todas as defesas antes da próxima 5ª-
feira. Amanha estou disponível todo o dia, 3ª toda a manha até as
13:00. Depois vou ter vigilância e quando acabe (deve ser pelas 17:30)
estou novamente disponível, 4ª todo o dia. Eu posso ficar até tarde
por se aqueles que trabalham (Ana Raquel, Vitor, Franciso, Elena)
quiserem passar depois do vosso horário de trabalho. Mas lembrem-se
que nos amanha as 15:00 temos marcado o exame final, por isso se
precisarem de uma justificação para faltar ao emprego eu posso assina-
la e podíamos já assim aproveitar esse horário marcado para o nosso
exame para realizar a defesa.
Já actualizei na página aqui do grupo com título "Trabalhos alunos"
todos os trabalhos que me têm enviado, incluído o último. Peço-vos
para verificar se está tudo OK com os links e se realmente está
colocada a ultima versão entregue.
Continuação de bom fim-de-semana,
Gladys
Francisco Moço
Jun 22, 2008, 5:56:55 PM6/22/08
to aprendi...@googlegroups.com, gla...@ua.pt
Olá Dra
Pelo que percebi terá de ser mesmo até quarta? Não pode mesmo ser na quinta de manhã?
Segunda e terça para mim é-me impossível. Na quarta de manhã vou a Aveiro fazer o exame de Criptografia. De seguida tenho de voltar para a Figueira, pois tenho uma reunião às 15:30 que deverá acabar no máximo até às 18:00. Se me puder receber por volta das 19:00 poderei voltar a Aveiro no mesmo dia.
Diga-me qq coisa por favor.
Obrigado.
Francisco
Pelo que percebi terá de ser mesmo até quarta? Não pode mesmo ser na quinta de manhã?
Segunda e terça para mim é-me impossível. Na quarta de manhã vou a Aveiro fazer o exame de Criptografia. De seguida tenho de voltar para a Figueira, pois tenho uma reunião às 15:30 que deverá acabar no máximo até às 18:00. Se me puder receber por volta das 19:00 poderei voltar a Aveiro no mesmo dia.
Diga-me qq coisa por favor.
Obrigado.
Francisco
________________________________
Reply all
Reply to author
Forward
0 new messages