IA ainda *muito* incompetente no que diz respeito ao raciocínio lógico
64 views
Skip to first unread message
Joao Marcos
Apr 11, 2025, 6:57:20 AMApr 11
to Lista acadêmica brasileira dos profissionais e estudantes da área de LOGICA
Muito blefe e pouco argumento?
Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad
https://arxiv.org/abs/2503.21934
ver também:
https://matharena.ai/
%%%
Em um tópico tristemente relacionado, neste semestre me dei conta de
que há hoje em dia alunos que simplesmente já não são mais capazes de
fazer qualquer coisa diferente de papagaiar qualquer coisa que o
ChatGPT lhes tenha soprado ao ouvido, em uma alucinação qualquer. Num
curso de Lógica o resultado disto é simplesmente assustador.
%%%
JM
Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad
https://arxiv.org/abs/2503.21934
ver também:
https://matharena.ai/
%%%
Em um tópico tristemente relacionado, neste semestre me dei conta de
que há hoje em dia alunos que simplesmente já não são mais capazes de
fazer qualquer coisa diferente de papagaiar qualquer coisa que o
ChatGPT lhes tenha soprado ao ouvido, em uma alucinação qualquer. Num
curso de Lógica o resultado disto é simplesmente assustador.
%%%
JM
Adolfo Neto
Apr 11, 2025, 7:15:02 AMApr 11
to Joao Marcos, Lista acadêmica brasileira dos profissionais e estudantes da área de LOGICA
Conta mais desta segunda parte.
Escrevem provas com "alucinações"?
--
LOGICA-L
Lista acadêmica brasileira dos profissionais e estudantes da área de Lógica <logi...@dimap.ufrn.br>
---
Você está recebendo esta mensagem porque se inscreveu no grupo "LOGICA-L" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para logica-l+u...@dimap.ufrn.br.
Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CAO6j_LgNr7jBGW554f%2BGFBk-%2Be9GoupbS7-20BOvapFdnApYUw%40mail.gmail.com.
Walter Carnielli
Apr 11, 2025, 8:11:53 AMApr 11
to Adolfo Neto, Joao Marcos, Lista acadêmica brasileira dos profissionais e estudantes da área de LOGICA
A propósito:
O Laboratório de Inteligência Artificial do Instituto de Computação da
Unicamp tem trabalhanod com detecção de fraudes perpetradas por IA com
bastante sucesso.
Aqui um report de 2022 na Nature-Sc Rep:
https://www.nature.com/articles/s41598-022-21535-3
Estão inclusive com chamada para bolsa de pos-doc em ML e Inteligência
Artificial.
https://recod.ai/2025/01/14/oportunidade-pesquisador-em-ia/
Abs
Walter
Em sex., 11 de abr. de 2025 às 08:15, Adolfo Neto
<adolf...@gmail.com> escreveu:
> Você recebeu essa mensagem porque está inscrito no grupo "LOGICA-L" dos Grupos do Google.
--
========================
Walter Carnielli
CLE and Department of Philosophy
University of Campinas –UNICAMP, Brazil
AI2- Advanced Institute for Artificial Intelligence
Blog https://waltercarnielli.com/
https://www.name-coach.com/walter-carnielli
O Laboratório de Inteligência Artificial do Instituto de Computação da
Unicamp tem trabalhanod com detecção de fraudes perpetradas por IA com
bastante sucesso.
Aqui um report de 2022 na Nature-Sc Rep:
https://www.nature.com/articles/s41598-022-21535-3
Estão inclusive com chamada para bolsa de pos-doc em ML e Inteligência
Artificial.
https://recod.ai/2025/01/14/oportunidade-pesquisador-em-ia/
Abs
Walter
Em sex., 11 de abr. de 2025 às 08:15, Adolfo Neto
<adolf...@gmail.com> escreveu:
> Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para logica-l+u...@dimap.ufrn.br.
> Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CANspyYUJtGgBDJRsGCO%2BBL1wFgY%3D0UMaA22TjQQqiFTaRXBofA%40mail.gmail.com.
--
========================
Walter Carnielli
CLE and Department of Philosophy
University of Campinas –UNICAMP, Brazil
AI2- Advanced Institute for Artificial Intelligence
Blog https://waltercarnielli.com/
https://www.name-coach.com/walter-carnielli
Joao Marcos
Apr 11, 2025, 8:20:53 AMApr 11
to Adolfo Neto, Lista acadêmica brasileira dos profissionais e estudantes da área de LOGICA
> Conta mais desta segunda parte.
>
> Escrevem provas com "alucinações"?
Assumem "fatos plausíveis" e adicionam hipóteses do nada, sem
>
> Escrevem provas com "alucinações"?
justificativa, inventam referências...
Os autores apontam quatro possíveis fontes de erros:
• Logic: Errors due to logical fallacies or unjustified leaps
disrupting the reasoning.
• Assumption: Errors coming from the introduction of unproven or
incorrect assumptions that undermined subsequent steps.
• Creativity: Errors resulting from fundamentally incorrect solution
strategies due to the inability to identify the correct approach.
• Algebra/Arithmetic: Errors arising from critical algebraic or
arithmetic miscalculations.
Podemos dizer que as duas primeiras classes envolvem "erros de lógica", não é?
[]s, JM
https://sites.google.com/site/sequiturquodlibet/
Marcelo Finger
Apr 11, 2025, 8:26:39 AMApr 11
to Walter Carnielli, Adolfo Neto, Joao Marcos, Lista acadêmica brasileira dos profissionais e estudantes da área de LOGICA
Conheço o trabalho do Anderson na Unicamp, é bem interessante e sério.
[]s
Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CAOrCsLfChqdzrkqj01ZaLLjpq4RS8Cax6OSAgf65B87mnNWeyw%40mail.gmail.com.
ORCID: https://orcid.org/0000-0002-1391-1175
ResearcherID: A-4670-2009
ResearcherID: A-4670-2009
Instituto de Matemática e Estatística,
Universidade de São Paulo
Rua do Matão, 1010 - CEP 05508-090 - São Paulo, SP
Eduardo Ochs
Apr 11, 2025, 11:38:28 AMApr 11
to Joao Marcos, Lista acadêmica brasileira dos profissionais e estudantes da área de LOGICA
Eu costumava achar que os meus alunos de Cálculo 2 - que são do curso
de Engenharia de Produção - eram infinitamente piores do que os de
vocês...
<rambling mode on>
Eu comecei esse semestre dizendo que um dos nossos objetivos é
aprender a fazer contas sem aipins, onde "o" aipim é essa fórmula
daqui,
[Aipim] = (sqrt(a^2+b^2) = a+b)
e "aipins" vai ser o termo genérico pra fórmulas que não são sempre
verdadeiras... e eu vou usar o termo "mangas" pra me referir a
palavras que têm vários sentidos totalmente diferentes. As duas mangas
mais óbvias são o "=" e o "->", mas "justificativa" também é uma
manga... eu digo que eles têm que ser capazes de justificar cada passo
das contas deles, mas eles interpretam "justificativa" como
"justificativa no sentido do Antônio", e eles ficam tentando me
convencer de que nas matérias do Antônio eles podem fazer qualquer
besteira na prova e se eles explicarem na vista de prova o que
pensaram o Antônio dá um monte de pontos pra eles... e aí nas vistas
de prova das minhas provas eles tentam justificar uns passos deles -
tipo uns aipins - de jeitos como esse aqui:
- Pôxa, eu aprendi isso num vídeo!
- Qual vídeo? Me manda o link?
- Eu não lembro!
Será que o Antônio aceita esse tipo de justificativa? Será? Será?
Eu não sei! Eu não sei!
Aí agora eu tou dizendo que "justificativa" tem vários sentidos
diferentes, e no meu curso "justificar um passo de uma conta" vai ser
no sentido "calc sem rw", não no sentido "Antônio". E eu mostro esse
exemplo aqui, adaptado de um dos manuais do Lean - screenshot
colorido: <http://anggtwu.net/IMAGES/2025-lean-marco.png> - em que o
primeiro uso do "calc" não usa o "rw" mas os outros "calc"s usam cada
vez mais features do "rw"...
variable (a b c d e : Nat)
variable (h1 : a = b)
variable (h2 : b = c + 1)
variable (h3 : c = d)
variable (h4 : e = 1 + d)
#check (h1 : a = b)
#check (h2 : b = c + 1)
#check (Eq.trans h1 h2 : a = c + 1)
#check (h3 : c = d)
#check (congrArg (·+1) h3 : c + 1 = d + 1)
#check (h4 : e = 1 + d)
#check (Eq.symm h4 : 1 + d = e)
include h1 h2 h3 h4 in
theorem T1 :
a = e := calc
a = b := h1
_ = c + 1 := h2
_ = d + 1 := congrArg Nat.succ h3
_ = 1 + d := Nat.add_comm d 1
_ = e := Eq.symm h4
include h1 h2 h3 h4 in
theorem T2 :
a = e := calc
a = b := by rw [h1]
_ = c + 1 := by rw [h2]
_ = d + 1 := by rw [h3]
_ = 1 + d := by rw [Nat.add_comm]
_ = e := by rw [h4]
include h1 h2 h3 h4 in
theorem T3 :
a = e := calc
a = d + 1 := by rw [h1, h2, h3]
_ = 1 + d := by rw [Nat.add_comm]
_ = e := by rw [h4]
include h1 h2 h3 h4 in
theorem T4 : a = e :=
by rw [h1, h2, h3, Nat.add_comm, h4]
include h1 h2 h3 h4 in
theorem T5 : a = e :=
by simp [h1, h2, h3, Nat.add_comm, h4]
Eu tou usando a beça esse material aqui,
http://anggtwu.net/LATEX/2025-1-C2-intro.pdf
e às vezes eu descubro umas coisas fascinantes. Tipo, acabei de
descobrir que há 9 meses atrás os alunos fizeram umas reclamações
contra mim e que um mês depois essas reclamações viraram um ofício...
e eu só soube da existência desse ofício há um mês atrás e só consegui
ter acesso a ele na semana passada, e um dos itens dele diz isso aqui:
4) Metodologia de ensino baseada em repetição ("Integre como um
macaco") e tentativa e erro, sem desenvolvimento de pensamento
crítico. Essa abordagem vai de encontro ao perfil profissional do
egresso em Engenharia de Produção da UFF, que tem como principais
características:
I - ter visão holística e humanista, ser crítico, reflexivo,
criativo, cooperativo e ético e com forte formação técnica;
II - estar apto a pesquisar, desenvolver, adaptar e utilizar
novas tecnologias, com atuação inovadora e empreendedora;
III - ser capaz de reconhecer as necessidades dos usuários,
formular, analisar e resolver, de forma criativa, os problemas de
Engenharia;
IV - adotar perspectivas multidisciplinares e transdisciplinares
em sua prática;
V - considerar os aspectos globais, políticos, econômicos,
sociais, ambientais, culturais e de segurança e saúde no
trabalho;
Acho que quando os alunos fizeram essa reclamação a coordenação
resolveu se livrar do problema simplesmente passando a reclamação
adiante e botando ela no ofício... mas pega meio mal, né, porque agora
eu arranjei teorias novas sobre porque é que tantos alunos acham que
fazer contas é desnecessário e humilhante...
Btw, o macaco é uma referência a isso aqui,
http://anggtwu.net/mathologer-calculus-easy.html#15:12
http://anggtwu.net/mathologer-calculus-easy.html#18:18
e tem mais historinhas aqui:
http://anggtwu.net/2025.1-C2.html#o-puro-e-um-lixo
<rambling mode off>
Compartilhem mais coisas de vocês, por favor!
[[]],
Eduardo
vocês...
<rambling mode on>
Eu comecei esse semestre dizendo que um dos nossos objetivos é
aprender a fazer contas sem aipins, onde "o" aipim é essa fórmula
daqui,
[Aipim] = (sqrt(a^2+b^2) = a+b)
e "aipins" vai ser o termo genérico pra fórmulas que não são sempre
verdadeiras... e eu vou usar o termo "mangas" pra me referir a
palavras que têm vários sentidos totalmente diferentes. As duas mangas
mais óbvias são o "=" e o "->", mas "justificativa" também é uma
manga... eu digo que eles têm que ser capazes de justificar cada passo
das contas deles, mas eles interpretam "justificativa" como
"justificativa no sentido do Antônio", e eles ficam tentando me
convencer de que nas matérias do Antônio eles podem fazer qualquer
besteira na prova e se eles explicarem na vista de prova o que
pensaram o Antônio dá um monte de pontos pra eles... e aí nas vistas
de prova das minhas provas eles tentam justificar uns passos deles -
tipo uns aipins - de jeitos como esse aqui:
- Pôxa, eu aprendi isso num vídeo!
- Qual vídeo? Me manda o link?
- Eu não lembro!
Será que o Antônio aceita esse tipo de justificativa? Será? Será?
Eu não sei! Eu não sei!
Aí agora eu tou dizendo que "justificativa" tem vários sentidos
diferentes, e no meu curso "justificar um passo de uma conta" vai ser
no sentido "calc sem rw", não no sentido "Antônio". E eu mostro esse
exemplo aqui, adaptado de um dos manuais do Lean - screenshot
colorido: <http://anggtwu.net/IMAGES/2025-lean-marco.png> - em que o
primeiro uso do "calc" não usa o "rw" mas os outros "calc"s usam cada
vez mais features do "rw"...
variable (a b c d e : Nat)
variable (h1 : a = b)
variable (h2 : b = c + 1)
variable (h3 : c = d)
variable (h4 : e = 1 + d)
#check (h1 : a = b)
#check (h2 : b = c + 1)
#check (Eq.trans h1 h2 : a = c + 1)
#check (h3 : c = d)
#check (congrArg (·+1) h3 : c + 1 = d + 1)
#check (h4 : e = 1 + d)
#check (Eq.symm h4 : 1 + d = e)
include h1 h2 h3 h4 in
theorem T1 :
a = e := calc
a = b := h1
_ = c + 1 := h2
_ = d + 1 := congrArg Nat.succ h3
_ = 1 + d := Nat.add_comm d 1
_ = e := Eq.symm h4
include h1 h2 h3 h4 in
theorem T2 :
a = e := calc
a = b := by rw [h1]
_ = c + 1 := by rw [h2]
_ = d + 1 := by rw [h3]
_ = 1 + d := by rw [Nat.add_comm]
_ = e := by rw [h4]
include h1 h2 h3 h4 in
theorem T3 :
a = e := calc
a = d + 1 := by rw [h1, h2, h3]
_ = 1 + d := by rw [Nat.add_comm]
_ = e := by rw [h4]
include h1 h2 h3 h4 in
theorem T4 : a = e :=
by rw [h1, h2, h3, Nat.add_comm, h4]
include h1 h2 h3 h4 in
theorem T5 : a = e :=
by simp [h1, h2, h3, Nat.add_comm, h4]
Eu tou usando a beça esse material aqui,
http://anggtwu.net/LATEX/2025-1-C2-intro.pdf
e às vezes eu descubro umas coisas fascinantes. Tipo, acabei de
descobrir que há 9 meses atrás os alunos fizeram umas reclamações
contra mim e que um mês depois essas reclamações viraram um ofício...
e eu só soube da existência desse ofício há um mês atrás e só consegui
ter acesso a ele na semana passada, e um dos itens dele diz isso aqui:
4) Metodologia de ensino baseada em repetição ("Integre como um
macaco") e tentativa e erro, sem desenvolvimento de pensamento
crítico. Essa abordagem vai de encontro ao perfil profissional do
egresso em Engenharia de Produção da UFF, que tem como principais
características:
I - ter visão holística e humanista, ser crítico, reflexivo,
criativo, cooperativo e ético e com forte formação técnica;
II - estar apto a pesquisar, desenvolver, adaptar e utilizar
novas tecnologias, com atuação inovadora e empreendedora;
III - ser capaz de reconhecer as necessidades dos usuários,
formular, analisar e resolver, de forma criativa, os problemas de
Engenharia;
IV - adotar perspectivas multidisciplinares e transdisciplinares
em sua prática;
V - considerar os aspectos globais, políticos, econômicos,
sociais, ambientais, culturais e de segurança e saúde no
trabalho;
Acho que quando os alunos fizeram essa reclamação a coordenação
resolveu se livrar do problema simplesmente passando a reclamação
adiante e botando ela no ofício... mas pega meio mal, né, porque agora
eu arranjei teorias novas sobre porque é que tantos alunos acham que
fazer contas é desnecessário e humilhante...
Btw, o macaco é uma referência a isso aqui,
http://anggtwu.net/mathologer-calculus-easy.html#15:12
http://anggtwu.net/mathologer-calculus-easy.html#18:18
e tem mais historinhas aqui:
http://anggtwu.net/2025.1-C2.html#o-puro-e-um-lixo
<rambling mode off>
Compartilhem mais coisas de vocês, por favor!
[[]],
Eduardo
Marcelo Finger
Apr 11, 2025, 1:48:17 PMApr 11
to Eduardo Ochs, Joao Marcos, Lista acadêmica brasileira dos profissionais e estudantes da área de LOGICA
Eduardo.
;-)
Eu acho um horror você denegrir a culinária e a cultura nacional, chamando de aipim o que mereceria ser chamado de biguimequi.
Att
--
LOGICA-L
Lista acadêmica brasileira dos profissionais e estudantes da área de Lógica <logi...@dimap.ufrn.br>
---
Você recebeu essa mensagem porque está inscrito no grupo "LOGICA-L" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para logica-l+u...@dimap.ufrn.br.
Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CADs%2B%2B6hrof-T2Kc%2BUod6NM_UMCdWTvMOPVBG%3Dv-041rT8%2BfRCA%40mail.gmail.com.
Reply all
Reply to author
Forward
0 new messages