Cheap production, scarce judgment

[Gisele Dalva]

Saudações,

Gostei dessas ponderações sobre as recentes manifestações de Gowers e Tao sobre os chats na matemática:

Cheap production, scarce judgment — Chad M. Topaz https://www.chadtopaz.com/essays/gowers-response.html https://chadtopaz.com/essays/gowers-response

Cordial,

G.  

[Walter Carnielli]

Sobre a postagem de Tim Gowers: é um tanto triste constatar que Gowers e seus colaboradores concluam que futuros matemáticos talvez não obtenham as mesmas recompensas que seus equivalentes de uma geração atrás. 

E que resta a elas/eles como consolação,  continuar a sofrer fazendo matemática, a fim de "manterem-se equipados" diante da IA.

O fato de que a IA pode atuar como colaboradora,  mas também como fator disruptivo das práticas de pesquisa e de formação acadêmica, foi, a meu ver, tratado de forma suficiente em meu artigo na Circumscribere.

 ========================
 Walter Carnielli
CLE and Department of Philosophy
University of Campinas –UNICAMP, Brazil

 AI2- Advanced Institute for Artificial Intelligence 

Blog https://waltercarnielli.com/

 

--
LOGICA-L
Lista acadêmica brasileira dos profissionais e estudantes da área de Lógica <logi...@dimap.ufrn.br>
---
Você recebeu essa mensagem porque está inscrito no grupo "LOGICA-L" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para logica-l+u...@dimap.ufrn.br.
Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CAOmQKJfTHKHKWwtCLLbzv8Y5tv1L0BWJi%3Dx0c%2BTf2rQNkrstvA%40mail.gmail.com.

[Joao Marcos]

As três perguntas do Tao ("what counts as a proof, what counts as a
paper, and what the profession is for") são muito boas, e precisamos
realmente refletir sobre elas.

Sobre o post do Topaz, eu fico com vontade de dizer muitas coisas,
entre as quais:

> There isn’t a matching blog post called “ChatGPT 5.5 Pro spent an hour producing a confident, plausible, but subtly wrong proof of a small open problem and I almost believed it.”

Podemos trocar isso pela frase
“(The human) John Doe spent four years producing a confident,
plausible, but subtly wrong proof of a small open problem and I almost
believed it.”

> Cases like that almost certainly exist, but we don’t see them because people rarely write up failures with the same care.

Na área de Matemática praticamente não há literatura (escrita por
humanos) sobre falhas. Mas as LLMs, curiosamente, estão ficando cada
vez melhores em encontrar e evidenciar falhas nos raciocínios dos
humanos!

> We don’t know how many similar problems the model would fail on, or how much the success depended on how the problem was presented.

Podemos trocar aí "the model" por "the student", ou mais geralmente
"the human mathematician".

> These are real questions. Any claim about “AI doing research-level mathematics” needs to answer them to be meaningful.

Isto provavelmente vale para "any claim about John Doe doing
research-level mathematics".

> The cost of checking proofs doesn’t get enough attention. In theory, math has an advantage: a careful reader can spot a wrong proof.

O folclore anedótico da área de Matemática é de que a maior parte dos
papers que se publicam (após revisão por pares) contém erros de várias
magnitudes...

> That helps protect against mistakes from AI. But checking proofs takes expert time, and that doesn’t scale as quickly as AI can generate new work. If thousands of AI-assisted papers start showing up on arXiv, the main challenge will shift from creating proofs to checking them. The informal trust systems math has relied on may not keep up either.

Um dos principais usos dos computadores é justamente na tarefa de
*verificação formal* de demonstrações, para diminuir o custo sobre os
ombros dos humanos e garantir *segurança*.

Uma nova versão do excelente "Mechanizing Proof: Computing, Risk, and
Trust", do Donald Mackenzie, seria muito bem-vinda!

> Most of the discussion so far has ignored the issue of access.

Sim! E isso vale igualmente para o custo de acesso a grandes
universidades, e o custo de pagar um humano para fazer sua formação em
pesquisa durante anos a fio, muitas vezes resultando em um output
medíocre.

> If graduate students use AI to skip the slow process of making mistakes and learning from them, the field might see a short-term boost in productivity but lose the deep expertise needed to guide and check AI’s work.

É um argumento muito relevante, mas também se parece muito com alguns
argumentos que foram usados quando as calculadoras foram inventadas...

Mas um dos grandes desafios parece estar aí: como *educar* humanos em
situações em que trapacear é muito mais fácil do que fazer o trabalho
duro de aprender?

Joao Marcos

> --
> LOGICA-L
> Lista acadêmica brasileira dos profissionais e estudantes da área de Lógica <logi...@dimap.ufrn.br>
> ---
> Você recebeu essa mensagem porque está inscrito no grupo "LOGICA-L" dos Grupos do Google.
> Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para logica-l+u...@dimap.ufrn.br.
> Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CAOmQKJfTHKHKWwtCLLbzv8Y5tv1L0BWJi%3Dx0c%2BTf2rQNkrstvA%40mail.gmail.com.

--
https://sites.google.com/site/sequiturquodlibet/

[Márcio Palmares]

Muito legais essas ponderações do João Marcos às ponderações do Chad Topaz. :-)

Como começou outra thread, vou deixar aqui de novo os links para o artigo do Walter e o artigo do Bessis, caso alguém fique perdido:

Bessis: https://davidbessis.substack.com/p/the-fall-of-the-theorem-economy

Walter: https://revistas.pucsp.br/index.php/circumhc/article/view/55033

O artigo do Walter tem muitos pontos que poderiam/deveriam ser desdobrados, é panorâmico... Não consigo abordar a paisagem inteira de uma vez. Vou me concentrar em um ponto apenas: a passagem da IA simbólico-lógica para a IA estatístico-probabilística, a controvérsia entre a hipótese de Putnam sobre os marcianos e a crítica de Judea Pearl à correlação sem causalidade (este me parece ser o problema central, pois sugere o perigo da emergência de uma "nova" forma de cognição. O problema é: será que é de fato nova?).    

Sempre que discutimos o que é o pensamento lógico, o pensamento racional, sobre como fazemos inferências, fazemos distinção entre o que realmente acontece em nosso cérebro e o que é posteriormente descrito sob a forma de um argumento válido, por exemplo. Ao resolvermos um problema lógico, como o problema dos brincos e das princesas no livro do Cezar Mortari, usamos nossa "inteligência", nossa "razão", nossa "intuição": imaginamos, ensaiamos, chutamos, adivinhamos, erramos várias vezes primeiro, tentamos de novo... Quando finalmente estamos seguros da solução, escrevemos a resolução do problema sob a forma de um argumento válido. Mas essas fases do pensamento, condensadas sob a forma de proposições numa estrutura não são o próprio pensamento dedutivo, não se identificam com o que realmente acontece em nossa mente. São uma fase posterior do trabalho, que consiste em convencer alguém da resolução que encontramos mostrando os cumes, apenas as pontas do iceberg do que realmente fizemos no rascunho.

Todo lógico é suficientemente esperto para não confundir o pensamento racional com a reconstrução lógica posterior dos cumes, dos produtos desse pensamento.

Matemáticos raramente são espertos assim. E muitos matemáticos gostam de confundir o pensamento matemático com a reconstrução escrita dos resultados desse pensamento. Algumas pessoas acreditam que a matemática é a própria manipulação de símbolos, coincide ou se identifica com a escrita dos resultados, ou com a lógica que sustenta o argumento usado na demonstração...

Não estou com meu livro em mãos, mas acho que todo mundo já leu aquela célebre advertência do Richard Courant no "What is Mathematics" (vou citar de memória):

"Uma séria ameaça para a verdadeira vida da ciência aparece contida na ideia de que a matemática não seria nada mais do que a mera manipulação de símbolos sem conteúdo, ou de afirmações que não sabemos serem verdadeiras ou não, como se a matemática fosse apenas um jogo simbólico. Se assim fosse, a matemática não poderia interessar a nenhuma pessoa inteligente."

Ele estava se opondo a certos slogans do logicismo e do formalismo, que todo mundo conhece.

Por que "séria ameaça para a verdadeira vida da ciência"? O que havia de ameaçador no logicismo ou em versões radicais ou muito simplificadas do formalismo?

Courant defende nesse mesmo texto, que é de 1941, se não me engano (a introdução da obra), o método axiomático moderno: abrir mão da "substância última", da "natureza" dos entes matemáticos, em favor de "estrutura e relação" (ele é quase profético em antever o surgimento do pensamento categorial ou do estruturalismo). Defende que a matemática é um todo orgânico, citando Hilbert. Não poderíamos acusá-lo, portanto, de nenhuma forma de psicologismo ou "intuicionismo" ingênuos...

Ora, é justamente essa "ameaça para a verdadeira vida da ciência" que está nos assombrando agora, com o surgimento dessas máquinas que podem fazer algo que, supostamente, somente humanos fariam. Esse assombro começa porque aprendemos, infelizmente, a identificar a matemática real ("secreta", usando o termo do Bessis) com a forma canônica de exposição dos resultados: escrita formal + demonstração de teoremas.

O problema é que as máquinas podem jogar esse jogo formal de manipulação de símbolos melhor do que nós.

Então, se a matemática fosse o que as caricaturas do logicismo e do formalismo esperariam que ela fosse, o jogo estaria terminado para os humanos, mais ou menos no mesmo sentido em que humanos não vencem mais programas que jogam xadrez (nem por isso o interesse pelo jogo diminuiu. É mais frustrante a existência de um humano praticamente invencível --Carlsen-- do que a existência de máquinas invencíveis).

Mas todos nós que já praticamos alguma matemática nova sabemos que aquilo que exibimos nos nossos artigos acabados não coincide com o que realmente enfrentamos "no rascunho", "secretamente", no laboratório, sujando as mãos: erramos diversas vezes, damos chutes, palpites, usamos adivinhação, sonhamos coisas, sentimos coisas, temos uma "sensação" de que um caminho pode ser mais promissor que o outro, fazemos testes, pensamos probabilisticamente...

Probabilisticamente: "esse caminho provavelmente é melhor". Identificamos padrões. Nosso cérebro é particularmente adequado para identificar padrões (várias dessas identificações são improdutivas, mas somos bons nisso).

E aqui está o tema. O que os LLMs estão mostrando, com probabilidade, estatística, é uma *implementação* (diferente, por certo, da química do nosso cérebro) do que nós fazemos "no rascunho".

Ou seja, estamos diante do espelho, olhando para nós mesmos, mas o reflexo é produzido por uma máquina. Isso o que a máquina faz é uma imitação do que nós fazemos organicamente.

Para mim, este é o maior assombro. Fabricamos um espelho onde estamos vendo agora que probabilidade, heurística, analogia, que anteriormente eram vistas como formas inferiores de raciocínio, produzem conhecimento. Mas isto não é muito diferente do que nós fazemos no rascunho.

Voltando ao Richard Courant. Ele começa o livro dizendo (citando mais uma vez de memória): matemática tem a ver com vontade ativa, busca de sentido estético... Por enquanto, nenhuma máquina acorda pensando: "Hoje vou tentar resolver esse problema aqui... Faz tempo que estou com isso na cabeça." A própria sugestão do problema pelo Tim Gowers empurra a máquina em determinada direção. E as máquinas não parecem preocupadas com sentido de beleza, por enquanto.

Ainda temos um pouco de exclusividade biológica.

Mas o fato verdadeiramente espantoso é que as máquinas mostram parte do que nós realmente fazemos, no rascunho, secretamente: pensar probabilisticamente, detectar padrões em enormes massas de dados (fazemos isso automaticamente), e depois escrever uma versão acabada que raramente tem alguma coisa a ver com o modo como descobrimos a coisa.

É o velho dilema enfrentado por Arquimedes. Ele sujava as mãos no laboratório secreto, usando os indivisíveis de Demócrito para resolver os problemas de quadratura. Depois, escrevia no formato canônico aceito em Alexandria: usando o método de exaustão para a demonstração, ocultando não apenas a gênese, a heurística, mas higienizando o raciocínio, tentando banir o infinito atual e os indivisíveis. Hoje sabemos, no entanto, que Arquimedes valorizava o seu método de descoberta, a matemática secreta, indutiva, experimental...

Não precisamos temer as máquinas, pois elas apenas mostram uma versão implementada do que nós realmente somos.

[]'s

M.

 

 

Você está recebendo esta mensagem porque se inscreveu no grupo "LOGICA-L" dos Grupos do Google.

Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para logica-l+u...@dimap.ufrn.br.

Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CAO6j_Lj8ku4fFUjpCFCO9th3vvXd%3DtUsp%3DG1-a5QTCfzZwvfGg%40mail.gmail.com.