Como o Lema de Yoneda ajuda a extrair semântica dos Large Language Models

[Walter Carnielli]

Pessoal,

Há poucos dias, fiquei sabendo de uma conexão muito interessante entre
lógica, categoria e raciocínio sobre Inteligência Artificial.

Achei tão fascinante que gostaria de compartilhar com vocês. Está no artigo

“An Enriched Category Theory of Language: From Syntax to Semantics”
Tai-Danae Bradley¹ · John Terilla² · Yiannis Vlassopoulos
La Matematica (2022) 1:551–580
https://doi.org/10.1007/s44007-022-00021-2

https://arxiv.org/abs/2106.07890

Thomas Seiller, do CNRS (Paris Nord), falou sobre isso aqui no Keck
Center da Chapman no dia 24.

Em resumo:

Grandes Modelos de Linguagem (LLM), como sabemos, geram textos em
linguagem natural a partir de qualquer entrada. O artigo propõe uma
estrutura matemática para passar de distribuições de probabilidade
sobre textos, como as que são aprendidas pelos modelos de linguagem
atuais, para uma categoria muito mais rica que contenha informações
semânticas.

Os objetos dessa categoria são expressões linguísticas, e os morfismos
são probabilidades condicionais de que uma expressão seja uma extensão
de outra. Usando o Lema de Yoneda, eles passam para a categoria
enriquecida de pre-sheaves (pre-feixes). Essa abordagem gera uma
categoria semântica, que inclui operações lógicas que permitem
extensão para conceitos semânticos mais elaborados.

O belo disso é que explica o que chamamos de "semântica" nos LLM (GPT
e agora DeepSeek), e isso, às vezes surpreende. Pelo menos a mim, me
surpreende, embora eu saiba que é um conjunto de algoritmos envolvendo
álgebra linear, probabilidades condicionais e cálculo 1. Parece
impossível gerar semântica a partir disso…

Abraços.

Walter


--
========================
Walter Carnielli
CLE and Department of Philosophy
University of Campinas –UNICAMP, Brazil

Chapman University, Orange, CA, USA

AI2- Advanced Institute for Artificial Intelligence
Blog https://waltercarnielli.com/

https://www.name-coach.com/walter-carnielli

[João Paulo Cirineu de Jesus]

Olá a todos e, em particular, ao Prof. Carnielli.

Bastante interesse o artigo. Tanto que compartilhei em uma comunidade virtual de matemática e, lá, compartilharam o vídeo do primeiro autor, a Profª. Bradley, com título homônimo ao do artigo:

<https://youtu.be/KCtyiE6Ybnc?si=r9uj-dcv5V8aY_g3>.

Acredito que pode ser muito interessante o vídeo para quem também achou o mesmo sobre o artigo.

Cordialmente,

                          João Paulo Cirineu.

--
LOGICA-L
Lista acadêmica brasileira dos profissionais e estudantes da área de Lógica <logi...@dimap.ufrn.br>
---
Você está recebendo esta mensagem porque se inscreveu no grupo "LOGICA-L" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para logica-l+u...@dimap.ufrn.br.
Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CAOrCsLeTHBwYDZuFq7UPX6u2wAaszf%2BWN3bnGGx0iZ23dEoNcg%40mail.gmail.com.

[Márcio Palmares]

O Joseph J. Rotman contou uma história bacana em um de seus livros (no 'Journey into Mathematics'), de quando ele era estudante na Universidade de Chicago:

"One of my teachers, S. Mac Lane, defined a mathematician as a person who, upon seeing something a second time, hears a bell ring."

(Claro que essa é uma característica típica do pensamento categorial: detectar a mesma estrutura ou construção em diferentes contextos...)

Ouvi esse sino ou campainha tocar na minha cabeça quando li o enunciado do 'Teorema da Recursão' no livro de álgebra do Jacobson (Basic Algebra I):

Esse enunciado parece ser um caso particular da seguinte proposição:

O Lema de Yoneda é um corolário da proposição acima... No livro 'Abstract and Concrete Categories. The Joy of Cats', tanto a proposição acima quanto o Lema de Yoneda e o teorema de imersão são enunciados e demonstrados em meia página (recorde mundial de concisão).

Propus esse problema para o Mayk Alves, e o Mayk me disse que fez as contas no curso de introdução à Teoria das Categorias que ele ministrou no Encontro Brasileiro em Teoria das Categorias realizado na USP em 2023... Perguntei ao Mayk por que essa forma ultra generalizada no Teorema da Recursão estaria aparecendo aí, antes do Lema de Yoneda, e o Mayk me disse à época que, à primeira vista, talvez o significado disso seja o fato de que podemos definir transformações naturais recursivamente (mais ou menos do mesmo modo que a adição e a multiplicação de números naturais são definidas como funções a partir do Teorema da Recursão).

Bem, não fiquei inteiramente satisfeito... Ainda fico intrigado com isso. Todo mundo enfatiza o fato de que o Lema de Yoneda (na verdade, o teorema de imersão que vem depois dele) pode ser visto como uma generalização do Teorema de Cayley para grupos, mas poucas pessoas se incomodam com essa outra analogia (talvez porque seja superficial...).

O aspecto filosófico do Lema de Yoneda (na verdade, do teorema de imersão) é bastante discutido entre categoristas e foi analisado pelo Barry Mazur em um artigo intitulado 'When is one thing equal to some other thing?'. Uma exposição bacana sobre o assunto pode ser encontrada aqui:

https://www.math3ma.com/blog/the-yoneda-perspective

[]'s

M.

 

Você recebeu essa mensagem porque está inscrito no grupo "LOGICA-L" dos Grupos do Google.

Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para logica-l+u...@dimap.ufrn.br.

Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CAC-H0ERsyAytAB394QxaJNWwmSBcaheEGxMaRBHDKaWJ_i1CjQ%40mail.gmail.com.

[Marcelo Finger]

OI Walter.

Numa outra direção eu perguntaria: o que se pode fazer com uma semântica como essa?

Numa primeira vista, esse resultado só mostra que toda rede neural, não importa com quais dados foi treinada, tem uma semântica.  Mas, e daí?  

Seria a semântica capaz de mostrar algo interessante como, dadas duas redes, seriam elas "semelhantes"?  Seria uma o refinamento de outra, a partir de mais dados?  Seriam elas conflituosas em algum sentido?

Essas perguntas são muito interessantes do ponto de vista de análises destas redes.  O que esta semântica tem a dizer a respeito dessas perguntas?

[]s

Marcelo

--
LOGICA-L
Lista acadêmica brasileira dos profissionais e estudantes da área de Lógica <logi...@dimap.ufrn.br>
---
Você está recebendo esta mensagem porque se inscreveu no grupo "LOGICA-L" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para logica-l+u...@dimap.ufrn.br.
Para ver esta conversa, acesse https://groups.google.com/a/dimap.ufrn.br/d/msgid/logica-l/CAOrCsLeTHBwYDZuFq7UPX6u2wAaszf%2BWN3bnGGx0iZ23dEoNcg%40mail.gmail.com.

--

Marcelo Finger
 Departament of Computer Science, IME-USP   
 http://www.ime.usp.br/~mfinger

 ORCID: https://orcid.org/0000-0002-1391-1175
 ResearcherID: A-4670-2009

Instituto de Matemática e Estatística,

Universidade de São Paulo

Rua do Matão, 1010 - CEP 05508-090 - São Paulo, SP

[Walter Carnielli]

 Oi Marcelo,

Ótimas perguntas, obrigado. Não sou um especialista neste assunto, mas posso oferecer meus centavinhos.

  Marcelo Finger <mfi...@ime.usp.br> escreveu:

OI Walter.

> Numa outra direção eu perguntaria: o que se pode fazer com uma semântica como essa?

 Primeiro, uma semântica como essa pode ser a origem de uma teoria sobre a racionalidade interna de uma rede neural, inclusive para "deep learning". Como você sabe, é um grande problema tentar seguir o "raciocínio" de um Large Language Model, já que de fato parece que a criatura artificial consegue ter algum tipo de lógica interna ou racionalidade, que talvez ela herde da estrutura da linguagem combinada com probabilidade.

> Numa primeira vista, esse resultado só mostra que toda rede neural, não importa com quais dados foi treinada, tem uma semântica.  Mas, e daí?  

Temos pelo menos *esta* semântica que está sendo definida deste modo. O problema agora é estudar, desenvolver e compreender esta semântica. O que poderia vir daí não se sabe, mas me parece uma alternativa inteligente partir para uma matemática elaborada para entender o que a rede neural faz com a "matematiquinha tico-tico" (em comparação)  da álgebra linear, probabilidade condicional e cálculo integral e diferencial.

 E a coisa pode até mesmo interessar do ponto de vista da filosofia da matemática. Talvez nos surpreendamos com combinações inéditas e em grande escala de ideias matemáticas simples. Veja que as grandes ideias da ciência, como a teoria da relatividade e a mecânica quântica, lidam com ideias matemáticas sofisticadas, enquanto os LLMs parecem ser um pequeno milagre fabricado com matemática de engenharia 101 e belos algoritmos.

>Seria a semântica capaz de mostrar algo interessante como, dadas duas redes, seriam elas "semelhantes"?  Seria uma o refinamento de outra, a partir de mais dados?  Seriam >elas conflituosas em algum sentido?

 Eu vejo que sim, da  para comparar e  organizar redes. Nao vejo conflito, mas  uma  " teoria de modelos mais moles"  para estes Grandes  Modelos de Linguagem.  . Ao utilizar conceitos mais profundos, é possível (acredito) construir ou definir morfismos entre grandes estruturas de redes, investigando 

 semelhanças. Pode-se comparar modelos e investigar o delta de crescimento com dados melhores,  ou de decréscimo com dados piores, 

ou ainda com dados menos estruturados.

>Essas perguntas são muito interessantes do ponto de vista de análises destas redes.  O que esta semântica tem a dizer a respeito dessas perguntas?

 

Claro, são excelentes perguntas. Acima, compartilhei minha visão sobre isso. Fiquei impressionado porque não havia visto até agora um enfoque mais profundo.

Abraços,

Walter