IA local o OnPremise

[Kiquenet]

Experiencias con IA local o OnPremise ?

Leí esta experiencia:

"Tenemos equipos con 1 developer  senior, 2 juniors y trabajo delegado a la IA. Obviamente el Senior se cabrea cuando los juniors "abusan" pero desde luego la plataforma que tocan sale a producción.
Ellos usan Cursor, saben por que lo usan.

De hecho desarrollamos nuestros propias versiones  a partir de Modelos del repo Haggin Face, y se entrenan según el propósito (el mayor impedimento es actualmente el precio del token) Vamos que tenemos ingenieros ML y Data Scientist dedicados a entrenar con datos de la empresa y  hacer actualizaciones para RAG. Luego hay partes que los agentes se encargan (usa do herramientas y APIs de servidores  MCP, sin necesidad de programadores) y otras de momento no. Pero no necesitamos equipos gigantescos 🤷🏻‍♂️

A ver, en un porfolio que llevo de N proyectos/procesos se ve de todo, y en algunos es más aplicable un RPA, otras Agentes, otras son híbridas y otras de momento preferimos que no.
Tenemos la prioridad marcada desde C-level de donde empezar a entregar y donde igual mejor esperar o sencillamente ni nos vamos a preocupar (hay que ver recursos y roadmap)

Hay cosas por compliance o por pasta que se meten human-in-the-loop

Hoy es un día especial. Estrenamos github.com/SantanderAI, la organización en GitHub donde vamos a publicar todos nuestros repos open source de IA del banco.
Y no es un anuncio cualquiera: es la primera iniciativa open source de proyectos con IA en el Santander AI Lab. Un hito que marca un antes y un después, y que nos hace muchísima ilusión poder compartir con la comunidad.
Arrancamos con 11 repositorios y esperamos publicar muchos más. Dentro encontraréis de todo:

Datasets
Harness engineering
Generación de vaults para HE
Generadores de datasets de grafos sintéticos
Algoritmos evolutivos
¡Incluso nuestra propia versión vitaminada del Ralph loop!
https://github.com/SantanderAI

lo del Ralph loop además (ahora se ha puesto de moda el Goal-Agent Loop) tiene un peligro de consumo de tokens si no se diseña bien

Por eso hay que pensarse mucho si irse a un modelo propietario, o uno OpenWeight / OpenSource, que es lo que hacemos nosotros (todo depende para que lo uses, no hace falta matar moscas a cañonazos. pe. tenemos procesos que les vale con un 4B  (4 mil millones de parametros) un SML (small language model) para procesar facturas de todo tipo de formato, pero si quieres algo decente para chat deberia de usarse a partir de 24B como poco, un 72B te vale)
https://huggingface.co/

Hay algunos OpenWeights (la mayoria dejan que puedas tocar los pesos, pero no son OpenSource, para eso deberias de liberar el Dataset completo de entrenamiento) batante eficientes y pueden valer p.e un Gemma 4 (de Google) o si te fias de lo Chinos o curra on-premise un DeepSeek V4 o Qwen 3.6-35B puede hacerte el apaño mas que bien

de hecho nosotros hacemos muchas cosas  on premise... nos dedicamos al vigiladisimo mundo del Casino, Poker Online 😅
Asi que evitamos muchos "contactos externos" en la medida de lo posible.
La privacidad y confidencialidad de datos aunque sea por descuido aqui es motivo de despido ipso-facto"

Opiniones ?

[Kiquenet]

Y experiencias con MultiAgentes (MAS) ??

"MAS - MultiAgent Systems, donde para workflows de negocio importa particularmente más mantener una Orquestacion determinista, el Harnessing, la escalabilidad, la monitorizacion a nivel de rendimiento y coste, time-to-market, etc..."