DwarfStar
Mario Alexandro Santini
spero vada tutto bene nonostante il caldo!
Non so se conoscete già questo progetto di Salvatore Sanfilippo (antirez):
https://github.com/antirez/ds4
Si chiama DwarfStar ed è un software che permette di eseguire un modello
LLM in locale anche senza avere tutta la RAM necessaria. Sfrutta la
possibilità di usare gli SSD.
Sta raccogliendo molto interesse nel settore.
Mario
Tiziano Lattisi
Ha una visione dei tempi moderni veramente notevole, e più di una volta ha anticipato letture del nostro mondo che poi si sono rivelate più che corrette.
Ds4 è un progetto molto interessante sono tanti aspetti aggiuntivi come la quantizzazione spinta a 2 bit e un uso sofisticato della KV cache.
Detto questo le macchine di riferimento che utilizza hanno i 128GB di memoria condivisa (in modo da poter dare 100GB alla GPU), come i MacBook Pro di fascia altissima, quindi scordiamoci 32GB di ram e un SSD, serve comunque un portafoglio capiente… :-D
Se invece vogliamo il PRO invece del FLASH (parlo sempre di deepseek, dwarfstar è un nome che è stato dato successivamente, all’inizio il progetto si chiamava semplicemente DS4 e richiamava appunto deepseek) andiamo di Mac Studio con 512GB.
Detto questo, fatevi un piacere e seguite Sanfilippo. E sotto l’ombrellone leggete Whope, che per essere stato scritto nel 2022 fa spavento…
Ciao!
T
> Hai ricevuto questo messaggio perché sei iscritto al gruppo "Socraten" di Google Gruppi.
> Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a socraten+u...@googlegroups.com.
> Per visualizzare questa discussione, visita https://groups.google.com/d/msgid/socraten/70893c53-d426-433d-87c3-c2028fb78c92%40gmail.com.
Mario Alexandro Santini
Detto questo le macchine di riferimento che utilizza hanno i 128GB di memoria condivisa (in modo da poter dare 100GB alla GPU), come i MacBook Pro di fascia altissima, quindi scordiamoci 32GB di ram e un SSD, serve comunque un portafoglio capiente… :-D
Ciao Tiziano,
già, avrei dovuto specificarlo. Il suo approccio è comunque interessante perché permette di avere prestazioni interessanti su una piattaforma più modesta di quanto sarebbe necessario.
Certo per chi volesse un agente AI tutto in casa, il costo sarebbe elevato.
Aggiungo che quasi tutto il codice del progetto, se non tutto, è stato scritto da AI. Sanfilippo ha abracciato completamente l'automazione dello sviluppo. Sostiene che lo sviluppatore deve dedicarsi a scrivere specifiche e valutare l'operato degli LLM. Certo ci sono punti in cui scrivere codice sarà ancora necessario, ma per la maggior parte no.
Detto questo, fatevi un piacere e seguite Sanfilippo. E sotto l’ombrellone leggete Whope, che per essere stato scritto nel 2022 fa spavento…
Lo seguo da un po'. Ha criticato l'interpretazione del pappagallo stocastico quando c'erano ancora ricercatori che ne erano convinti.
Segue l'evoluzione dei LLM da parecchio tempo, come dimostra il suo romanzo di fantascienza.
Wohpe l'ho letto un anno e mezzo fa e mi aveva impressionato per le previsioni e per la descrizione dei modelli. Fra l'altro, nel libro parlava anche di un enciclica papale sull'AI...
Uscito nel 2022!!
Lo ribadisco.
Ciao! T
Ciao,
Mario
Marco Ciampa
definitiva è 42...
--
Amike,
Marco Ciampa