Un diario di bordo dal laboratorio domestico, tra mini PC, portatili e LLM che si parlano per chiedersi com'è il tempo nel giardino di casa mia.
Ci sono progetti che nascono per necessità e progetti che nascono per curiosità. Questo è nato da entrambe, con un pizzico di voglia di divertirsi sfidando qualche limite.
Disclamer
Non sono uno sviluppatore, né un sistemista. Tutto quello che leggerete su questo blog l'ho fatto chiedendo all'AI come procedere, gestendo feedback e lavoro con l'aiuto di modelli — in particolare Lumo di Proton, che apprezzo perché è un assistente che funziona molto bene, costa poco e soprattutto si fa gli affari propri. Cosa, purtroppo, rara nell'industria digitale.
Oggi posso dire che il primo mattone è posato. Non è elegante, ma regge.
Com'è fatto il network
L'idea di fondo è semplice: quattro macchine, prese singolarmente non granché, ma in rete diventano qualcosa più interessante della loro semplice somma.
Geekmonio è il cervello. Un mini PC con Intel Core Ultra 9, GPU Arc integrata e 32 GB di RAM. Non è un mostro da datacenter, ma ha una caratteristica preziosa: NPU dedicata e GPU che, con i driver giusti, si presta all'accelerazione dell'inferenza. Ospita Ollama e l'interfaccia web, ed è qui che avviene il lavoro pesante. Ho installato Ubuntu Server senza interfaccia grafica per ridurre il consumo di RAM al minimo.
Tuxedo è il mio portatile con TuxedoOS (derivato da Ubuntu), il banco di lavoro. AMD Ryzen 7 con Radeon 780M, su cui gira VS Code. Model locali via Ollama e LM Studio, ma soprattutto interroga Geekmonio attraverso la LAN come se fosse un servizio cloud. Editor leggero, cervello remoto.
Thinkmonio e Minimonio ono i bracci operativi. Macchine più modeste, comprate usate su Subito.it per 50 euro ciascuna, destinate a compiti diversi: raccogliere dati, fare da ponte verso sensori, ospitare agenti leggeri che non richiedono inferenza locale. Saranno i nodi che, in un futuro non troppo lontano, faranno «cose» — misureranno, registreranno, reagiranno — su cui costruire gli agenti orchestrati dai modelli di Geekmonio.
Cosa gira, concretamente
Tre modelli, scelti con criterio dopo tentativi e qualche vicolo cieco:
Qwen2.5-Coder 7B Uso: Programmazione e autocompletamento Motivo: Preciso sul codice, veloce abbastanza da suggerire mentre scrivi
Mistral Nemo 12B Uso: Chat e ragionamento Motivo: Contesto enorme, gestisce bene l'italiano
Llama 3.2 3B Uso: task rapidi Motivo: per cose dove la latenza conta più della profondità.
Tutti e tre vivono su Geekmonio, serviti via API locale. VS Code su Tuxedo li raggiunge tramite Continue, l'interfaccia web li espone come una chat, e i nodi più piccoli li interrogano quando serve.
Queste configurazioni le ho fatte tutte assistito dall'AI, seguendo le sue indicazioni. Sarà divertente vedere se si rivelano valide o meno — questa incertezza è quella che mi incuriosisce di più e mi spinge a continuare.
La parte che mi interessa davvero
Il setup tecnico è secondario. Quella interessante è la logica economica che c'è dietro.
Sarebbe più facile strisciare la carta e pagare un abbonamento «pro». Va bene per chiedere la ricetta della pasta al pomodoro. Ma quando inizi a usare l'AI per fare cose, per quello che davvero è rivoluzionaria, i token iniziano a scorrere e i modelli remoti — quelli intelligenti, hostati su server con pacchi di RAM e chipset NVIDIA — alla lunga costano, e costano tanto.
Non c'è volontà di renderli accessibili da parte del mercato. L'industria dell'AI, guidata da 4-5 compagnie, nella ricerca dell'AGI spinge verso una situazione di monopolio dove l'esperienza AI dei cittadini sarà sempre mediata dalla necessità di un intermediario tecnologico, con tutto ciò che ne consegue in termini economici, sociali e politici. L'aumento del prezzo della RAM consumer è solo un tassello di un puzzle preoccupante.
La mia idea è avere un'AI di cui controllo completamente:
- Assistenti online come Lumo (aspetto con impazienza le API) e Leo AI (senza policy di privacy) per supporto: policy chiare, ottimo per scrivere script di configurazione o riassumere log complessi
- Modelli locali per ragionamento, produzione di codice e orchestrazione
- Modelli remoti a pagamento (tipo Mistral AI) quando tutto questo non basta
Scegliere cosa usare, dove e quando, mantenendo il controllo sulla privacy dei dati: ecco cosa mi interessa capire se è possibile.
Il network locale serve a questo: assorbire i task a basso valore. Ripetitivi, piccoli ragionamenti, bozze, domande di routine. Tutto ciò che non merita l'attenzione di un modello frontiera viene gestito in casa, gratis, offline, senza consumare crediti.
I modelli remoti diventano così quello che dovrebbero essere: una risorsa scarsa da usare quando conta davvero. Decisioni difficili, problemi nuovi, cose che richiedono vera intelligenza.
Cosa manca ancora
Sarei disonesto se dicessi che è tutto a posto. L'autocompletamento a volte è lento, la configurazione di Continue mi ha fatto penare più del previsto (alla fine la ho fatta risolvere a Copilot), e la GPU integrata ha limiti che si sentono quando il contesto si allunga.
Ma la struttura c'è. I pezzi comunicano. Il sistema regge. Bisogna limare le performance e questo si può fare solo usandolo.
Dove porta tutto questo
L'obiettivo finale non è avere un chatbot in casa. È costruire un'infrastruttura che sappia smistare il lavoro: compiti banali in locale, quelli importanti in remoto, agenti autonomi per le cose che nessuno vuole fare a mano.
È un esperimento, nel senso più onesto del termine. Non so ancora se funzionerà come immagino. Ma il primo passo è fatto, e stavolta il terminale non mi ha restituito errori.
Prossimo capitolo
Costruire una software factory che produca gli agenti software di cui ho bisogno. Voglio poter farmi da solo l'infrastruttura che userò in casa, quindi il prossimo capitolo sarà la realizzazione di un primo agente da installare su Thinkmonio.
“La tecnologia libera non è solo codice, è la libertà di capire cosa c'è sotto il cofano.”
👤 Lorenzo | ItsMeLarry 🧪 Esperimenti AI & Open Source | 🕹️ Retro Gaming & Graphic Novel 🎸 Rock, Folk, Jazz, Punk | 🔒 Privacy First 📍 Toscana / Digitale
🔗 noblogo.org | 🐙 Codeberg