Home / AI

Intelligenza Artificiale

AI che gira in casa tua, non in cloud.

Si può avere un assistente conversazionale potente senza mandare una sola parola a server esterni. Bastano due pezzi: Ollama per far girare i modelli e Open WebUI per parlarci comodamente dal browser. Ecco una panoramica per partire da zero.

Perché locale?

  • Privacy. I tuoi dati non lasciano casa: niente prompt registrati su server altrui.
  • Zero abbonamenti. Una volta scaricato il modello, l'uso è gratuito e illimitato.
  • Funziona offline. L'assistente c'è anche quando internet non c'è.
  • Si impara davvero. Tocchi con mano modelli, contesto, quantizzazione, GPU vs CPU.

Il compromesso? Un modello locale di solito è più piccolo dei colossi commerciali: ottimo per moltissimi compiti, meno per i ragionamenti più estremi. Per la maggior parte degli usi quotidiani, però, è sorprendente quanto basti poco.

I due mattoni

Il motore

Ollama

Scarica, gestisce ed esegue modelli linguistici in locale con un comando. Pensa a docker, ma per gli LLM: ollama run llama3 e sei operativo. Espone anche un'API HTTP così altri programmi possono usarlo.

Gira su Linux, macOS e Windows · CPU o GPU.

L'interfaccia

Open WebUI

Una chat web elegante davanti a Ollama: cronologia, più modelli, utenti, caricamento di documenti (RAG) e ricerca. È l'esperienza “tipo ChatGPT”, ma servita dal tuo hardware e sotto il tuo controllo.

Si installa in un container · si raggiunge dal browser.

Come si incastrano

Browser ─▶ Open WebUI ─▶ Ollama ─▶ modello (llama3, mistral, qwen…)
            (la chat)     (il motore)   (i “pesi” scaricati in locale)

Open WebUI non “pensa”: si limita a mostrare la conversazione e a inoltrare le domande a Ollama via API. Ollama carica il modello in memoria e genera la risposta. Tutto sulla stessa macchina (o sulla stessa rete di casa), nel mio caso una VM dedicata sul server Proxmox.

Da dove iniziare, in pratica

  1. Installa Ollama e scarica un modello leggero per tastare il terreno (es. un 7–8B).
  2. Avvia Open WebUI in un container e puntalo all'indirizzo di Ollama.
  3. Apri il browser, scegli il modello, e comincia a chiacchierare.
  4. Quando ti serve di più: prova modelli più grandi, carica documenti, collega strumenti.

Il passo successivo: AI + domotica

L'obiettivo che mi diverte di più è collegare questo cervello locale alla casa: un assistente vocale che capisce comandi in linguaggio naturale e li traduce in azioni su Home Assistant — il tutto senza spedire la mia voce a nessuno. Intelligenza e domotica, entrambe rigorosamente a casa.

Stai mettendo su un setup locale e vuoi confrontarti? Scrivimi.