AI in locale in azienda: quando funziona e quando no

Perché l’AI in locale interessa tanto alle imprese

Mi capita sempre più spesso di parlare con imprenditori e dipendenti che hanno un’opinione precisa sull’intelligenza artificiale, perché l’hanno sentita da qualcuno sui social. Spesso la conversazione si chiude con una frase del tipo: «Guarda che lui ha centotrentotto miliardi di follower.»

Il tema che torna più spesso è l’AI in locale, cioè far girare sui computer dell’azienda uno dei nuovi modelli open weight, quelli che il produttore mette a disposizione da scaricare. Il ragionamento che arriva dai social è semplice: se il modello sta in azienda, i dati sensibili non escono e i token sono gratis.

Detta così, l’affermazione non è sbagliata in assoluto. Nella maggior parte delle aziende con cui parlo, però, è difficile da mettere in pratica, e provo a spiegare perché.

Prima, una precisazione sulle parole. “Open weight” vuol dire che si possono scaricare i pesi del modello, cioè il risultato del suo addestramento, e usarli sulle proprie macchine. Non vuol dire per forza “open source” in senso pieno, e nemmeno libertà totale di uso commerciale: la licenza va letta modello per modello.

Un’esperienza individuale non rappresenta un reparto aziendale

Molti influencer di questa nicchia parlano a un pubblico preciso: freelance e micro imprese, spesso con meno di dieci dipendenti. Per loro l’AI in locale ha senso, e i video che mostrano un modello che risponde velocemente su un computer da scrivania sono veri.

Un professionista con un Mac Studio può lavorare molto bene con un modello come Qwen. Il nuovo Mac Studio, uscito il 22 settembre, arriva fino a 128 GB di memoria con il chip M5 Max e fino a 512 GB con l’M5 Ultra; la versione da 512 GB sarà disponibile da fine ottobre. È una macchina pensata anche per questo: Apple stessa la presenta come adatta a far girare grandi modelli direttamente sul computer.

Il 5 ottobre Reflection AI ha annunciato Beam, un modello open weight da 501 miliardi di parametri, di cui 23 miliardi attivi a ogni risposta. I pesi saranno scaricabili entro fine mese, con licenza Apache 2.0, che ne permette anche l’uso commerciale. Anche compresso, un modello di queste dimensioni occupa centinaia di gigabyte di memoria: su un Mac Studio richiede la configurazione con più memoria.

Per una persona sola tutto questo funziona. Il problema nasce quando la stessa macchina deve servire un’azienda intera.

Quando venti persone chiedono insieme: tre limiti di una sola macchina. Il calcolo si divide: Per scrivere ogni parola il computer rilegge in memoria una grossa parte del modello. Con 20 richieste insieme ogni persona aspetta di più. La memoria si riempie: Ogni conversazione occupa spazio in base al testo che contiene: con cinque contratti lunghi caricati alle nove, chi arriva dopo resta in coda. Una sola macchina: Se si blocca o va aggiornata, si ferma il lavoro di tutti. Servono sicurezza, backup, aggiornamenti e accessi. In una PMI spesso manca chi se ne occupa. È un costo che nei video non compare.

Quando venti persone chiedono una risposta nello stesso momento

Proviamo a mettere quel modello su un computer a cui hanno accesso 40 o 50 dipendenti, e immaginiamo che 20 di loro lo usino nello stesso momento. A quel punto, dalla stanza del server, sentirete una voce molto simile a quella di Vanzini che urla «problemi, problemi, problemi».

Il motivo è tecnico, ma si capisce con un esempio. Per scrivere ogni parola della risposta il computer deve rileggere in memoria una grossa parte del modello. Con una persona sola lo fa velocemente; con 20 richieste insieme deve dividere il lavoro, e ogni persona aspetta di più prima di vedere comparire la prima riga della risposta.

C’è poi la memoria. Ogni conversazione occupa spazio in base a quanto testo contiene: se cinque persone alle nove del mattino caricano ciascuna un contratto lungo da analizzare, quello spazio si riempie in fretta, e chi arriva dopo resta in coda. I programmi che gestiscono bene tante richieste contemporanee su un Mac esistono, ma sono ancora in evoluzione: lo dicono gli stessi sviluppatori, che descrivono l’uso da parte di più persone insieme come un problema a sé, diverso dal far funzionare il modello.

E poi c’è tutto quello che non si vede nei video. Una sola macchina vuol dire che, se si blocca o va aggiornata, si ferma il lavoro di tutti. Qualcuno deve occuparsi di sicurezza, copie di backup, aggiornamenti del modello e accessi, e in una PMI quel qualcuno spesso non c’è.

Più computer non significano automaticamente un servizio aziendale affidabile

Qualcuno potrebbe obiettare che basta comprare più Mac Studio, o computer equivalenti, e farli lavorare insieme, dividendo il modello tra le macchine. È vero, con qualche riserva. Esistono programmi gratuiti, come exo, che collegano più Mac attraverso le porte Thunderbolt 5 e li fanno lavorare come un’unica macchina, e Apple dichiara che con quattro Mac Studio collegati la velocità può arrivare fino a tre volte quella di uno solo.

Il problema è il costo. In Italia il Mac Studio con M5 Ultra parte da circa 6.700 euro nella versione con 96 GB di memoria, e le configurazioni con più memoria costano molto di più. Con quattro macchine si arriva a decine di migliaia di euro prima di aver speso un euro per l’installazione, le integrazioni con il gestionale e la persona che dovrà gestire tutto.

Nella ricerca su AI locale, cloud e ibrida che ho pubblicato a settembre ho fatto i conti per un’azienda di 50 persone con un uso normale dell’AI. In tre anni la soluzione tutta in locale costa circa 139.000 euro, quella in cloud circa 49.500 e quella ibrida circa 80.000. Sono scenari con ipotesi dichiarate, non preventivi, ma la differenza dà l’idea di quanto pesino hardware, tecnici, sicurezza e ricambio delle macchine.

Anche i token “gratis” vanno guardati da vicino. È vero che il modello in locale non ha un costo per ogni richiesta, ma il calcolo lo paghi comunque: in energia, in macchine da sostituire dopo qualche anno, in ore di un tecnico.

E c’è la qualità: a inizio settembre, nelle classifiche indipendenti, i migliori modelli open weight erano ancora dietro a quelli dei grandi laboratori, soprattutto nei compiti più difficili. Se il modello locale sbaglia più spesso e qualcuno deve ricontrollare ogni risposta, il risparmio sparisce.

Tre anni per un’azienda di 50 persone: tre scenari a confronto. Tutto in cloud: Circa 49.500 euro in tre anni. Ibrida: Circa 80.000 euro in tre anni. Tutto in locale: Circa 139.000 euro in tre anni. Sono scenari, non preventivi. Ipotesi dichiarate nella ricerca su AI locale, cloud e ibrida pubblicata a settembre.

I modelli diventano una merce, la partita si gioca sull’hardware

Io credo che i modelli di intelligenza artificiale stiano diventando una commodity, cioè una merce che si trova da più fornitori a prezzi sempre più bassi. Il distacco tra i modelli aperti e quelli dei grandi laboratori si riduce di anno in anno, e ne escono di nuovi ogni mese.

Penso che la partita vera si giocherà sull’hardware. Mezzo mondo tecnologico ci sta lavorando e i progressi sono enormi, ma in questo momento prezzi e disponibilità sono fuori controllo. La causa principale è la memoria: i produttori di chip stanno dando la precedenza a quella destinata ai data center dell’AI, e tutto il resto scarseggia.

Qualche sera fa ascoltavo Marco Camisani Calzolari dire una cosa che descrive bene la situazione: per la prima volta, un computer uscito da tre o sei mesi aumenta di prezzo invece di perdere valore.

A marzo Apple ha tolto dal listino il Mac Studio di allora con 512 GB di memoria e ha alzato di 400 dollari il prezzo dell’aggiornamento a 256 GB. La scheda NVIDIA RTX PRO 6000, una delle più usate per l’AI nei server aziendali, è passata dagli 8.565 dollari del lancio, nel marzo 2025, ai 16.000 dollari di listino di settembre.

Per un’azienda, comprare oggi un server dimensionato per i prossimi tre anni significa pagare l’hardware nel momento in cui costa di più, scommettendo su quanto lo userete e su quali modelli ci dovranno girare.

Come valutare un’architettura ibrida

Questo non vuol dire rinunciare a proteggere i dati. Oggi, e sottolineo oggi, perché tra qualche anno il quadro potrebbe essere diverso, la soluzione che si può applicare nella maggior parte delle PMI è un sistema ibrido.

In un sistema ibrido alcune parti girano in azienda e altre usano i modelli più potenti in cloud. In locale possono restare l’archivio dei documenti, il sistema che li cerca, un modello piccolo per i compiti semplici, come smistare le email, e soprattutto il programma che riconosce i dati personali e li nasconde. Al modello in cloud arriva solo il testo che serve al compito, attraverso un contratto aziendale con il fornitore che escluda l’uso dei dati per l’addestramento e indichi dove vengono trattati.

Un esempio, con dati inventati. In azienda la richiesta è «Scrivi una risposta a Mario Rossi, che contesta la fattura 2026/419 da 18.740 euro». Al modello in cloud arriva «Scrivi una risposta a [CLIENTE_17], che contesta la fattura [DOC_8] da [IMPORTO_3]». Il modello scrive la risposta con i segnaposto e, quando il testo torna in azienda, il programma rimette al loro posto il nome, il numero della fattura e l’importo. Il modello lavora così sul tipo di contestazione, senza sapere chi è il cliente.

Ci sono anche casi in cui il modello deve restare in azienda: quando il sistema deve funzionare senza internet, quando un contratto vieta che certi documenti escano, quando il compito non si può fare senza dati che non si possono nascondere. Una ricetta ceramica o un disegno tecnico, per esempio, non contengono dati personali, ma possono essere molto più delicati di un numero di telefono, e lì il discorso cambia.

Progettare a partire dai carichi di lavoro

Per questo, prima di scegliere il modello o di comprare un computer, conviene concentrarsi sulla progettazione del sistema. Un sistema di AI per un’azienda deve essere efficiente e deve poter crescere quando aumentano le persone che lo usano. Non deve bloccarsi alle nove del mattino quando tutti si collegano, e non deve fermare il lavoro se un fornitore ha un’interruzione.

Nel sistema ibrido, al cloud arriva solo il testo che serve. Tre passaggi. In azienda: «Scrivi una risposta a Mario Rossi, che contesta la fattura 2026/419 da 18.740 euro»; il programma riconosce i dati personali e li nasconde. Al modello in cloud arriva: «Scrivi una risposta a [CLIENTE_17], che contesta la fattura [DOC_8] da [IMPORTO_3]»; il modello lavora sul tipo di contestazione, senza sapere chi è il cliente. Di nuovo in azienda: [CLIENTE_17] torna Mario Rossi, [DOC_8] torna 2026/419, [IMPORTO_3] torna 18.740 euro; il programma rimette al loro posto il nome, il numero della fattura e l’importo. Dati inventati.

Questo vuol dire, per esempio, mandare i compiti semplici a un modello piccolo e veloce e quelli difficili a un modello più potente, prevedere un’alternativa se un servizio non risponde, e integrare fin dall’inizio un software di anonimizzazione dei dati personali, che li nasconda prima che escano dall’infrastruttura dell’azienda.

Io partirei da tre domande, prima di parlare di macchine: quali attività volete affidare all’AI, quali dati servono a ciascuna, quante persone la useranno nello stesso momento. Le risposte dicono quali parti del sistema devono stare in azienda, quali possono andare in cloud e quanto costerà tenerle in piedi.

Un esempio operativo: l’ufficio che deve analizzare la posta dei fornitori

Immaginiamo un’azienda manifatturiera con quarantacinque dipendenti. Otto persone lavorano regolarmente su ordini, consegne e documenti dei fornitori. Ogni mattina ricevono decine di messaggi in cui compaiono codici articolo, riferimenti a ordini e nuove date di consegna. L’obiettivo è ridurre la copiatura manuale dei dati e permettere a un addetto di concentrarsi sui casi in cui una consegna rischia di bloccare la produzione. Questo è un esempio didattico, non un intervento realmente svolto né la descrizione di un beneficio già misurato.

La prima prova può essere molto semplice. Si selezionano messaggi di prova, privi di informazioni riservate, e si chiede a un modello linguistico di individuare il numero dell’ordine, la data promessa, l’eventuale variazione e l’azione successiva da proporre. La persona confronta i campi estratti con il testo di partenza.

Se il modello confonde la data dell’email con quella della consegna, l’errore deve emergere prima che un dato venga scritto nel gestionale. È inutile misurare soltanto la velocità con cui il programma risponde: una risposta veloce ma sbagliata crea più lavoro di quello che elimina.

Supponiamo poi che l’azienda voglia usare lo stesso sistema in altri reparti. L’ufficio vendite potrebbe chiedere un riepilogo delle richieste dei clienti, mentre l’amministrazione potrebbe voler classificare fatture e solleciti. Questi tre lavori non hanno lo stesso carico. Un messaggio breve richiede meno memoria e calcolo di una serie di allegati lunghi. Alcune richieste arrivano in modo distribuito durante il giorno; altre si concentrano nelle prime due ore del mattino. Una macchina dimensionata osservando soltanto il numero totale di dipendenti può risultare eccessiva oppure insufficiente.

Per decidere se usare un modello installato in azienda, occorre quindi raccogliere almeno quattro informazioni: il numero di richieste nei momenti di punta, la lunghezza media dei documenti, il tempo massimo di attesa accettabile e il livello di precisione richiesto. A questi dati si aggiungono i vincoli sulla riservatezza. È possibile che le comunicazioni contenenti dati particolarmente delicati debbano seguire un percorso differente da quelle ordinarie, anche all’interno dello stesso ufficio.

Un test serio non può concludersi dopo una sola dimostrazione riuscita. Conviene preparare una raccolta di casi realistici, includere allegati difficili da leggere, provare richieste contemporanee e misurare quante risposte hanno bisogno di correzioni. Occorre anche verificare cosa accade se un componente non risponde: il lavoro resta in attesa, viene passato a una persona oppure usa una soluzione alternativa autorizzata? Per chi dirige l’azienda questa continuità conta quanto il costo del computer.

Le domande da porre a chi propone un server locale

Quando un fornitore propone di installare un modello sul server aziendale, chiederei innanzitutto una dimostrazione con il volume di lavoro previsto, senza dati reali dei clienti nelle prime prove. Le prestazioni dichiarate nelle presentazioni commerciali possono riferirsi a un singolo utente, a documenti corti o a un modello diverso da quello che sarà poi utilizzato. Serve conoscere quali condizioni sono state misurate e quali, invece, sono ancora stime.

Chiederei poi chi si occuperà dell’aggiornamento del software, della gestione degli accessi e del ripristino dopo un guasto. Una PMI senza una figura informatica interna può affidare queste attività all’esterno, ma il costo deve essere inserito nel progetto. È opportuno documentare anche come verranno distribuiti gli aggiornamenti dei modelli, perché un aggiornamento può cambiare il modo in cui un sistema interpreta documenti e richieste. Prima di usarlo su attività importanti bisogna verificare che continui a produrre risultati adeguati.

Un altro punto è la separazione delle informazioni. Se il modello risponde a persone di reparti diversi, il programma che lo circonda deve rispettare i permessi previsti dall’azienda. Il fatto che il modello sia installato su un computer interno non significa automaticamente che sappia distinguere quali documenti un impiegato possa leggere. Occorre progettare autenticazione, autorizzazioni, registri delle operazioni e percorsi di approvazione. Il sistema deve impedire che un utente ottenga informazioni riservate semplicemente formulando una domanda molto convincente.

Infine, chiederei di spiegare la strategia di uscita. Se tra un anno si scegliesse un modello differente, i documenti indicizzati, i criteri di accesso, le istruzioni e i collegamenti ai gestionali potrebbero essere riutilizzati? La risposta permette di capire se l’azienda sta acquistando una capacità durevole oppure una soluzione difficile da modificare. Questa considerazione vale tanto per i sistemi locali quanto per quelli ospitati nei servizi cloud.

Mascherare i dati richiede attenzione al contesto

Sostituire il nome di un cliente con un segnaposto è utile, ma non esaurisce la protezione delle informazioni. Un documento può rivelare l’identità di un soggetto anche senza riportarne il nome, per esempio attraverso la combinazione di attività svolta, località, data e importo. Inoltre, alcune informazioni riservate non sono dati personali: una formula produttiva, un disegno tecnico o una strategia commerciale possono richiedere la massima protezione anche quando non identificano alcuna persona.

Per questo, quando si progetta un sistema ibrido, occorre stabilire quali parti della richiesta siano necessarie al modello esterno. Se un assistente deve migliorare la forma di una comunicazione, spesso può lavorare su una versione privata dei riferimenti identificativi. Se deve valutare una clausola il cui significato dipende proprio da cifre e scadenze, togliere tutte le informazioni potrebbe compromettere la risposta. La scelta deve nascere dal compito, e richiede una verifica dei rischi prima di considerare il processo sufficientemente protetto.

È utile distinguere l’anonimizzazione vera e propria dalla pseudonimizzazione, cioè dalla sostituzione di elementi identificativi che possono essere ricostruiti attraverso una chiave conservata separatamente. Se le corrispondenze restano disponibili, il dato può continuare a essere personale secondo le norme applicabili. Questa distinzione aiuta a comunicare correttamente le garanzie, senza promettere che ogni informazione inviata a un fornitore esterno sia impossibile da collegare a qualcuno.

Come fare una prova di trenta giorni senza comprare subito tutto

Un’azienda interessata all’AI in locale può condurre una prova limitata prima di decidere l’investimento. Nella prima settimana si sceglie una sola attività, si definiscono i casi da trattare e si concorda con gli addetti come valutare il risultato. Nella seconda si provano uno o più modelli con esempi controllati, verificando tempi di risposta ed errori. Nella terza si ripetono le prove in condizioni simili ai momenti di punta. Nella quarta si confrontano costi, vincoli sui dati, qualità delle risposte e impegno richiesto ai tecnici.

Questo percorso non garantisce che il risultato migliore sia l’installazione in locale. Può emergere che un servizio cloud con opportune garanzie contrattuali sia più adatto per quel processo; oppure che convenga un’architettura mista. Può anche emergere che la procedura vada semplificata prima ancora di coinvolgere un modello di AI. L’utilità della prova è proprio poterlo scoprire a un costo limitato, quando si è ancora liberi di cambiare strada.

La decisione finale dovrebbe essere descritta in un documento breve: attività da svolgere, dati trattati, utenti previsti, livello di servizio, limiti accettabili, modalità di controllo, costi ricorrenti e responsabile del processo. Un imprenditore deve poter leggere quel documento e capire perché una tecnologia sia stata scelta. Se la decisione può essere spiegata soltanto elencando modelli e componenti hardware, probabilmente manca ancora un pezzo di progettazione aziendale.

Quali misure leggere nel resoconto della prova

Alla conclusione del test conviene raccogliere in un unico documento le misure che descrivono il servizio dal punto di vista di chi lavora. Il primo dato è il tempo che trascorre tra l’invio della richiesta e l’inizio della risposta, perché una lunga attesa interrompe il lavoro anche quando il testo successivo arriva rapidamente.

Il secondo è il tempo necessario a terminare l’attività, comprese le verifiche delle persone. Il terzo riguarda gli errori: quanti risultati sono stati corretti, quali errori sono ricorrenti e quali potrebbero avere conseguenze importanti se passassero inosservati.

Per un’impresa è utile osservare anche il comportamento del sistema in condizioni insolite. Che cosa succede quando dieci colleghi caricano documenti nello stesso minuto? Chi riceve un messaggio comprensibile se il servizio è momentaneamente indisponibile? I compiti rimasti in coda possono essere recuperati oppure devono essere inviati di nuovo? Sono dettagli apparentemente secondari, ma determinano la fiducia che le persone sviluppano verso il nuovo strumento.

Il resoconto dovrebbe infine comprendere i costi che non figurano nel prezzo del computer: consumo elettrico, manutenzione, assistenza, aggiornamenti, backup, eventuale sostituzione dell’hardware e tempo impiegato a controllare le risposte. Per confrontare un sistema locale e uno in cloud bisogna utilizzare lo stesso periodo di riferimento e lo stesso volume di lavoro. Diversamente si finisce per confrontare un investimento pluriennale con un solo mese di abbonamento, ottenendo una conclusione poco utile.

Questi elementi consentono anche di prendere una decisione prudente. Se la soluzione funziona bene soltanto durante una prova con un utente, si può decidere di limitarla a un’attività specifica e rimandare l’estensione all’intera azienda. Se invece supera le prove, si può pianificare l’adozione per reparti, con una persona incaricata di raccogliere problemi e suggerimenti. Il risultato cercato è un servizio che aiuti concretamente chi lavora, mantenendo sotto controllo dati, costi e continuità operativa.