Come suggerisce il nome, gli SLM sono versioni ridotte degli LLM, caratterizzate da un numero inferiore di parametri. Alcuni di essi possono essere eseguiti persino su personal computer, laptop o dispositivi mobili. Anziché dipendere interamente da sistemi cloud remoti, molti SLM possono funzionare offline o all'interno dell'infrastruttura dell'organizzazione stessa.
In questo articolo analizziamo cosa sono gli SLM e perché possono rivelarsi importanti per le organizzazioni della società civile (OSC) che gestiscono progetti con dati sensibili o dispongono di risorse limitate. Presentiamo diversi SLM rilevanti e forniamo indicazioni pratiche su come utilizzarli sul campo. Comprendendo il potenziale e i limiti degli SLM, le OSC possono valutare meglio in quali contesti questi modelli offrano un'alternativa più sicura, trasparente ed economica rispetto agli LLM.
Perché gli SLM sono importanti per le organizzazioni della società civile
Gli SLM possono offire vantaggi significativi alle OSC, aiutandole a rispondere ad alcune esigenze chiave.
1. Privacy dei dati e tutela di beneficiari vulnerabili
Molte OSC gestiscono informazioni altamente sensibili, quali testimonianze, documentazione sui diritti umani, fascicoli legali o dati personali di attivisti e popolazioni emarginate. L'uso delle API degli LLM può imporre un difficile compromesso tra efficienza e riservatezza. Il caricamento di documenti su server esterni rischia di esporre le organizzazioni a fughe di dati, sorveglianza o accessi non autorizzati.
Gli SLM consentono di ovviare a questo problema, in quanto possono essere distribuiti localmente sui server aziendali o persino sui laptop, senza dover inviare dati a fornitori terzi. Ciò permette di effettuare sintesi di documenti, traduzioni, classificazioni o trascrizioni garantendo un maggiore controllo sulle informazioni sensibili.
2. Criticità di infrastruttura e connettività
In molte regioni, in particolare in diverse aree di Africa, America Latina e nelle zone rurali, la connettività Internet rimane costosa, instabile o del tutto assente. Le API degli LLM richiedono una connessione a Internet. Questo può creare una vulnerabilità operativa in caso di disservizi di rete o caricamenti pesanti, oltre a comportare costi aggiuntivi.
Alcuni SLM possono funzionare offline una volta installati localmente. Ciò consente alle organizzazioni di continuare a lavorare anche in condizioni di scarsa connettività. Questa operatività offline può rivelarsi preziosa soprattutto in contesti di crisi o emergenza (come illustrato nella Tabella 1 sottostante).
3. Sostenibilità finanziaria
La maggior parte delle OSC opera con finanziamenti limitati e imprevedibili. I servizi LLM basati su abbonamento o i costi elevati per l'uso delle API possono diventare rapidamente insostenibili.
Gli SLM consentono di abbattere questa barriera, poiché molti di essi sono open source, gratuiti e richiedono minori risorse computazionali. Sebbene possano esserci costi iniziali di configurazione e manutenzione, le organizzazioni posso evitare in questo modo i canoni mensili ricorrenti delle piattaforme commerciali di IA.
4. Sorveglianza e rischio politico
Le organizzazioni che operano in ambienti politicamente ostili si trovano spesso ad affrontare minacce di sorveglianza. La dipendenza da piattaforme internazionali può comportare rischi quali richieste di dati da parte dei governi, censura da parte della piattaforma e monitoraggio delle reti di attivisti.
L'uso degli SLM aiuta le organizzazioni a ridurre la propria dipendenza digitale.
5. Questioni etiche e ambientali
Gli LLM più diffusi, come ChatGPT, non sono trasparenti riguardo ai propri dati di addestramento e ai processi di elaborazione. Inoltre, il loro sviluppo e funzionamento richiedono ingenti risorse computazionali, con un impatto ambientale significativo.
Gli SLM offrono un modello alternativo più in linea con i principi di decentralizzazione e gestione comunitaria, essendo solitamente aperti e più trasparenti rispetto agli LLM proprietari. In termini di impatto ambientale, sebbene gli SLM consumino comunque risorse di calcolo, la loro impronta operativa è generalmente molto più ridotta rispetto a quella degli LLM.
Esempi di SLM
Tabella 1: panoramica di alcuni dei principali SLM utilizzabili per diverse attività delle OSC, con indicazione di fornitori, lingue supportate, specializzazioni, funzionalità aggiuntive e finestra di contesto.
Tabella 1: panoramica di alcuni dei principali SLM utilizzabili per diverse attività delle OSC, con indicazione di fornitori, lingue supportate, specializzazioni, funzionalità aggiuntive e finestra di contesto.
Uso generale: Qwen3-0.6B, Phi-4-mini-instruct, Llama-3.2-3B-Instruct, Gemma-2B e tiny-aya-global sono SLM di uso generale. Possono svolgere numerose attività di analisi del testo, come il riconoscimento delle entità, la sintesi o la risposta a domande. Qwen3-0.6B e Phi-4-mini-instruct riescono inoltre a gestire compiti più complessi rispetto alla semplice generazione di testo e che richiedono capacità di ragionamento come il confronto di informazioni e il fact-checking.
Lingue: Qwen3-0.6B e Phi-4-mini-instruct supportano più lingue. Ciò significa che sono in grado di comprendere prompt in varie lingue ed eseguire le attività richieste restituendo l'output direttamente nella lingua di destinazione. Tuttavia, questo non significa che siano limitati esclusivamente alle lingue ufficialmente supportate. Se la lingua di destinazione è simile a quelle usate per l'addestramento, i modelli possono comunque rispondere in modo soddisfacente.
Traduzione e trascrizione: modelli come Translategemma-4b-it e Voxtral-Mini-4B sono specializzati in compiti specifici come la traduzione e la trascrizione, grazie a un fine-tuning effettuato su dataset di addestramento dedicati.
Analisi di documenti complessi o lunghi: Phi-4-mini-instruct, Llama-3.2-3B-Instruct e Ministral-3-3B-Instruct supportano finestre di contesto estese. Questo si rivela particolarmente utile quando si lavora su documenti voluminosi, come regolamenti, policy e report. Per le OSC, ciò facilita attività quali la sintesi di testi lunghi o l'estrazione di risposte da un report.
Attività multimodali: alcuni SLM sono in grado di elaborare anche le immagini oltre al testo. Ad esempio, Ministral-3-3B-Instruct e Llama-3.2-3B-Instruct integrano funzionalità di visione artificiale, mentre TranslateGemma supporta la traduzione a partire sia da testo che da immagini. Questi modelli si rivelano utili quando le organizzazioni devono analizzare screenshot, documenti scansionati, diagrammi o testo incorporato in immagini.
Programmazione: alcuni SLM, come CodeGemma e Qwen2.5-Coder-3B supportano la scrittura e la gestione del codice, inclusi la generazione, il debugging e la stesura di query SQL/SPARQL. Per le OSC, questo è utile per consultare e ricavare informazioni da fonti di dati strutturate come Wikidata.
Come monitorare i nuovi SLM?
Se ti avvicini per la prima volta agli SLM e non sai quale scegliere, la soluzione migliore è spesso partire da un modello ampiamente diffuso e ben supportato prima di provarne altri. Inoltre, se intendi scrivere prompt in una lingua diversa dall'inglese, è importante verificare se il modello SLM è stato addestrato su quella specifica lingua o su lingue affini, poiché il supporto multilingue e le prestazioni possono variare notevolmente da un modello all'altro.
Immagine: Su Hugging Face è facile monitorare i modelli SLM nuovi, più popolari o specializzati.
L'IA generativa si evolve rapidamente, con nuovi modelli e strumenti che compaiono quasi ogni giorno. Di conseguenza, stare al passo con gli ultimi sviluppi e le tendenze del settore può essere complesso. Tuttavia, le seguenti risorse sono molto utili per seguire i recenti progressi nel campo degli SLM.
Hugging Face: ospita una vasta raccolta di modelli di IA open source, compresi gli SLM. Come mostrato nell'immagine in alto, è possibile cercare i modelli filtrandoli per parametri specifici (ad esempio, <4B per mostrare gli SLM) e ordinarli in base alla popolarità o alla data di rilascio.
GitHub: un'altra piattaforma che ospita numerosi progetti e repository di codice. È possibile cercare esempi pratici di utilizzo degli SLM o consultare repository comeSLMs-Survey per approfondire la conoscenza di questi modelli.
Fonti accademiche: anche ACL Anthology e ACM Digital Library sono riferimenti preziosi per trovare paper di ricerca applicata sull'uso degli SLM nel giornalismo e nelle scienze sociali. Ad esempio, in questo articolo, i ricercatori analizzano l'impiego degli SLM per la sintesi delle notizie.
Limiti
Tabella 2: confronto tra SLM e API degli LLM in termini di accesso a Internet, privacy dei dati, struttura dei costi, prestazioni, facilità di configurazione e scalabilità.
Sebbene offrano chiari vantaggi in termini di efficienza economica e riservatezza, gli SLM presentano anche diversi limiti. Rispetto alle API degli LLM, gli SLM possono offrire prestazioni inferiori su compiti altamente complessi che richiedono un ragionamento avanzato o articolato su più passaggi, come il fact-checking di documenti o l'analisi dettagliata. Possono inoltre disporre di finestre di contesto ridotte, rendendo più difficile l'elaborazione di prompt lunghi contenenti istruzioni articolate o input di grandi dimensioni, come documenti di più pagine. Inoltre, l'hosting in locale o l'adattamento degli SLM a casi d'uso specifici può richiedere competenze tecniche e un hardware locale adeguato.
Come usare gli SLM nella pratica
Per utenti con meno competenze tecniche:
Questi strumenti offrono interfacce intuitive per eseguire e utilizzare modelli locali senza richiedere configurazioni complesse o conoscenze di programmazione.
Per utenti con maggiori competenze tecniche:
Questi strumenti garantiscono maggiore flessibilità, personalizzazione e ottimizzazione delle prestazioni per distribuire e testare gli SLM in ambienti di sviluppo.
Per casi d'uso avanzati o puramente tecnici:
Questi framework sono progettati per gli sviluppatori che desiderano creare applicazioni basate sull'IA, workflow agentici e pipeline personalizzate programmando direttamente con i modelli. In alternativa, le pagine dei singoli modelli su Hugging Face forniscono talvolta codice di esempio per l'esecuzione.
Metodi per migliorare i risultati degli SLM
Diverse strategie pratiche possono aiutare a ottimizzare le prestazioni e la qualità delle risposte degli SLM.
Scomporre i compiti complessi in sotto-attività più semplici
Anziché chiedere al modello di risolvere un problema articolato in un'unica soluzione, è meglio suddividere l'attività in passaggi sequenziali. Ad esempio, il fact-checking può essere articolato in: identificazione dell'affermazione, raccolta delle fonti, valutazione delle prove e sintesi delle conclusioni.
Usare prompt dettagliati e assegnare ruoli
Istruzioni precise aiutano a ridurre le ambiguità e a migliorare la qualità dell'output. Specificare il formato, il tono o l'obiettivo desiderato porta spesso a risposte più affidabili rispetto a richieste generiche. Ad esempio, invece di chiedere semplicemente al modello di svolgere un compito, puoi scrivere: "Sei un fact-checker. Usa il pensiero critico per valutare questa affermazione, individua fonti affidabili e spiega se l'affermazione è accurata."
Fornire esempi o contesto quando possibile
Fornire informazioni di contesto o esempi di output aiuta il modello a comprendere meglio il compito richiesto. Ad esempio, se desideri definire l'estrazione di fatti atomici per il fact-checking, puoi aggiungere un esempio nel prompt, come quello riportato nella tabella seguente:
Tabella 3: esempio di come fornire esempi e contesto, con informazioni sul Digital Activism Program di TechSoup.
Trascrizione:
===Input===
Il Digital Activism Program è l'iniziativa globale di TechSoup dedicata a rafforzare la resilienza e la capacità della società civile di adattarsi alle nuove sfide digitali, contrastare la disinformazione, mobilitare le comunità e creare reti più solide tra le diverse regioni. Dal suo lancio nel 2018, il Programma si è esteso dall'Europa all'America Latina, all'Africa e oltre, garantendo che gli attivisti e le organizzazioni di tutto il mondo abbiano accesso alle risorse, all'apprendimento e alle competenze di cui hanno bisogno.
===Output===
Il Digital Activism Program è un'iniziativa globale.
Il Digital Activism Program è gestito da TechSoup.
Il Programma è dedicato a rafforzare la resilienza della società civile.
Il Programma mira a rafforzare la capacità della società civile di adattarsi alle sfide digitali in continua evoluzione.
Il Programma mira ad aiutare la società civile a contrastare la disinformazione.
Il Programma mira ad aiutare a mobilitare le comunità.
Il Programma mira a creare reti più solide tra le diverse regioni.
Il Programma è stato lanciato nel 2018.
Il Programma si è inizialmente esteso a partire dall'Europa.
Il Programma si è esteso all'America Latina.
Il Programma si è esteso all'Africa.
Il Programma si è esteso oltre l'Europa, l'America Latina e l'Africa.
Il Programma supporta gli attivisti in tutto il mondo.
Il Programma supporta le organizzazioni in tutto il mondo.
Il Programma aiuta gli attivisti e le organizzazioni ad accedere alle risorse.
Il Programma aiuta gli attivisti e le organizzazioni ad accedere alle opportunità di apprendimento.
Il Programma aiuta gli attivisti e le organizzazioni a sviluppare competenze.
Combinare gli SLM con strumenti di recupero delle informazioni o fonti di conoscenza esterne quando necessario
Poiché i modelli più piccoli possono avere conoscenze o finestre di contesto limitate, collegarli a documenti, database o sistemi di ricerca può migliorare l'accuratezza fattuale e le prestazioni su domini specifici.
Utilizzare framework agentici per flussi di lavoro articolati
Framework come LangChain, LangGraph o Smolagents sono in grado di coordinare le fasi di un flusso di lavoro, l'uso degli strumenti e la memoria tra i diversi compiti. Questi framework permettono inoltre a più SLM di collaborare a una singola attività complessa, assegnando sotto-attività differenti a modelli specializzati. Ad esempio, in un workflow di verifica video, una pipeline agentica potrebbe utilizzare Voxtral per generare una trascrizione, Llama per tradurla in un'altra lingua e infine ricorrere a un agente di ricerca web per raccogliere e valutare le prove a supporto presenti su Internet.
Considerazioni finali
Gli SLM non sostituiscono completamente gli LLM, ma rappresentano un'importante alternativa per le organizzazioni che mettono al centro la privacy, la sostenibilità economica, la trasparenza e il controllo. Per le OSC che operano in contesti con risorse limitate o politicamente sensibili, gli SLM possono offrire un approccio più sostenibile ed etico all'adozione delle applicazioni di IA generativa.
Per le OSC, il valore degli SLM non è solo tecnico, ma anche strategico. Permettono infatti alle organizzazioni di sperimentare con l'IA generativa mantenendo i dati sensibili all'interno della propria infrastruttura, riducendo la dipendenza dalle piattaforme commerciali e adattando gli strumenti alle esigenze, alle lingue e ai contesti locali. Inoltre, i riscontri delle OSC possono guidare lo sviluppo stesso degli SLM, grazie alla grande varietà di attività che queste organizzazioni svolgono.
Allo stesso tempo, è essenziale ricordare che sia gli SLM che gli LLM possono generare informazioni imprecise o del tutto inventate - le cosiddette allucinazioni. Gli output dovrebbero sempre essere verificati attraverso la revisione di esperti e fonti affidabili, specialmente quando vengono utilizzati per processi decisionali, attività di advocacy o operazioni sensibili.
Il tuo feedback è importante
Cosa ne pensi di questo testo? Dedica 30 secondi a condividere il tuo feedback e aiutarci a creare contenuti significativi per la società civile.
Note e Disclaimer
Questa risorsa è stata creata nell'ambito del progetto AI for Social Change del Digital Activism Program di TechSoup, con il supporto di Google.org.
Gli strumenti di IA si evolvono rapidamente e, sebbene facciamo il possibile per garantire l'accuratezza dei contenuti, alcuni elementi potrebbero non essere più aggiornati. Se noti informazioni superate, segnalacelo all'indirizzo content@techsoup.org.
Il contenuto è stato creato, revisionato e modificato da Ipek Baris Schlicht con l'ausilio dell'IA.