A giugno 2025 Google ha portato alla disponibilità generale il supporto alle GPU su Cloud Run, il suo servizio “serverless”. In pratica: si può servire un modello di intelligenza artificiale su una scheda grafica che si accende solo quando arriva una richiesta e si spegne quando non c’è nulla da fare, pagando solo i secondi effettivamente usati. Sembra un dettaglio tecnico, ma tocca una voce di spesa che oggi pesa parecchio. Vale la pena spiegare, senza tecnicismi inutili, cosa cambia e quando conviene davvero.

Due parole sui termini: “GPU”, “inferenza”, “serverless”

Una GPU è una scheda grafica: un tipo di processore nato per i videogiochi, capace di fare tantissimi calcoli in parallelo. Proprio per questo è diventata lo strumento standard per l’intelligenza artificiale, che è fatta in gran parte di calcoli ripetuti su grandi quantità di numeri.

Con inferenza si intende l’uso di un modello già addestrato: non lo si sta insegnando, gli si fa solo una domanda e si aspetta la risposta. Quando si scrive a un assistente e questo risponde, quello è un lavoro di inferenza. Serve una GPU perché avvenga in fretta.

Serverless è il modello di noleggio dietro tutto questo. Non significa “senza server”: i server ci sono, ma non li si affitta a tempo fisso. Si consegna il proprio programma al fornitore, che lo avvia quando arriva una richiesta e lo spegne quando il traffico cala, addebitando solo il tempo di calcolo consumato. Cloud Run è il servizio serverless di Google: finora lavorava con i normali processori, ora sa usare anche le GPU, un’evoluzione non lontana da quella che ha portato i container accanto ai Worker di Cloudflare sul fronte dei carichi più pesanti.

Perché conta: il costo di una GPU sempre accesa

Il problema che questo annuncio affronta è concreto e riguarda chiunque voglia offrire una funzione basata sull’AI: una chat, un generatore di immagini, un sistema che analizza testi o foto, magari collegato a strumenti esterni tramite standard come MCP.

Nel modo tradizionale si affitta una macchina con GPU e la si tiene accesa. Il punto è che si paga anche mentre non arriva nessuna richiesta. Una scheda grafica da data center costa parecchio all’ora, e il traffico di quasi ogni servizio non è costante: ci sono i picchi e ci sono le ore morte, la notte, i giorni festivi. Tenere il “motore” acceso h24 per servire richieste concentrate in poche ore vuol dire pagare soprattutto il tempo in cui la GPU sta ferma ad aspettare.

L’alternativa era spegnere e riaccendere a mano, oppure gestire da soli un sistema che aggiunge e toglie macchine a seconda del carico: fattibile, ma è lavoro da mantenere. L’idea del serverless con GPU è togliere di mezzo tutto questo: se non ci sono richieste, non c’è nulla acceso e non si paga nulla.

Cosa ha annunciato Google

Il supporto GPU su Cloud Run è passato dalla fase di anteprima alla disponibilità generale, cioè è considerato pronto per l’uso in produzione ed è coperto dagli impegni di servizio del prodotto. I punti principali:

• La GPU offerta è la NVIDIA L4, con 24 GB di memoria dedicata alla scheda. È un modello pensato proprio per l’inferenza, non per l’addestramento dei modelli più grandi.
• Vale il principio del serverless: scale-to-zero, cioè quando non arrivano richieste il numero di istanze scende a zero e i costi della GPU si azzerano; e pagamento al secondo, si paga solo la GPU effettivamente consumata.
• Non serve più fare una richiesta di quota: la GPU L4 è disponibile a tutti gli account, basta attivarla.
• Google dichiara che un’istanza con GPU e driver già installati si avvia in circa 5 secondi. È il tempo per rendere la scheda pronta; a questo va poi aggiunto il caricamento del modello.

Per dare un’idea del tempo complessivo, Google riporta un esempio con un modello linguistico di piccole dimensioni in cui la prima risposta arriva in circa 19 secondi partendo da zero istanze: dentro quei secondi ci sono l’avvio, il caricamento del modello e la generazione. È un numero d’esempio del fornitore, legato a quel modello specifico, non una garanzia valida per ogni caso.

Come si usa, in breve

Chi ha già dimestichezza con Cloud Run trova la GPU come un’opzione in più. Attivarla via console è una casella da spuntare; da riga di comando è un parametro. Un esempio di distribuzione di un modello con lo strumento Ollama:

gcloud run deploy mio-servizio \
  --image ollama/ollama --port 11434 \
  --gpu 1 --cpu 4 --memory 16Gi

Per la GPU L4 è richiesto un minimo di 4 CPU e 16 GiB di memoria per istanza. Il servizio supporta lo streaming della risposta sia su HTTP sia su WebSocket: significa che il testo può arrivare all’utente man mano che viene generato, come nelle chat, invece di comparire tutto insieme alla fine.

Dove è disponibile e con quali condizioni

Al momento del lancio le GPU su Cloud Run sono attive in cinque regioni: Iowa (Stati Uniti), Belgio e Paesi Bassi (Europa), Singapore e Mumbai (Asia). La copertura è quindi ancora parziale, come è normale per una funzione appena arrivata alla disponibilità generale; Google indica altre regioni in arrivo.

Di base le istanze con GPU sono distribuite su più zone della stessa regione, per resistere al guasto di una singola zona. Si può rinunciare a questa ridondanza per spendere meno, accettando un ripristino “best effort”, cioè non garantito, in caso di problema di zona.

Oltre ai servizi che rispondono a richieste in tempo reale, Google sta estendendo le GPU anche ai job di Cloud Run, cioè le elaborazioni a lotti che partono, fanno un lavoro e finiscono: ritocco di un modello su dati propri, inferenza su grandi quantità di immagini o testi, conversione di video. Al momento dell’annuncio questa parte è in anteprima privata, quindi non ancora aperta a tutti.

Cosa valutare prima di adottarlo

Il serverless con GPU risolve un problema preciso, ma non è la risposta a tutto. Alcuni punti da tenere presenti.

L’avvio a freddo ha un costo di tempo. Se il servizio è sceso a zero, la prima richiesta dopo una pausa deve aspettare l’accensione dell’istanza e il caricamento del modello. Per un uso interattivo qualche secondo di attesa iniziale può dare fastidio. Chi ha bisogno di risposte sempre immediate può tenere una istanza minima sempre attiva, ma così rinuncia in parte al risparmio dello scale-to-zero. È un compromesso da tarare sul proprio traffico.

La L4 è una scheda da inferenza. Ha 24 GB di memoria: va bene per modelli di dimensioni piccole e medie e per servire richieste. Non è pensata per addestrare da zero i modelli più grandi, che richiedono schede diverse e ben più memoria.

Il conto va fatto sul proprio caso. Il serverless conviene quando il traffico è discontinuo, con picchi e lunghe pause. Se invece la GPU è usata quasi in continuazione, una macchina affittata a tempo fisso può costare meno. La domanda giusta non è “quanto costa un secondo di GPU”, ma “quante ore reali al giorno la userei davvero”.

Attenzione al legame con il fornitore. Impacchettare il proprio servizio per Cloud Run è semplice, ma il modo in cui si scala, si fattura e si configura è specifico di Google. Spostare tutto altrove in futuro richiede lavoro. Non è un difetto, è un dato da mettere in conto, lo stesso genere di valutazione utile quando si confrontano i provider cloud in generale.

In sintesi, l’idea di fondo è ragionevole e affronta una spesa reale: pagare una GPU solo mentre lavora, invece di tenerla accesa a vuoto. Per servizi AI con traffico irregolare può ridurre il costo in modo sensibile e togliere la fatica di gestire l’accensione delle macchine. Per carichi costanti o modelli molto grandi, invece, restano più adatte le soluzioni tradizionali. Come sempre, la scelta giusta è quella misurata sul proprio caso, non sul numero d’esempio del comunicato.

Fonti

• Cloud Run GPUs are now generally available (Google Cloud Blog)
• GPU support for services (Cloud Run Documentation)