L'avvento dell'intelligenza artificiale generativa ha innescato una forte domanda di workstation AI capaci di gestire l'esecuzione e l'addestramento di modelli direttamente sull'hardware locale. I tradizionali PC, purtroppo, si sono dimostrati spesso inadeguati per questo compito.

Un tipico laptop, ad esempio, ha una memoria limitata, sufficiente a malapena per caricare un modello linguistico di grandi dimensioni (LLM) con un numero di parametri compreso tra 8 e 13 miliardi. Si tratta di modelli significativamente più piccoli e meno sofisticati rispetto ai modelli più avanzati, che si presume superino il trilione di parametri. Anche le workstation PC più performanti faticano a gestire LLM con più di 70 miliardi di parametri.

Una soluzione interessante a questa sfida è rappresentata da sistemi come il QuietBox 2 di Tenstorrent. Esteticamente simile a una workstation PC convenzionale, il QuietBox 2 racchiude al suo interno quattro acceleratori AI Blackhole personalizzati, sviluppati dalla stessa azienda. Dispone inoltre di 128 gigabyte di memoria GDDR6 (una memoria specializzata utilizzata tipicamente nelle GPU) e 256 GB di memoria di sistema DDR5, per un totale di 384 GB.

Questa configurazione hardware fornisce una capacità di memoria sufficiente per caricare modelli di grandi dimensioni, come il GPT-OSS-120B, e per eseguire modelli di medie dimensioni, come il Llama 3.1 70B di Meta, a velocità prossime ai 500 token al secondo. Per avere un termine di paragone, si tratta di una velocità notevolmente superiore rispetto a quella raggiungibile con soluzioni tradizionali. Questo incremento di prestazioni è cruciale per applicazioni che richiedono elaborazioni intensive di AI, come la generazione di contenuti creativi, la traduzione automatica e l'analisi di dati complessi.

L'importanza di queste workstation AI risiede nella loro capacità di democratizzare l'accesso alla potenza di calcolo necessaria per l'IA generativa. Permettono a ricercatori, sviluppatori e aziende di lavorare con modelli di grandi dimensioni senza dover dipendere da risorse cloud costose e complesse. Questo si traduce in una maggiore flessibilità, controllo e velocità nello sviluppo e nell'implementazione di soluzioni basate sull'intelligenza artificiale. In definitiva, le workstation AI come il QuietBox 2 rappresentano un passo avanti significativo nell'evoluzione dell'hardware dedicato all'IA, aprendo nuove prospettive per l'innovazione e l'applicazione di questa tecnologia in diversi settori.