Der Aufstieg generativer KI hat die Nachfrage nach speziellen KI-Workstations massiv befeuert. Immer mehr Entwickler und Unternehmen möchten KI-Modelle lokal auf eigener Hardware trainieren und ausführen. Dabei stoßen herkömmliche PCs schnell an ihre Grenzen. Moderne Laptops, selbst solche mit gehobener Ausstattung, verfügen oft nicht über genügend Arbeitsspeicher, um umfangreiche Sprachmodelle (LLMs) mit einer hohen Anzahl an Parametern zu laden. Die Folge: Die Leistung ist stark eingeschränkt.

Selbst High-End-Workstations haben Schwierigkeiten, LLMs mit mehr als 70 Milliarden Parametern effizient zu bedienen. Hier setzt eine neue Generation von KI-Workstations an, die speziell für diese anspruchsvollen Aufgaben konzipiert sind. Diese Systeme sehen zwar äußerlich wie herkömmliche PCs aus, bieten aber intern eine deutlich höhere Rechenleistung und Speicherkapazität.

Ein interessantes Beispiel ist die QuietBox 2 von Tenstorrent. Auf den ersten Blick ähnelt sie einer herkömmlichen Workstation. Unter der Haube verbergen sich jedoch vier Blackhole AI-Beschleuniger, die von Tenstorrent selbst entwickelt wurden. Diese Beschleuniger sind speziell auf die Anforderungen von KI-Anwendungen optimiert und bieten eine deutlich höhere Leistung als herkömmliche CPUs oder GPUs bei bestimmten KI-Aufgaben.

Die QuietBox 2 ist mit 128 Gigabyte GDDR6-Speicher ausgestattet – einem Speichertyp, der normalerweise in Grafikkarten verwendet wird und sich durch besonders hohe Bandbreite auszeichnet. Hinzu kommen 256 GB DDR5-Systemspeicher, was eine Gesamtkapazität von 384 GB ergibt. Diese großzügige Speicherausstattung ermöglicht es, auch umfangreiche Modelle wie GPT-OSS-120B zu laden und auszuführen.

Auch mittelgroße Modelle, wie beispielsweise Meta's Llama 3.1 70B, lassen sich mit beachtlicher Geschwindigkeit betreiben. Berichten zufolge erreicht die QuietBox 2 hier fast 500 Tokens pro Sekunde. Das ist ein deutlicher Geschwindigkeitsvorteil gegenüber herkömmlichen PC-Systemen.

Der Trend zu spezialisierten KI-Workstations zeigt deutlich, dass die Anforderungen an Hardware für KI-Anwendungen stetig steigen. Die Entwicklung von immer komplexeren und leistungsfähigeren KI-Modellen erfordert innovative Hardwarelösungen, die speziell auf diese Herausforderungen zugeschnitten sind. Es bleibt spannend zu beobachten, wie sich dieser Markt in Zukunft weiterentwickeln wird und welche neuen Technologien und Architekturen hier zum Einsatz kommen werden. Diese spezialisierten Workstations sind ein wichtiger Schritt, um die Möglichkeiten generativer KI voll auszuschöpfen und neue Anwendungen zu ermöglichen.