Google hat die neueste Version seiner Machine-Learning-Bibliothek TensorFlow veröffentlicht: TensorFlow 2.21. Diese Version bringt bedeutende Verbesserungen, insbesondere für die Ausführung von KI-Modellen auf mobilen Geräten und Edge-Computing-Plattformen. Das Hauptaugenmerk liegt auf der Beschleunigung der Inferenz, also der Anwendung trainierter Modelle auf neue Daten, und der Optimierung für verschiedene Hardware-Architekturen.

Die wichtigste Neuerung ist die vollständige Integration von LiteRT, das nun offiziell TensorFlow Lite (TFLite) als universelles Framework für On-Device-Inferenz ablöst. LiteRT war zuvor als Preview-Version verfügbar und ist nun produktionsreif. Dieser Schritt vereinfacht die Bereitstellung von Machine-Learning-Modellen auf Geräten wie Smartphones, Tablets und IoT-Geräten erheblich. Durch die Ablösung von TFLite verspricht Google eine einheitlichere und effizientere Entwicklungsumgebung.

Einer der größten Vorteile von LiteRT ist die verbesserte Hardwarebeschleunigung. Bei der Ausführung von KI-Modellen auf Edge-Geräten sind Inferenzgeschwindigkeit und Energieeffizienz entscheidend. LiteRT adressiert diese Herausforderungen durch optimierte Unterstützung für GPUs (Graphics Processing Units) und NPUs (Neural Processing Units).

Konkret bedeutet das: LiteRT bietet eine um bis zu 1,4-fach höhere GPU-Performance im Vergleich zum bisherigen TFLite-Framework. Diese Steigerung ist besonders wichtig für komplexe Modelle und rechenintensive Aufgaben, die auf mobilen Geräten ausgeführt werden. Die verbesserte GPU-Performance ermöglicht flüssigere Anwendungen und eine bessere Nutzererfahrung.

Darüber hinaus führt TensorFlow 2.21 eine optimierte NPU-Beschleunigung ein. NPUs sind spezialisierte Hardware-Komponenten, die speziell für Machine-Learning-Aufgaben entwickelt wurden. LiteRT bietet einen einheitlichen und optimierten Workflow für die Nutzung von GPUs und NPUs auf verschiedenen Edge-Plattformen. Diese Infrastruktur soll die Entwicklung und Bereitstellung von KI-Modellen auf einer Vielzahl von Geräten vereinfachen und beschleunigen.

Die Integration von LiteRT und die verbesserte Hardwarebeschleunigung haben das Potenzial, die Entwicklung und den Einsatz von KI-Anwendungen auf Edge-Geräten deutlich voranzutreiben. Entwickler profitieren von einer einfacheren Bereitstellung, einer höheren Performance und einer besseren Energieeffizienz. Dies eröffnet neue Möglichkeiten für innovative Anwendungen in Bereichen wie Bilderkennung, Sprachverarbeitung und intelligenten Sensoren, die direkt auf dem Gerät ausgeführt werden können, ohne auf eine Cloud-Verbindung angewiesen zu sein. Die nahtlose Integration mit PyTorch, einem weiteren populären Machine-Learning-Framework, ist ebenfalls ein großer Vorteil, der die Flexibilität für Entwickler erhöht.