qualcomm AI Hub

Das Qualcomm AI Hub umfasst eine große Auswahl voroptimierter KI-Modelle, die gezielt auf die Entwicklung von On-Device-KI mit Snapdragon- und Qualcomm-Plattformen ausgelegt sind. Mit beispielsweise Stable Diffusion, Whisper und Baichuan 7B stellt Qualcomm verschiedene Modelle auf Hugging Face und GitHub zur Verfügung, die es Entwicklern ermöglichen, bei der Projektplanung und -umsetzung durch einfache Integration in Cloud-basierte Geräte mit Qualcomm-Technologie zeiteffizienter zu arbeiten und so schneller Produkte und Lösungen auf den Markt zu bringen. Mit der Hardwarebeschleunigung der AI Engine über NPU, CPU und GPU können Inferenzzeiten um das Vierfache reduziert werden, sodass die einzelnen Schritte schneller abgearbeitet werden können.

Die verschiedenen Modelle bieten Vorteile in einem breiten Anwendungsspektrum (z.B. Sprachverarbeitung, Text-zu-Bild, Objekterkennung uvm.) und ermöglichen dank schneller, sicherer und kosteneffizienterer On-Device-KI zu einem verbesserten Entwickler- und Nutzererlebnis.  
 

Im Zuge der Veröffentlichung des AI Hubs, präsentiert Qualcomm AI Research erstmals das multimodale Large Language and Vision Assistant (LLaVA) KI-Modell, das mit mehr als 7 Milliarden Parametern sowohl Text- als auch Bildeingaben verarbeiten kann. Diese Large Language Models (LLMs) dienen verschiedenen Anwendungen, wie beispielsweise der Erkennung und Analyse optischer Muster, und garantieren mit der lokalen Verarbeitung auf dem Gerät Datensicherheit und zuverlässige Leistung.

Zudem wird die Low Rank Adaptation (LoRA)-Technologie vorgestellt, die mit nur wenigen trainierbaren Parametern Stable Diffusion auf Android ermöglicht. Dies optimiert und vereinfacht die Skalierung und Anpassung maßgeschneiderter KI-Modelle und bietet die Grundlage für die Nutzung generativer KI in der Bildverarbeitung sowie der Sprachmodellanpassung.