VMware und Nvidia erweiteren ihre strategische Partnerschaft laut einem gemeinsamen Communiqué, um Unternehmen, die die Cloud-Infrastruktur von VMware nutzen, für die generative KI vorzubereiten. VMware Private AI Foundation mit Nvidia soll es Unternehmen laut Communiqué ermöglichen, Modelle anzupassen und generative KI-Anwendungen auszuführen, darunter intelligente Chatbots, Assistenten, Suchfunktionen und Zusammenfassungen. Die Plattform soll eine vollständig integrierte Lösung mit generativer KI-Software und beschleunigtem Computing von Nvidia sein, die auf VMware Cloud Foundation aufbaut und für KI optimiert ist, heisst es. McKinsey schätzt, dass generative KI den Umsatz der Weltwirtschaft jährlich um bis zu 4,4 Billionen Dollar steigern könnte.
Die angekündigte Plattform basiert auf der VMware Cloud Foundation und der Nvidia AI Enterprise Software und soll über folgende Funkionen verfügen:
• Datenschutz: Anwenderfirmen sollen KI-Dienste problemlos überall dort ausführen können, wo sie Daten haben, und zwar mit einer Architektur, die den Datenschutz wahre und einen sicheren Zugriff ermögliche.
• Wahlfreiheit; Unternehmen sollen auch eine grosse Auswahl bei der Erstellung und Ausführung ihrer Modelle haben - von Nvidia NeMo bis Llama 2 und darüber hinaus - einschliesslich OEM-Hardware-Konfigurationen und in Zukunft auch bei Public Cloud- und Service-Provider-Angeboten.
• Leistung: Die Ausführung auf einer schnellen Nvidia-Infrastruktur soll in einigen Anwendungsfällen eine Leistung liefern, die der von Bare Metal gleichkomme oder diese sogar übertreffe, wie aktuelle Branchen-Benchmarks zeigten.
• Skalierung im Rechenzentrum: Optimierungen der GPU-Skalierung in virtualisierten Umgebungen sollen weiters die Skalierung von KI-Workloads auf bis zu 16 vGPUs/GPUs in einer einzigen virtuellen Maschine und über mehrere Knoten hinweg ermöglichen, um die Feinabstimmung und Bereitstellung generativer KI-Modelle zu beschleunigen.
• Geringere Kosten: Eine maximale Nutzung aller Rechenressourcen (GPUs, DPUs und CPUs) soll dazu beitragen, die Gesamtkosten zu senken und eine gepoolte Ressourcenumgebung zu schaffen, die effizient von verschiedenen Teams genutzt werden könne.
• Beschleunigter Storage: Die VMware vSAN Express-Storage-Architektur soll Performance-optimierten NVMe-Speicher bieten und GPUDirect-Speicher über RDMA unterstützen, was eine direkte E/A-Übertragung vom Speicher zu den GPUs ohne CPU-Beteiligung ermögliche.
• Beschleunigtes Networking: Die tiefe Integration zwischen vSphere und der Nvidia NVSwitch-Technologie soll die Ausführung von Multi-GPU-Modellen ohne Engpässe zwischen den GPUs gewährleisten.
• Schnelle Bereitstellung und Time-to-Value: vSphere Deep Learning-VM-Images und Image-Repository sollen schnelles Prototyping ermöglichen, indem sie ein stabiles, schlüsselfertiges Solution Image bieten, bei dem Frameworks und leistungsoptimierte Bibliotheken vorinstalliert sind.
Die Plattform werde mit Nvidia NeMo ein durchgängiges, cloud-natives Framework enthalten, das Teil der Nvidia AI Enterprise – dem Betriebssystem der Nvidia AI-Plattform – ist. Es ermögliche Unternehmen, generative KI-Modelle praktisch überall zu erstellen, anzupassen und einzusetzen. NeMo kombiniere Anpassungs-Frameworks, Guardrail-Toolkits, Datenkuratierungs-Tools und vortrainierte Modelle, um Unternehmen einen einfachen, kostengünstigen und schnellen Weg zur Einführung generativer KI zu bieten.
Für den Einsatz von generativer KI in der Produktion verwendet NeMo TensorRT for Large Language Models (TRT-LLM), das die Inferenzleistung der neuesten LLMs auf Nvidia-GPUs beschleunigt und optimiert. Mit NeMo ermögliche es die VMware Private AI Foundation Nvidia Unternehmen, ihre eigenen Daten einzubringen, um benutzerdefinierte generative KI-Modelle in der Hybrid-Cloud-Infrastruktur von VMware zu erstellen und auszuführen.
VMware plant die Veröffentlichung von VMware Private AI Foundation mit Nvidia für Anfang 2024.
Der Online-Stellenmarkt für ICT Professionals