Meta will den leistungsstärksten KI-Supercomputer der Welt bauen

Der Konzern Meta hat angekündigt, dass er den AI Research SuperCluster (AI RSC) entwickelt: ein Supercomputer für künstlichen Intelligenz (KI). Laut der Ankündigung von Meta, der Mutterfirma von Facebook, Instagram und Whatsapp, ist die Maschine bereits jetzt einer der leistungsstärksten KI-Supercomputer überhaupt. Nach seiner Fertigstellung Mitte 2022 soll er der schnellste Supercomputer der Welt sein.

Aus Billionen von Beispielen lernen

Mithilfe der KI RSC werden die Meta-Forscher in der Lage sein, an KI-Modellen zu arbeiten, die mit einer schwindelerregenden Anzahl von Daten trainiert wurden. Im Mittelpunkt steht dabei die Fähigkeit, in Hunderten von Sprachen zu arbeiten und riesige Mengen an Texten, Bildern und Videos zu analysieren. Aber vor allem sollen neue Augmented-Reality-Tools und Technologien für die Metaversum-Projekte der Gruppe entworfen werden. "Die Erlebnisse, die wir für das Metaversum schaffen, erfordern eine enorme Rechenleistung (fünf Billionen Operationen pro Sekunde!), und die AI RSC wird neue KI-Modelle schaffen, die aus Billionen von Beispielen lernen, Hunderte von Sprachen verstehen und weiteres können", fasste Meta-CEO Mark Zuckerberg auf seinem Facebook-Account zusammen.

Entwickelt, um multimodale Muster zu trainieren

Bevor sich Meta den Einsatz der RSC-KI für das Metaversum anschaut, erklärt der Konzern, dass er die KI bereits für die Identifizierung schädlicher Inhalte auf seinen Diensten nutzen will. Der Supercomputer wurde speziell für die Ausführung von "Transformatoren" konzipiert, also Deep-Learning-Modelle, die selbstständig aus nicht gekennzeichneten Daten lernen können. Ein Beispiel dafür ist das multimodale neuronale Netz AV-HuBERT, das von Meta-Teams entwickelt wurde und in der Lage ist, Sprache zu verstehen, indem es Audio- und visuelle Signale kombiniert. In der Ankündigung von Meta heisst es, dass der neue Supercomputer es ermöglichen wird, schneller Modelle zu trainieren, die multimodale Signale nutzen, um zu entscheiden, ob eine Handlung, ein Ton oder ein Bild schädlich oder gutartig ist. Vor kurzem hat die Gruppe auch die Entwicklung eines multimodalen Hochleistungsalgorithmus mit Selbstüberwachung angekündigt, der in der Lage ist, seine eigenen Darstellungen von Inputdaten wie Sprache, Text oder Audio vorherzusagen.

Prozessoren von Nvidia

Die Meta-Infrastruktur für Hochleistungsrechnen, deren Entwicklung vor anderthalb Jahren begonnen hat, verwendet Komponenten von Nvidia. In der ersten Phase der Nutzung des Supercomputers sind 760 Nvidia GGX A100-Systeme mit 6080 integrierten Grafikprozessoren eingebaut. In einer separaten Ankündigung erklärt Nvidia, dass der RSC in der zweiten Phase auf 16'000 GPUs aufgestockt werden soll. Damit soll eine Rechenleistung von fünf Exaflops bei gemischter Genauigkeit (32 oder 16 Bit) erreicht werden. Meta strebt darüber hinaus an, das Speichersystem von RSC zu erweitern, um bis zu einem Exabyte an Daten mit 16 Terabyte pro Sekunde bereitzustellen. Laut Meta sei die Leistung der RSC-KI vergleichbar mit der von Perlmutter, dem derzeit Fünftplatzierten in der Rangliste der grössten Supercomputer der Welt.

Andere Tech-Giganten zögern ebenfalls nicht, ihre eigenen Supercomputer zu entwickeln, um den spezifischen Bedürfnissen der Unternehmen gerecht zu werden. Tesla hat beispielsweise eine Hochleistungsrecheninfrastruktur mit Mikroprozessoren entwickelt, die von Teslas Ingenieuren entworfen und auf die Bedürfnisse seiner künstlichen Intelligenz zugeschnitten wurden.

Im Gespräch mit ICTjournal erläutert Chirag Dekate, Analyst bei Gartner, seine Ansichten zu Metas Ambitionen mit diesem Projekt und erläutert, wie der Rechner sich von herkömmlichen Supercomputern unterscheidet.

Warum ist es für Meta wichtig, einen eigenen Supercomputer für ihre KI zu bauen?

Letztendlich bietet der AI RSC Meta eine Plattform für die Entwicklung von Technologien für das Metaversum, in dem KI-gestützte Anwendungen und Produkte eine wichtige Rolle spielen werden. Dazu gehören neue Technologiebereiche der KI, insbesondere multimodale KI und eingebettete KI (embodied AI), die disruptive Innovationen im Kontext des Metaversums ermöglichen können. Beispiele hierfür sind die Sprachübersetzung in Echtzeit einer grossen Gruppe von Menschen, die jeweils eine andere Sprache sprechen, und die Entwicklung neuer Augmented-Reality-Erlebnisse. Diese fortschrittlichen KI-Erfahrungen der nächsten Generation werden von gekoppelten, gross angelegten Deep-Learning-Modellen angetrieben, die Milliarden von Parametern umfassen.

Kann man die angekündigte Leistung von AI RSC mit den besten herkömmlichen Supercomputern vergleichen?

Es könnte schwierig werden, die AI RSC mit traditionellen Supercomputern zu vergleichen. Herkömmliche HPC-Umgebungen sind eher auf hochpräzise Arithmetik ausgelegt, um eine höhere Genauigkeit für physikalische Modelle in extremen Grössenordnungen zu bieten. Jede Verringerung der Genauigkeit könnte zu Ungenauigkeiten in der zugrunde liegenden Physik führen. KI-Modelle sind zu einem grossen Teil statistische Verfahren, die eine Arithmetik mit geringerer Genauigkeit verkraften können, ohne die Genauigkeit des Modells zu beeinträchtigen. Die AI RSC ist eher ein Supercomputer, der speziell für die Skalierung von AI-Modellen entwickelt wurde. Herkömmliche HPC-Modelle können auch in Metas AI RSC ausgeführt werden, aber sie verfügen in der Regel nicht über die Parallelität, die notwendig ist, um den Wert von Skalierungssystemen auf der AI RSC zu maximieren. Vom Standpunkt der Skalierung aus betrachtet wird Metas AI RSC, wenn sie vollständig eingesetzt wird, eine Rechenkapazität (5 Exaflops) haben, die grösser ist als die aggregierte Kapazität der 500 grössten Supercomputer der Welt.

Künstliche Intelligenz ist nicht nur im Silicon-Valley ein Begriff. Forschende an der ETH Zürich nutzen KI, um das Qualitätsmanagement in Produktionsprozessen zu verbessern. Lesen Sie hier, wie Halbleiterproduzent Hitachi davon profitierte.