Mittwoch, 07 Dezember 2022 10:35

Cerebras zeigt AI-Supercomputer Andromeda mit 13,5 Millionen Kernen

Schriftgröße Schriftgröße verkleinern Schrift vergrößern
Drucken
E-Mail

Geschätzte Lesezeit: 1 - 2 Minuten

Wafer-Scale Engine von Cerebras Bild: Cerebras

Cerebras Systems im kalifornischen Sunnyvale, Pionier von komplexen Rechensystemen mit Künstlicher Intelligenz, zeigte im November auf der SC22 (International Conference for High Performance Computing) in Dallas, Texas, seinen AI-Supercomputer Andromeda mit 13,5 Millionen Kernen. Die Besonderheit ist der Aufbau als Cluster aus 16 von Cerebras' CS-2 Systemen auf Basis der Cerebras MemoryX- und SwarmX-Technologien. Andromeda liefert mehr als 1 Exaflops im AI-Bereich und 120 Petaflops für extrem hohe Rechenleistung (dense computing) mit halber Genauigkeit (16 bit).

Andromedas bislang wichtigster Einsatz ist als AI-Supercomputer für nahezu perfektes lineares Skalieren großer Sprachmodelle der GTP-Klasse (GPT-3, GPT-J und GPT-NeoX). Dabei nutzt er einfache Daten-Paralellismen. Angesteuert von 18 176 AMD EPYC-Prozessoren enthält Andromeda mehr Kerne als 1 953 Nvidia A100 GPUs (Graphic Processor Unit) und das 1,6-Fache des weltgrößten Supercomputers Frontier mit 8,7 Millionen Kernen.

Lineares Skalieren bedeutet, dass sich mit jedem zusätzlichen CS-2 Wafer die Trainingszeit in nahezu perfekter Proportion reduziert. Das betrifft die Bearbeitung großer Sprachmodelle mit 25 Milliarden Parametern und sehr langen Sequenzen. Mit traditionellen GPUs, etwa Polaris-Systemen mit 2 000 Nvidia A100 GPUs, lässt sich dies wegen deren begrenzter Speicherbandbreite nicht bewerkstelligen.

Andromeda wird bereits in der akademischen Forschung eingesetzt, so beim amerikanischen Argonne National Laboratory und an der Cambridge University, mit freiem Zugang per Notebook auch für Studierende. Daneben in kommerziellen Umgebungen wie AstraZeneca und GlaxoSmithKline. Andromeda steht derzeit in Form von 16 Gestellen bei Colovore, einem großen Datenzentrum im kalifornischen Santa Clara. Die Maschine kann simultan genutzt werden, entweder als Supercomputer-Cluster mit seinen 16 CS-2 Systemen für einen Benutzer, oder als 16 einzelne CS-2 Systeme für 16 verschiedene Jobs in jeder praktikablen Kombination.

Cerebras, gegründet 2015, hat sich mit seinen Wafer-großen Prozessorsystemen (Wafer-Scale Engine) zur Lösung von AI-Problemen profiliert. 2019 wurde WSC-1 mit einer Kantenlänge von 8,5 Zoll (216 mm) vorgestellt. 2021 kam das CS-2 System auf der Basis von WSE-2 mit 850 000 Kernen. Jeder WSE-2 Wafer hat drei physikalische Ebenen für Arithmetik mit 850 000 Kernen und 3,4 Millionen FPUs (Gleitkomma-Einheiten), Speicher für 40 GB Onboard SRAM und Kommunikation. Als erste europäische Forschungseinrichtung installiert das Leibniz Rechenzentrum (LRZ) in Garching bei München einen Supercomputer mit CS-2.