Nvidia GH200: Grade Hopper heeft zojuist de HBM3e-upgrade gekregen

De H100 GPU krijgt nog een snelheidsboost: Nvidia lanceert hem met HBM3e in plaats van de HBM3-geheugencomponenten. Dit verhoogt de RAM-capaciteit en -doorvoer en is bedoeld om de training van bijzonder grote AI-modellen te versnellen.

advertentie

Nvidia spreekt een taal Advertentie voor een cigraph-tentoonstelling van een boost met een factor 3,5 – uiteraard in geselecteerde “best case”-scenario’s. Voorlopig is de verbeterde H100 GPU echter alleen beschikbaar als een “high-end” GH200-chip samen met Nvidia’s eigen ARM-processor op een generieke printplaat.

141 GB HBM3e per GPU

In deze variant gebruikt de accelerator 141 GB aan HBM3e-geheugen met een overdrachtssnelheid van ongeveer 5 TB/s. Nvidia biedt geen technische achtergrond voor deze kromgetrokken capaciteit – sommige geheugenlocaties zijn mogelijk niet in orde. Samsung, SK Hynix en Micron produceren aanvankelijk componenten met een capaciteit tot 24 GB, waarvan er zes daadwerkelijk 144 GB opleveren.

In de originele H100-versie zijn vijf van de zes bijgevoegde HBM3-bouwstenen actief. Er kan 80 GB RAM worden gebruikt met een overdrachtssnelheid van 3,35 TB/s. Bij de H100 NVL is de zesde HBM3-eenheid actief. Dit verhoogt de capaciteit tot 94 GB – individuele opslaglagen worden hier ook uitgeschakeld – en de overdrachtssnelheid tot 3,9 TB/s.

De rest van de uitrusting verandert niet tussen de drie versies. Ze gebruiken allemaal 14.592 shader-cores, die een rekenkracht van ongeveer 4 petaflops behalen tijdens het trainen van de AI. Deze waarde is van toepassing op FP8-berekening met lage nauwkeurigheid, maar is voldoende voor training.

advertentie

Met 72 Neoverse V2 ARM cores behoort de Grace CPU van de GH200 boards tegenwoordig tot de hogere middenklasse. De belangrijkste rekenbelasting is de H100 GPU.

Nog niet verkrijgbaar

De eerste systemen met de nieuwe GH200-kaarten zouden in het tweede kwartaal van 2024 beschikbaar moeten zijn. Tegen die tijd zouden geheugenfabrikanten HBM3e-componenten moeten kunnen aanbieden. Bovendien heeft Nvidia nog tijd om leveringsknelpunten op te lossen.

Systemen met de eerdere Grace Hopper-combinatie zijn nog steeds zeldzaam. Nvidia maakte dit in de vroege zomer van 2022 bekend voor de eerste helft van 2023; Op de vakbeurs Computex in mei werden de eerste modellen getoond. Het moet echter nog commercieel verschijnen.

(master)