Nvidia-ceo Jensen Huang heeft tijdens zijn GTC-keynote de H100 NVL onthuld. Bij deze dual-gpu worden twee bestaande Hopper-acceleratoren aaneen gekoppeld om large language models zoals ChatGPT te versnellen.
Een configuratie met vier H100 NVL’s moet tot tien keer beter presteren in ai-workloads dan een HGX A100-cluster.
In essentie gaat het om cherrypicked GH100-chips, die op een pcie-uitbreidingskaart worden geplaatst en per twee stuks via drie NVLink 4-bridges met elkaar worden verbonden. In tegenstelling tot de reeds onthulde H100-producten beschikt elke gpu over zes 16GB-stacks aan hbm3-geheugen in plaats van vijf. Terwijl dit een capaciteit van 96 GB per chip zou moeten opleveren, gaat het in de praktijk om 94 GB. Dit wil zeggen dat elke dual-gpu niet minder dan 188 GB geheugen aan boord heeft.
Deze uitgebreide geheugenconfiguratie levert niet alleen meer capaciteit op, ook de bandbreedte wordt verhoogd – wat zeer goed van pas moet komen bij het versnellen van ai-modellen. Elke H100 NVL bereikt 7,8 TB/s, een uplift van 16% in vergelijk met twee H100 SXM’s. Waar laatstgenoemde een stroomverbruik van maximaal 700 watt heeft, moet de NVL vanwege zijn pcie-formaat het doen met 2x 350-400 W. Hierdoor moet het mogelijk zijn om de temperatuur onder controle te houden.
De H100 NVL wordt in de tweede helft van dit jaar verwacht. Nvidia noemt geen prijs, al zal deze naar verwachting niet bepaald mals zijn.
Bronnen: Nvidia, Videocardz, AnandTech, Igor's Lab
