Voir la source de Hopper (microarchitecture)

{{Voir homonymes|Hopper}}
{{Infobox GPU
|couleur boîte=76b900
|titre blanc=oui
|nom=NVIDIA Hopper
|image=Nvidia (logo).svg
|légende               = 
| date    = 20 septembre 2022
| procédé                = [[TSMC]] [[5 nm|4N]]
| codename               = 
<!------------------  Product Series  ------------------->
| products-desktop1      = 
| products-hedt1         = 
| products-server1       = 
<!------------------  Specifications  ------------------->
| compute                = 
| slowest                = 
| slow-unit              = 
| fastest                = 
| fast-unit              = 
| shader-clock           = 
| l0-cache               = 
| l1-cache               = 256 ko (par SM)
| l2-cache               = 50 Mo
| l3-cache               = 
| memory-support         = [[High Bandwidth Memory#HBM3|HBM3]]
| memory-clock           = 
| pcie-support           = [[PCI Express#PCI Express 5.0|PCIe 5.0]]
<!------------------  Media  Engine ------------------->
| encode-codec           = 
| decode-codec           = 
| color-depth            = 
| encoders               = [[NVENC]]
| display-outputs        = 
<!------------------  History  ------------------->
| prédécesseur     = [[Ampere (microarchitecture)|Ampere]]
| variantes        = [[Ada Lovelace (microarchitecture)|Ada Lovelace]] (grand public)
| successeur       = [[Blackwell (microarchitecture)|Blackwell]]
|transistors=* 80,0 G (GH100)}}
[[File:Grace Murray Hopper, in her office in Washington DC, 1978, ©Lynn Gilbert.jpg|right|thumb|Grace Hopper, éponyme de l'architecture]]
'''Hopper''' est une [[microarchitecture]] de  [[processeur graphique]] (GPU) développée par [[Nvidia]]. Elle est conçue pour les [[Serveur informatique|serveurs]] des [[Centre de données|centres de données]] et est sortie parallèlement à la microarchitecture [[Ada Lovelace (microarchitecture)|Ada Lovelace]].

Nommée d'après l'informaticienne et contre-amiral de l'[[United States Navy]] [[Grace Hopper]], l'architecture Hopper a fuité en novembre 2019 et a été officiellement révélée en mars 2022. Elle améliore les performances de ses prédécesseurs, les microarchitectures [[Turing (microarchitecture)|Turing]] et [[Ampere (microarchitecture)|Ampere]], possédant un nouveau [[multiprocesseur]] de flux et un sous-système mémoire plus rapide.

== Architecture ==
Le GPU Hopper H100 est fabriqué avec le procédé [[TSMC]] 4N et comporte {{nb|80 milliards}} de transistors. Il possède jusqu'à {{nb|144 [[multiprocesseur]]s}} de flux{{Sfn|Elster|Haugdahl|2022|p=4}}. Dans un [[Socket (processeur)|socket]] {{Lien|SXM (socket)|texte=SXM5}}, le Hopper H100 offre de meilleures performances que le [[PCIe]]{{Sfn|Nvidia|2023|p=20|id=Nvidia2023c}}.

=== Multiprocesseurs de flux ===
Les multiprocesseurs de flux (SM) d'Hopper améliorent ceux des microarchitectures [[Turing (microarchitecture)|Turing]] et [[Ampere (microarchitecture)|Ampere]], bien que nombre maximal de ''warps'' concurrents par SM reste identique entre les architectures Ampere et Hopper, 64{{Sfn|Nvidia|2023|p=9|id=Nvidia2023b}}. L'architecture Hopper fournit un ''Tensor Memory Accelerator'' (TMA), qui supporte le transfert mémoire asynchrone bidirectionnel entre la mémoire partagée et la mémoire globale{{Sfn|Fujita|Yamaguchi|Kikuchi|Ichimura|2023|p=6}}. Avec le TMA, les applications peuvent transférer jusqu'à des tenseurs 5D. Lors d'écritures entre la mémoire partagée et la mémoire globale, les opérateurs de réduction par élément et par bit peuvent être utilisés, évitant les instructions sur registres et SM, tout en permettant aux utilisateurs d'écrire des codes spécialisés dans les warps. Le TMA est activé par <code>cuda::memcpy_async</code>{{Sfn|Nvidia|2023|p=9-10|id=Nvidia2023b}}.

Lorsqu'ils parallélisent des applications, les développeurs peuvent utiliser des clusters (groupes) de {{Lien|trad=thread block (CUDA programming)|fr=Bloc de threads|texte=blocs de threads}}. Les blocs de threads peuvent effectuer des instructions « atomiques » dans la mémoire partagée d'autres blocs de threads au sein de son groupe, appelée également {{Lien|trad=distributed shared memory|fr=mémoire partagée distribuée}}. La mémoire partagée distribuée peut être utilisée par un SM simultanément avec le [[Cache de processeur|cache L2]] ; lorsqu'elle est utilisée pour transmettre des données entre les SM, elle peut utiliser la bande passante combinée de la mémoire partagée distribuée et du cache L2. Le nombre maximal des groupes « portables » dans un cluster est de 8, bien que le Hopper H100 puisse supporter une nombre maximal de groupes de 16 en utilisant la fonction <code>cudaFuncAttributeNonPortableClusterSizeAllowed</code>, potentiellement au prix d'une réduction du nombre de blocs actifs{{Sfn|Nvidia|2023|p=10|id=Nvidia2023b}}. Avec le L2 multicasting et la mémoire partagée distribuée, la bande passante requise pour les lectures et écritures en [[mémoire vive dynamique]] est réduite<ref name="NVIDIAVid">{{Lien vidéo |people=Vishal Mehta |date=September 2022 |titre=CUDA Programming Model for Hopper Architecture |langue=en |url=https://www.nvidia.com/en-us/on-demand/session/gtcfall22-a41095/ |access-date=May 29, 2023 |location=Santa Clara |publisher=[[Nvidia]]}}</ref>.

Hopper améliore le [[throughput]] en [[IEEE 754#Format simple précision (32 bits)|format flottant simple précision]] (FP32), avec deux fois plus d'opérations FP32 par cycle et par SM que son prédécesseur. De plus, l'architecture Hopper possède de nouvelles instructions, dont l'[[algorithme de Smith-Waterman]]{{Sfn|Nvidia|2023|p=10|id=Nvidia2023b}}. Comme sur Ampere, l'arithmétique TensorFloat-32 (TF-32) est supportée. La grille de formats supportés par les deux architectures est identique{{Sfn|Fujita|Yamaguchi|Kikuchi|Ichimura|2023|p=4}}.

=== Mémoire ===
Le Hopper H100 supporte les mémoires [[High Bandwidth Memory|HBM3]] et [[High Bandwidth Memory|HBM2]] jusqu'à {{nb|80 GB}} ; le système de mémoire HBM3 supporte {{nb|3 TB/s}}, en augmentation par rapport à Ampere A100. Au sein de l'architecture, la capacité du cache L2 et la bande passante ont été augmentées{{Sfn|Nvidia|2023|p=11|id=Nvidia2023b}}.

Hopper permet aux {{Lien|trad=Compute kernel|fr=Noyau de calcul|texte=noyaux de calcul}} des [[CUDA]] d'utiliser la compression en ligne, y compris en allocation mémoire individuelle, bien que cette fonctionnalité ne réduise pas l'empreinte mémoire<!--{{Explain |reason=This is a contradiction, unless this part of the paragraph is talking about the compression of streams of data between domains and the rest is talking about the compressed memory API...|date=September 2023}}-->. Le compresseur choisira automatiquement entre plusieurs algorithmes de compression{{Sfn|Nvidia|2023|p=11|id=Nvidia2023b}}.

Un exemple complet d'allocation de mémoire compressible peut être trouvé à [https://github.com/NVIDIA/cuda-samples/blob/master/Samples/3_CUDA_Features/cudaCompressibleMemory/compMalloc.cpp the CUDA samples Github's cudaCompressibleMemory example]<ref>{{Lien web |langue=en|titre=cudaCompressibleMemory.cpp |url=https://docs.nvidia.com/cuda/archive/11.2.2/cuda-c-programming-guide/index.html#allocating-physical-memory |site=NVidia |consulté le=20 September 2023}}</ref>.

Le Hopper H100 accroît la capacité du cache combiné L1, du cache de texture et de la mémoire partagée à 256 kB. Comme ses prédécesseurs, il combine les caches L1 et de texture dans un cache unifié conçu comme un « buffer coalescent ». L'attribut <code>cudaFuncAttributePreferredSharedMemoryCarveout</code> peut être utilisé pour définir le découpage du cache L1. Hopper introduit des améliorations à [[NVLink]] par le biais d'une nouvelle génération ayant une largeur de bande de transmission globalement plus rapide{{Sfn|Nvidia|2023|p=12|id=Nvidia2020a}}.

==== Domaines de synchronisation mémoire ====
Les applications CUDA peuvent rencontrer des interférences lorsqu'elles réalisent des opérations ''fence/flush'' à cause de l'{{Lien|trad=Memory ordering|fr=ordonnancement de la mémoire}}. Parce que le GPU ne peut pas savoir lors de l'exécution quelles écritures sont garanties et quelles sont celles qui sont visibles seulement par le hasard du timing, il peut attendre pour des opérations mémoire inutiles, ralentissant donc fortement les opérations ''fence/flush''. Par exemple, lorsqu'un noyau réalise des calculs dans la mémoire GPU tandis qu'un noyau parallèle effectue des communications avec un pair, le noyau local nettoiera (''flush'') ses écritures, se traduisant par des écritures NVLink ou [[PCIe]] plus lentes du noyau de communication. Avec l'architecture Hopper, grâce à la mise en oeuvre des domaines de synchronisation mémoire, le GPU peut réduire le le délai inutile par une opération de ''fence''{{Sfn|Nvidia|2023|p=44}}.

=== Instructions DPX ===
L'[[interface de programmation]] (API) mathématique de l'architecture Hopper propose des fonctions dans les SM telles que <code>__viaddmin_s16x2_relu</code>, qui exécute la fonction sur [[Mot (architecture informatique)|demi-mot]] <math>max(min(a + b, c), 0)</math>. Dans l'algorithme de Smith-Waterman, la fonction <code>__vimax3_s16x2_relu</code> peut être utilisée, un max sur trois valeurs suivi d'un max avec zéro<ref>{{Lien web |langue=en|url=https://developer.nvidia.com/blog/boosting-dynamic-programming-performance-using-nvidia-hopper-gpu-dpx-instructions/ |titre=Boosting Dynamic Programming Performance Using NVIDIA Hopper GPU DPX Instructions |date=December 8, 2022 |nom1=Tirumala |prénom1=Ajay |nom2=Eaton |prénom2=Joe |nom3=Tyrlik |prénom3=Matt |éditeur=[[Nvidia]] |consulté le=May 29, 2023}}</ref>. De même, Hopper accélère l'implémentation de l'[[algorithme de Needleman-Wunsch]]<ref>{{Lien web |langue=en|url=https://blogs.nvidia.com/blog/2022/03/22/nvidia-hopper-accelerates-dynamic-programming-using-dpx-instructions/ |titre=NVIDIA Hopper GPU Architecture Accelerates Dynamic Programming Up to 40x Using New DPX Instructions |date=March 22, 2022 |nom=Harris |prénom=Dion |éditeur=[[Nvidia]] |consulté le=May 29, 2023}}</ref>.

=== Moteur de transformeur ===
L'architecture Hopper utilise un moteur de [[transformeur]]<ref>{{Lien web|langue=en |url=https://blogs.nvidia.com/blog/2022/03/22/h100-transformer-engine/ |titre=H100 Transformer Engine Supercharges AI Training, Delivering Up to 6x Higher Performance Without Losing Accuracy |date=March 22, 2022 |nom=Salvator |prénom=Dave |éditeur=[[Nvidia]] |consulté le=May 29, 2023}}</ref>.

=== Efficacité énergétique ===
Le socket SXM5 du H100 a un [[Enveloppe thermique|thermal design power]] (TDP) de 700 [[watt]]s. En regard à son asynchronisme, l'architecture Hopper pourrait atteindre un fort taux d'utilisation et donc avoir une meilleure performance par watt{{Sfn|Elster|Haugdahl|2022|p=8}}.

== Historique ==
En novembre 2019, un célèbre compte [[Twitter]] a posté un tweet révélant que l'architecture succédant à [[Ampere (microarchitecture)|Ampere]] serait appelée Hopper, nommée d'après l'informaticienne et contre-amiral [[United States Navy]] [[Grace Hopper]], une des premières programmeuses du [[Harvard Mark I]]. Le compte précisait que Hopper serait basée sur une conception à [[module multi-puces]], qui conduirait à un meilleur rendement de production et à des rebuts plus faibles<ref>{{Lien web |langue=en|url=https://wccftech.com/nvidia-hopper-gpu-mcm-leaked/ |titre=NVIDIA Next Generation Hopper GPU Leaked – Based On MCM Design, Launching After Ampere |date=November 16, 2019 |nom=Pirzada |prénom=Usman |série=Wccftech |consulté le=May 29, 2023}}</ref>.

Lors du {{Lien|Nvidia GTC}} 2022, Nvidia a officiellement annoncé Hopper<ref>{{Lien web |langue=en| url=https://www.theverge.com/2022/3/22/22989182/nvidia-ai-hopper-architecture-h100-gpu-eos-supercomputer |titre=Nvidia reveals H100 GPU for AI and teases 'world's fastest AI supercomputer' |date=March 22, 2022 |nom=Vincent |prénom=James |série=[[The Verge]] |consulté le=May 29, 2023}}</ref>.

== Références ==
=== Citations ===
{{Références}}

=== Travaux cités ===
*{{Article |langue=en|nom1=Elster |prénom1=Anne |nom2=Haugdahl |prénom2=Tor |date=March 2022 |titre=Nvidia Hopper GPU and Grace CPU Highlights |url=https://www.computer.org/csdl/magazine/cs/2022/02/09789536/1E0N2woOifC |journal=[[Computing in Science & Engineering]] |volume=24 |numéro=2 |pages=95–100 |doi=10.1109/MCSE.2022.3163817 |bibcode=2022CSE....24b..95E |s2cid=249474974 |consulté le=May 29, 2023}}
*{{Article |langue=en|nom1=Fujita |prénom1=Kohei |nom2=Yamaguchi |prénom2=Takuma |nom3=Kikuchi |prénom3=Yuma |nom4=Ichimura |prénom4=Tsuyoshi |nom5=Hori |prénom5=Muneo |nom6=Maddegedara |prénom6=Lalith |date=April 2023 |titre=Calculation of cross-correlation function accelerated by TensorFloat-32 Tensor Core operations on NVIDIA's Ampere and Hopper GPUs |journal=Journal of Computational Science |volume=68 |doi=10.1016/j.jocs.2023.101986 |accès doi=libre }}
*{{Ouvrage |langue=en|date=April 17, 2023 |titre=CUDA C++ Programming Guide |url=https://docs.nvidia.com/cuda/pdf/CUDA_C_Programming_Guide.pdf |éditeur=[[Nvidia]] |id=Nvidia2023a}}
*{{Ouvrage |langue=en|date=April 13, 2023 |titre=Hopper Tuning Guide |url=https://docs.nvidia.com/cuda/pdf/Hopper_Tuning_Guide.pdf |éditeur=[[Nvidia]] |id=Nvidia2023b}}
*{{Ouvrage |langue=en|date=2022 |titre=NVIDIA H100 Tensor Core GPU Architecture |url=https://nvdam.widen.net/content/tdwwiwotwr/original/gtc22-whitepaper-hopper.pdf |éditeur=[[Nvidia]] |id=Nvidia2023c}}

== Lectures complémentaires ==
*{{Article |langue=en|nom=Choquette |prénom=Jack |date=May 2023 |titre=NVIDIA Hopper H100 GPU: Scaling Performance |url=https://www.computer.org/csdl/magazine/mi/2023/03/10070122/1LvvYVP9o1q |périodique=[[IEEE Micro]] |volume=43 |numéro=3 |pages=9–17 |doi=10.1109/MM.2023.3256796 |s2cid=257544490 |consulté le=May 29, 2023}}
*{{Lien web |langue=en|url=https://spectrum.ieee.org/nvidias-next-gpu-shows-that-transformers-are-transforming-ai |titre=Nvidia's Next GPU Shows That Transformers Are Transforming AI |date=April 8, 2022 |nom=Moore |prénom=Samuel |série=[[IEEE Spectrum]] |consulté le=May 29, 2023}}
*{{Lien web |langue=en|url=https://www.nextplatform.com/2022/03/31/deep-dive-into-nvidias-hopper-gpu-architecture/ |titre=Deep Dive Into Nvidia's "Hopper" GPU Architecture |date=March 31, 2022 |nom=Morgan |prénom=Timothy |série=The Next Platform |consulté le=May 29, 2023}}

{{Palette|Nvidia}}
{{Portail|informatique}}

[[Catégorie:Processeur graphique]]
[[Catégorie:Microarchitecture Nvidia]]
[[Catégorie:2022 en informatique]]