Qu'est-ce que le calcul haute performance (HPC)?

Définition du calcul haute performance

Le calcul de haute performance (CHP) fait référence à la pratique consistant à agréger la puissance de calcul d'une manière qui fournit une capacité beaucoup plus élevée que celle des ordinateurs et serveurs traditionnels. Le CHP, ou supercalcul, est similaire à l'informatique de notre quotidien, mais seulement plus puissant. C'est un moyen de traiter d'énormes volumes de données à des vitesses très élevées en utilisant plusieurs ordinateurs et périphériques de stockage à titre d'élément de cohésion. Le CHP permet d'explorer et de trouver des réponses à certains des plus grands problèmes mondiaux dans les domaines des sciences, de l'ingénierie et des affaires.

Aujourd’hui, le CHP permet de résoudre des problèmes complexes nécessitant de nombreuses ressources, et les organisations migrent de plus en plus de charges de travail CHP vers le nuage. Le CHP en nuage modifie l'économie du développement et de la recherche de produits, car il nécessite moins de prototypes, accélère les tests et réduit le temps de mise sur le marché.

Comment le HPC fonctionne-t-il?

Certaines charges de travail, telles que le séquençage d'ADN, sont tout simplement trop immenses pour un seul ordinateur. Les environnements de CHP ou de supercalcul répondent à ces défis complexes et d'envergure avec des nœuds individuels (ordinateurs) travaillant ensemble dans une grappe (groupe connecté) afin de réaliser des quantités massives de calculs en peu de temps. La création et la suppression de ces grappes sont souvent automatisées dans le nuage afin de réduire les coûts.

Le CHP peut être exécuté sur de nombreux types de charge de travail, mais les deux plus courantes sont les charges de travail offrant un parallélisme embarrassant et les charges de travail étroitement associées.

Des charges de travail étonnamment parallèles

Les problèmes de calcul sont-ils faciles à diviser en tâches petites, simples et indépendantes qui peuvent être exécutées en même temps, souvent avec peu ou pas de communication entre elles? Par exemple, une société qui soumet 100 millions d'enregistrements de carte de crédit à des cœurs de processeur individuels dans une grappe de nœuds. Le traitement d'un enregistrement de carte de crédit est une petite tâche. Ainsi, lorsque 100 millions d'enregistrements sont répartis dans la grappe, ces petites tâches peuvent être exécutées en même temps (en parallèle) à des vitesses étonnantes. Les cas d'utilisation courants comprennent les simulations de risque, la modélisation moléculaire, la recherche contextuelle et les simulations logistiques.

Des charges de travail étroitement couplées

En général, on prend une grande charge de travail partagée et on la divise en petites tâches qui communiquent constamment. Ainsi, les différents nœuds de la grappe doivent communiquer entre eux lors de leur traitement. Les cas d'utilisation courants comprennent la dynamique des fluides numérique, la modélisation des prévisions météorologiques, les simulations de matériaux, les émulations de collision automobile, les simulations géospatiales et la gestion du trafic.

Pourquoi le calcul haute performance est-il important?

Le CHP est un élément essentiel de la recherche universitaire et de l'innovation industrielle depuis des décennies. Le CHP aide les ingénieurs, les spécialistes des données, les concepteurs et d'autres chercheurs à résoudre des problèmes importants et complexes en beaucoup moins de temps et à moindre coût, comparativement à l'informatique traditionnelle.

Les principaux avantages du CHP sont les suivants :

• Réduction des tests physiques : Le CHP peut servir à créer des simulations, éliminant ainsi le recours à des tests physiques. Par exemple, pour tester des accidents automobiles, il est beaucoup plus facile et moins coûteux de générer une simulation que d'effectuer un test de collision.
• Vitesse : Avec les unités centrales, les unités de traitement graphique (GPU) les plus récentes et les structures réseau à faible latence telles que l'accès direct à la mémoire distant (RDMA), combinées aux appareils de stockage local et par blocs entièrement flash, le CHP peut effectuer des calculs massifs en quelques minutes, plutôt qu'en quelques semaines ou mois.
• Coût : Des réponses plus rapides signifient moins de temps et d'argent gaspillés. De plus, grâce au CHP en nuage, même les petites entreprises et les entreprises en démarrage peuvent se permettre d'exécuter des charges de travail CHP en ne payant que pour leur utilisation et en les adaptant à la hausse ou à la baisse, au besoin.
• Innovation : Le CHP favorise l'innovation dans presque tous les secteurs. Il représente ainsi une force motrice pour des découvertes scientifiques révolutionnaires qui améliorent la qualité de vie des personnes du monde entier.

Cas d'utilisation du HPC : dans quels secteurs le calcul haute performance est-il utilisé?

Les entreprises du classement Fortune 1000 dans presque tous les secteurs utilisent le CHP, et sa popularité est grandissante. Selon Hyperion Research, le marché mondial du CHP devrait atteindre 44 milliards de dollars d'ici 2022.

Voici quelques-unes des industries qui utilisent le CHP et les genres de charge de travail que ce type de calcul permet d'effectuer :

• Aérospatiale : Création de simulations complexes, telles que le flux d'air sur les ailes des avions
• Fabrication : Exécution de simulations, notamment pour la conduite autonome, afin de soutenir la conception, la fabrication et les essais de nouveaux produits, entraînant des voitures plus sûres, des pièces plus légères, des processus plus efficaces et des innovations.
• Technologie financière : Exécution d'analyses complexes des risques, des échanges à haute fréquence, de la modélisation financière et de la détection des fraudes
• Génomique : Séquencement de l'ADN, analyse des interactions médicamenteuses et exécution d'analyses de protéines pour soutenir des études d'ascendance
• Soins de santé : Recherche de médicaments, création de vaccins et développement de traitements innovants pour les maladies rares et courantes
• Médias et divertissement : Création d'animations, affichage d'effets spéciaux pour les films, transcodage de fichiers multimédias volumineux et création de divertissements immersifs
• Hydrocarbures : Analyses spatiales, essais des modèles de réservoir pour prédire où se trouvent les ressources pétrolières et gazières et simulations telles que le flux de fluide et le traitement sismique
• Vente au détail : Analyse d'énormes quantités de données de client pour fournir des recommandations de produit plus ciblées et un meilleur service à la clientèle

Où le HPC est-il exécuté?

Le HPC peut être réalisé sur site, dans le nuage, ou au sein d’un modèle hybride qui comporte une partie de chaque modèle.

Dans un déploiement HPC sur site, une entreprise ou un institut de recherche construit une grappe HPC composée de serveurs, de solutions de stockage et d’autres infrastructures qu’elle gère et met à niveau au fil du temps. Dans un déploiement CHP en nuage, un fournisseur de services infonuagiques administre et gère l'infrastructure, et les organisations l'exploitent à partir d'un modèle de paiement à l'utilisation.

Certaines organisations adoptent des déploiements hybrides, en particulier celles qui ont investi dans une infrastructure sur site, mais qui souhaitent également bénéficier de la vitesse, la flexibilité et des économies de coût du nuage. Elles peuvent utiliser le nuage pour exécuter certaines charges de travail HPC de manière continue et opter pour les services de nuage ponctuellement, lorsque le temps d’attente sur site devient un problème.

Quels sont les défis liés aux déploiements HPC sur site?

Les entreprises disposant d'environnements HPC sur site ont un grand contrôle sur leurs opérations, mais elles doivent faire face à plusieurs défis, comme par exemple :

• Investir des capitaux importants pour l'équipement informatique, qui doit être continuellement mis à niveau
• Payer pour la gestion continue et les autres coûts opérationnels
• Subir des délais ou des temps en file d'attente, de plusieurs jours à plusieurs mois, avant que les utilisateurs puissent exécuter leur charge de travail CHP, en particulier lorsque la demande augmente
• Reporter les mises à niveau vers un équipement informatique plus puissant et plus efficace en raison de longs cycles d'achat, ce qui ralentit le rythme de la recherche et des affaires

En partie à cause des coûts et autres défis des environnements sur site, les déploiements de calcul haute performance basés sur le nuage sont de plus en plus populaires, tandis que Market Research Future anticipe 21 % de croissance du marché mondial de 2017 à 2023. Lorsque les entreprises exécutent leurs charges de travail CHP dans le nuage, elles ne paient que pour ce qu'elles utilisent. Elles peuvent rapidement augmenter ou diminuer leur capacité, au fur et à mesure que leurs besoins évoluent.

Pour gagner et fidéliser les clients, les principaux fournisseurs de nuage offrent des technologies de pointe spécialement conçues pour les charges de travail HPC ; il n’y a donc aucun risque de baisse des performances lorsque l’équipement sur site vieillit. Les fournisseurs de services infonuagiques disposent des processeurs et des processeurs graphiques les plus récents et les plus rapides, ainsi que d'un stockage flash à faible latence, des réseaux RDMA ultrarapides et d'une sécurité de classe entreprise. Les services sont disponibles toute la journée et tous les jours, avec peu ou pas de temps d'attente.

HPC dans le nuage : Quels sont les principaux éléments à prendre en compte lors du choix d’un environnement infonuagique?

Tous les fournisseurs de services infonuagiques ne sont pas créés égaux. Certains nuages ne sont pas conçus pour le CHP et ne sont pas en mesure d'offrir une performance optimale pendant les périodes de pointe des charges exigeantes. Quatre caractéristiques à considérer lors de la sélection d'un fournisseur de services infonuagiques :

• Performance de pointe : Votre fournisseur de services infonuagiques doit disposer de la dernière génération des technologies de processeurs, de stockage et de réseau et maintenir l'ensemble de son système à jour. Assurez-vous qu’ils offrent une capacité étendue et des performances haut de gamme égales ou supérieures à celles des déploiements sur site typiques.
• Expérience avec le CHP : Le fournisseur de services infonuagiques de choix devrait avoir une expérience approfondie pour l'exécution des charges CHP de divers clients. En outre, son service en nuage devrait être conçu pour offrir une performance optimale, même pendant les périodes de pointe, par exemple lors de l'exécution de plusieurs simulations ou modèles. Dans de nombreux cas, les instances d'ordinateur sans système d'exploitation offrent des performances plus cohérentes et plus puissantes que les machines virtuelles.
• Flexibilité de la migration : vos charges de travail de calcul haute performance doivent être exécutées de la même façon dans le nuage que sur site. Après avoir déplacé des charges de travail « telles quelles » dans le nuage lors d'une opération de portage virtuel, la simulation que vous exécutez la semaine prochaine doit produire un résultat cohérent avec celui que vous avez exécuté il y a dix ans. Ceci est extrêmement important dans les industries où les comparaisons d'une année à l'autre doivent être effectuées à l'aide des mêmes données et calculs. Par exemple, les calculs pour l'aérodynamique, l'industrie automobile et la chimie n'ont pas changé, et les résultats ne peuvent pas changer non plus.
• Aucun coût caché : Les services infonuagiques sont généralement offerts avec un modèle de paiement à l'utilisation. Donc, assurez-vous de bien comprendre ce que vous payez chaque fois que vous utilisez le service. De nombreux utilisateurs sont souvent surpris par le coût du déplacement ou de la sortie des données. Vous savez peut-être que le paiement est fonction du nombre de transactions et des demandes d'accès aux données, mais les coûts de sortie sont souvent négligés.

Quel est l’avenir du HPC?

Les entreprises et les institutions de plusieurs secteurs se tournent vers le CHP, ce qui devrait stimuler la croissance pendant de nombreuses années. On s'attend à une croissance du marché mondial du CHP, qui devrait passer de 31 milliards de dollars en 2017 à 50 milliards de dollars en 2023. La performance du nuage continue de s'améliorer et devient de plus en plus fiable et puissante. On s'attend ainsi à ce qu'une grande partie de la croissance du domaine soit associée à des déploiements de CHP en nuage. En outre, cela devrait soulager les entreprises de la nécessité d'investir des millions dans les infrastructures de centre de données, sans oublier les autres coûts connexes.

Dans un avenir rapproché, on anticipe une certaine convergence des mégadonnées et du calcul de haute performance. Ainsi, les mêmes grappes d'ordinateurs d'envergure devraient servir à analyser les mégadonnées et à exécuter des simulations et d'autres charges de travail CHP. Cette convergence mènera à plus de puissance et de capacités de calcul, et par ricochet, à une recherche et à une innovation encore plus révolutionnaires.

i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton. Mise à jour de Hyperion Research : ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf

ii https://www.abnewswire.com/pressreleases/cloud-hpc-market-growing-swiftly-at-21-cagr-by-2023-cloud-high-performance-computing-market-forecast-by-component-service-deployment-industry-vertical_211149.html

iii https://www.businesswire.com/news/home/20181218005581/en/Global-High-performance-Computing-HPC-Market-2018-2023-Grow