L'importance et les directions d'innovation du réseau à l'ère de l'IA

L'avènement de l'ère des grands modèles fait du réseau un maillon clé dans le domaine de l'IA. Avec l'écart croissant entre l'échelle des modèles et la limite de puissance de calcul par carte, les clusters de serveurs multiples deviennent le principal moyen de résoudre l'entraînement des modèles, ce qui constitue également la base de l'élévation du statut du réseau à l'ère de l'IA. Par rapport au passé, où le réseau était principalement utilisé pour le transfert de données, aujourd'hui, le réseau est davantage utilisé pour synchroniser les paramètres des modèles entre les cartes graphiques, ce qui impose des exigences plus élevées en matière de densité et de capacité du réseau.

La demande en ligne provient principalement de trois aspects :

1. La taille croissante des modèles entraîne une augmentation du temps d'entraînement, nécessitant une amélioration de l'efficacité de calcul pour réduire ce temps. Cependant, l'augmentation de la puissance de calcul d'un seul appareil est limitée, et il est donc nécessaire d'accroître le nombre d'appareils et l'efficacité parallèle pour améliorer la puissance de calcul globale.

2. La communication complexe de la synchronisation multi-cartes. Dans l'entraînement des grands modèles, il est nécessaire d'aligner les cartes individuelles après chaque calcul, ce qui impose des exigences plus élevées en matière de transmission et d'échange des données.

3. Le coût des pannes est élevé. L'entraînement des grands modèles dure plusieurs mois, et une interruption peut entraîner des pertes énormes. Toute défaillance dans un maillon du réseau peut entraîner une interruption, ce qui implique des exigences très élevées en matière de stabilité du réseau.

Face à ces besoins, l'innovation réseau se concentre principalement dans les directions suivantes :

1. Évolution des supports de communication. La lumière, le cuivre et le silicium ont chacun leurs avantages et sont en concurrence dans différents scénarios. Les modules optiques, tout en recherchant des vitesses élevées, cherchent également à réduire les coûts par le biais de LPO, de la photonique sur silicium, etc. Les câbles en cuivre dominent grâce à leur rapport qualité-prix dans les connexions à l'intérieur des armoires. De nouvelles technologies comme Chiplet et Wafer-scaling explorent les limites de l'interconnexion basée sur le silicium.

2. Compétition des protocoles réseau. Les protocoles de communication au sein des nœuds sont fortement liés aux GPU, comme NVLINK, Infinity Fabric, etc. Entre les nœuds, la compétition se fait principalement entre IB et Ethernet.

3. Changements dans l'architecture réseau. L'architecture de type leaf-spine actuelle montre des limites sous de très grands clusters, et de nouvelles architectures telles que Dragonfly et Rail-only pourraient devenir la direction d'évolution des prochains grands clusters.

4. Innovation des commutateurs. Les commutateurs optiques attirent progressivement l'attention grâce à leurs avantages tels que la faible latence et la faible consommation d'énergie. Les commutateurs électriques continuent d'innover au niveau des puces.

5. Innovation des clusters de centres de données. Alors que la capacité des centres de données individuels approche de sa limite, comment réaliser une interconnexion efficace entre les centres de données devient une nouvelle direction de recherche.

Dans l'ensemble, l'innovation numérique à l'ère de l'IA évolue constamment dans trois directions : la réduction des coûts, l'ouverture et la mise à l'échelle. Les systèmes de communication, en tant qu'ingénierie système complexe, nécessitent une innovation continue à différentes étapes. Les investisseurs peuvent se concentrer sur les fournisseurs de composants clés, tout en suivant également les opportunités industrielles offertes par les nouvelles technologies.