Alors que les applications d'intelligence artificielle dotées de corps intelligents commencent à conserver l'état d'exécution, le contexte et les résultats intermédiaires en mémoire pour des durées prolongées, le goulot d'étranglement du système se déplace de la puissance de calcul et la bande passante vers la capacité et l'évolutivité. Dans ce cadre, AMD et Qualcomm envisagent d'incorporer SOCAMM dans leurs gammes de produits d'IA, un facteur de forme de mémoire initialement dominé par NVIDIA, mais qui suscite désormais l'intérêt d'autres fournisseurs.

SOCAMM n'est pas une nouvelle classe de DRAM au sens traditionnel du terme, mais une adaptation en termes de package et de déploiement. Il repose sur la DRAM LPDDR, existant sous une forme modulaire, branchable et remplaçable, contrairement aux configurations fixes soudées directement sur la carte mère. Cette position distincte contraste avec HBM, qui privilégie la haute bande passante et la proximité des unités de calcul au détriment du coût et de l'évolutivité, alors que SOCAMM se concentre sur une mémoire à haute capacité et une consommation d'énergie relativement faible pour héberger de grandes quantités de données actives.

NVIDIA a d'abord promu SOCAMM, initialement conçu pour soulager la pression de capacité et de coût associée à HBM. Selon les médias coréens, NVIDIA, AMD et Qualcomm explorent actuellement l'intégration de modules SOCAMM dans les solutions de boîtiers d'IA de prochaine génération, signalant l'évolution de ce facteur de forme mémoire d'une solution sur mesure à un composant de système généralisé.

Il convient de noter que AMD et Qualcomm ne cherchent pas simplement à reproduire l'implémentation de NVIDIA ; ils expérimentent plutôt un agencement de module carré, où les modules SOCAMM intègrent deux rangées de DRAM et de PMIC directement dans le module. Ce changement dans la régulation de puissance, passant de la carte mère au module de mémoire, permet un contrôle de tension plus précis, améliore la stabilité lors des opérations à haute fréquence et simplifie la conception de la carte mère en réduisant les circuits d'alimentation.

Cette transition de conception souligne le rôle évolutif de SOCAMM dans les systèmes. Il ne s'agit plus simplement d'un "complément de capacité" à HBM, mais il émerge comme un niveau de mémoire autonome et programmable. Dans des scénarios d'IA avancés, où il est essentiel de maintenir de grandes quantités de données contextuelles, d'état et de données à court terme, il n'est pas pratique de se fier uniquement à la gestion des incidences. La capacité en téraoctets fournie par SOCAMM permet à chaque processeur ou accélérateur de gérer des millions de jetons en mémoire locale, réduisant ainsi la nécessité d'accéder fréquemment au stockage externe et aux nœuds distants.

En termes de performance, le débit de SOCAMM peut ne pas égaler celui de HBM, mais ses avantages résident dans une consommation d'énergie réduite et une évolutivité supérieure. Les caractéristiques de faible consommation d'énergie du LPDDR facilitent une gestion énergétique optimisée pour SOCAMM, particulièrement cruciale pour les systèmes montés en rack. La nature modulaire de SOCAMM permet également des expansions et des opérations de maintenance futures, qui sont difficiles avec la mémoire soudée dans les environnements de centres de données.

Concernant la planification des produits, NVIDIA prévoit d'introduire SOCAMM 2 dans le cluster Vera Rubin AI, le déployant à grande échelle. Alors qu 'AMD et Qualcomm envisagent des options similaires, SOCAMM deviendra probablement une configuration standard dans les racks d'IA de prochaine génération, dépassant les implémentations propriétaires d'un seul fournisseur. Pour l'ensemble de l'écosystème matériel d'IA, cette transformation implique que le niveau de mémoire est redéfini, son importance s'alignant progressivement avec celle de l'informatique elle-même.