AMD Helios MI400 System Architecture og rack-skala AI

Hvad er der sket?

AMD har præsenteret en ny rack-skala AI-platform på Hot Chips 2026, hvilket markerer et strategisk skifte fra at levere enkeltkomponenter til at designe hele systemarkitekturer. Ifølge AMD består platformen af tre centrale silicium-blokke: den 96-core EPYC Venice CPU, high-end GPU-acceleratorer og Pensando Vulcano netværkskort (NIC). Formålet med denne integration er at sikre, at AI-infrastrukturen er co-designet på tværs af compute og netværk for at eliminere effektivitetstab, der opstår, når separate dele blot presses sammen.

Systemet er bygget op omkring en switch-topologi, hvor hver GPU får adgang til massiv båndbredde via 72 IFoE-links. En væsentlig teknisk detalje er implementeringen af UALoE (UALink over Ethernet), som AMD understreger er baseret på åbne standarder fremfor proprietære løsninger, hvilket giver større fleksibilitet i valg af switches og reducerer leverandørafhængighed.

Hvad er en rack-skala arkitektur?

En rack-skala arkitektur betyder, at hele serverracket betragtes som én enkelt computer fremfor en samling af individuelle servere. I stedet for at optimere den enkelte node, flyttes fokus til det samlede systems båndbredde, strømforsyning og køling, så data kan flyde frit mellem alle komponenter i racket uden flaskehalse.

Denne tilgang er nødvendig for moderne AI-modeller, da træning af store sprogmodeller (LLM) kræver, at tusindvis af GPU'er kan dele data næsten øjeblikkeligt. Ved at flytte intelligensen og styringen ud på rack-niveau kan man opnå en langt højere effektivitetsgrad end ved traditionel netværksforbindelse mellem separate servere.

Hvad er nyt ved AI-platformen?

Det mest markante nye element i arkitekturen er integrationen af HBM4 (High Bandwidth Memory 4) og skiftet mod en rack-centreret designfilosofi. Hvor man tidligere optimerede den enkelte GPU, optimerer AMD nu hele racket som én stor computer med delt hukommelsesadgang via UALoE. Dette gør det muligt for acceleratorer at kommunikere på tværs af hele pod'en uden at være begrænset til lokale segmenter.

For at forstå den underliggende compute-kraft, skal man se på CDNA 5 arkitekturen i de anvendte acceleratorer. AMD oplyser, at denne generation fokuserer på MXFP4 præcision for at maksimere gennemstrømningen af AI-inferens og træning. Dette understøttes af EPYC Venice CPU'erne, som fungerer som host med 96 kerner pr. node via SP7-soklen, hvilket sikrer, at datafodringen til acceleratorerne ikke bliver en flaskehals.

Hvad betyder det for danske kunder?

For danske virksomheder og datacentre betyder denne udvikling, at man skal flytte fokus fra traditionelt server-indkøb til system-arkitektur. Da platformen kræver specialiseret infrastruktur som 50V DC busbars og avanceret væskekøling, kan det ikke blot placeres i et standard rack. Det kræver en gennemgribende opgradering af datacenterets strøm- og kølekapacitet for at kunne udnytte den massive compute.

Kompatibiliteten er centreret omkring åbne standarder. Ved at bruge Broadcom switches i deres UALoE-setup, gør AMD det lettere for danske IT-afdelinger at integrere systemerne i eksisterende netværksmiljøer sammenlignet med lukkede økosystemer. For dem, der allerede benytter AMD EPYC guide til datacentre, vil overgangen til Venice-baserede systemer være en naturlig evolution i deres infrastruktur.

For aktuel pris og lagerstatus på kompatible komponenter henvises til produktkarrusellen ved artiklen.

Hvilken hardware kræves for at drive systemet?

Platformen er ikke en enkelt komponent, men et økosystem af high-end hardware. For at køre systemet kræves specifikke CPU'er og netværkskort, der er co-designet til at tale sammen via Infinity Fabric. Dette inkluderer EPYC Venice processorerne, som leverer den nødvendige PCIe-lanetæthed og hukommelsesbåndbredde til at styre fire accelerator-moduler pr. compute tray.

Netværksdelen håndteres af programmerbare netværkskort (NICs), der er designet til at aflaste GPU'erne for netværkstrafik. Dette er essentielt i et rack med 72 GPU'er, hvor trafikmængden ellers ville overvælde systemets kontrolplan. For mindre installationer kan man kigge på hardware kategorien for at se basale komponenter, men denne arkitektur kræver dedikeret enterprise-udstyr.

Hvordan fungerer netværket via UALoE?

UALoE står for UALink over Ethernet og er kernen i systemets evne til at skalere. Det skaber en delt hukommelsesmodel, hvor GPU'er kan læse og skrive direkte til hinandens HBM4-hukommelse via DMA (Direct Memory Access) uden at skulle gå gennem CPU'en hver gang. Dette reducerer latency markant i store AI-modeller.

AMD benytter en multi-plane arkitektur med 512-port switches, hvilket betyder, at hvis én switch eller et helt tray fejler, kan trafikken dynamisk omdirigeres via andre planer. Dette sikrer høj oppetid i missionskritiske AI-miljøer. For dem, der bygger mindre systemer, kan principperne fra Konfigurerbar PC guide hjælpe med at forstå vigtigheden af båndbredde mellem komponenter.

Hvad gør Helios AI teknologien unik?

Det unikke ved denne teknologi er kombinationen af åbne standarder og ekstremt tæt hardware-integration. Ved at bygge UALoE på open Ethernet fremfor en lukket, proprietær fabric, giver AMD kunderne mulighed for at bruge tredjeparts switches (som Broadcom), mens de stadig opnår ydeevnen fra et integreret system.

Ydermere er implementeringen af rack-skala confidential computing unik. Systemet sikrer datafortrolighed på tværs af CPU, GPU og NIC via universel link-kryptering med hurtig nøglerotation. Dette betyder, at følsomme AI-modeller kan trænes i et miljø, hvor selv en kompromitteret hypervisor har svært ved at udtrække selve modeldataene.

Typiske fejl ved AI rack-infrastruktur

1. Undervurdering af strømkrav: Mange forsøger at køre high-end acceleratorer på standard 230V AC installationer, men denne arkitektur kræver en 50V DC busbar for at minimere konverteringstab og varmeudvikling.
2. Mangelfuld køleplanlægning: At installere et system med 72 GPU'er uden et fuldt integreret væskekølingssystem (Liquid Cooling) vil føre til øjeblikkelig termisk throttling, da luftkøling ikke kan flytte den mængde varme.
3. Ignorering af NIC-kapacitet: En hyppig fejl er at fokusere udelukkende på GPU'ens TFLOPS og glemme netværkskortet. Uden programmerbare AI NICs bliver netværket flaskehalsen, og GPU'erne vil stå i tomgang.
4. Manglende partitionering: At køre hele racket som én stor enhed uden at konfigurere VPods. Dette betyder, at en enkelt hardwarefejl kan potentielt bringe hele compute-klyngen ned i stedet for blot et isoleret segment.
5. Fejl her kan føre til ineffektiv DMA-mapping, hvilket reducerer den effektive båndbredde markant.
6. Manglende overvågning af link-layer: At ignorere hardware-rapportering om soft errors i link-layeret. Selvom systemet er resilient, kan gentagne fejl på enkelte links indikere fysiske problemer med kabler eller switches før et totalt nedbrud sker.