Hoe wordt geheugenbandbreedte berekend?

Geheugenbandbreedte geeft aan hoeveel bytes per seconde het geheugen kan leveren. Bij elke overdracht wordt één bit over elke draad van de geheugenbus verplaatst. De piekbandbreedte is dus de overdrachtssnelheid vermenigvuldigd met de busbreedte en gedeeld door 8 om het aantal bytes te krijgen.

DDR5-6000 voert 6.000 miljoen overdrachten per seconde uit (MT/s). Een desktopcomputer met twee kanalen van 64 bit heeft een bus van 128 bit en haalt dus een piek van 6.000 × 128 ÷ 8 = 96.000 MB/s, oftewel 96 GB/s. Snelheden van GDDR en HBM worden meestal uitgedrukt in Gbps per pin; 1 Gbps per pin is 1.000 MT/s.

Dit is vooral belangrijk voor taken waarbij veel gegevens worden gelezen. Een dicht lokaal AI-model leest al zijn gewichten voor elk token dat het genereert. De bandbreedte bepaalt dus de bovengrens van de snelheid waarmee het antwoord geeft.

Beschrijving van de tool

Kies een voorbeeldconfiguratie, van DDR4-3200 met twee kanalen tot de GeForce RTX 5090 en Instinct MI300X, of een geheugentype van DDR3 tot HBM3E. De velden worden dan automatisch ingevuld. Je kunt de gegevenssnelheid (in MT/s of Gbps per pin), de busbreedte per kanaal, chip of stack en het aantal kanalen, geheugenchips of stacks aanpassen. De tool berekent:

piek (bytes/s) = gegevenssnelheid (MT/s) × 1.000.000 × busbreedte (bits) × aantal ÷ 8
effectief = piek × efficiëntie ÷ 100
leestijd = te lezen gegevens ÷ effectief

Je krijgt de piekbandbreedte en effectieve bandbreedte in GB/s, de piek in GiB/s en Gbit/s, de totale busbreedte, de bandbreedte per kanaal, chip of stack en de formule met jouw waarden. Voer in hoeveel gegevens je wilt lezen, in GB, bijvoorbeeld de grootte van een model, om te zien hoe lang het duurt om de gegevens één keer te lezen en hoeveel volledige leesbewerkingen per seconde mogelijk zijn. GB staat hier voor 1.000.000.000 bytes.

Voorbeelden

Bij 100% efficiëntie, met 16 GB aan gegevens om te lezen:

Voorbeeldconfiguratie Formule Tijd om gegevens één keer te lezen
DDR4-3200, twee kanalen 3.200 MT/s × 128 bit ÷ 8 = 51,2 GB/s 312,5 ms
DDR5-6000, twee kanalen 6.000 MT/s × 128 bit ÷ 8 = 96 GB/s 166,67 ms
Apple M4 Max 8.533 MT/s × 512 bit ÷ 8 = 546,11 GB/s 29,3 ms
PlayStation 5 14.000 MT/s × 256 bit ÷ 8 = 448 GB/s 35,71 ms
GeForce RTX 5090 28.000 MT/s × 512 bit ÷ 8 = 1.792 GB/s 8,93 ms
Instinct MI300X 5.200 MT/s × 8.192 bit ÷ 8 = 5.324,8 GB/s 3 ms

Functies

  • 14 geheugentypen en 12 echte voorbeeldconfiguraties
  • Effectieve bandbreedte op basis van een zelfgekozen efficiëntiewaarde
  • Tijd om een model of dataset één keer te lezen