Az NVIDIA következő generációs architektúrája, melyet Fermi kódnéven emlegetnek a által megkezdett utat viszi tovább szédületes magasságokba, 512 müveleti maggal…
 
Az új 512 magos architektúra kissé bizarrul hangzik még a napjaink többmagos processzoraihoz szokott felhasználó számára is ám itt más architektúráról van szó. A vektor processzorok elképzelése korántsem számít újdonságnak és a kliencvenes években számos szerverbe szánt modellről hallhattunk a -val történő számítás azonban egy aránylag új és kevésbé használt funkció, pedig ezek a processzorok rendszerint rengeteg adattal számos egymással párhuzamosan futó folyamatot dolgoznak fel, így a bennük rejlő potenciál hatalmas.
 
Egy átlagos asztali több magos processzorban jelenleg kettő négy hat esetleg nyolc magot találunk, míg a CUDA architektúra alapja nagyon sok, 512 darab nagymértékben leegyszerüsített processzormag. Lényegében egy CUDA magnak nincs saját regisztere vagy elsőszintü gyorsító tárja, mint egy hagyományos processzormagnak valamint nincs számos különféle funkció egységük sem, mindössze egy vagyis lépcsős végrehajtásra optimalizált FPU és integer számítási magjuk van. Ezen felül nincs betöltő/tároló elemük sem a memória közvetlen eléréséhez. A CUDA magok a shader-ekből fejlődtek ki és nagyon egyszerü végrehajtó egységek melyeket szálanként egy utasítás végrehajtására terveztek, melynek végeztével gyorsan ugrik a következőre. Nem arra lettek optimalizálva, hogy „egyénként” egyesével teljesítsenek számos feladatot, hanem többszálú végrehajtásra születtek, melyet tömegben végeznek és itt rejlik az erejük.
 
A CUDA rendszer elsőként a G80-as GPU családban jelent meg, mely az Nvidia első drasztikus architektúra változtatása volt. A Fermi egy elképesztő mértékben párhuzamosított többszálú végrehajtásra tervezett architektúra, melyben az 512 CUDA mag órajelenként egy utasítást hajt vége, melyek közt azonnal tud váltani így a következő órajelnél már mást számolnak. Ezen felül a Fermi rendszerében az utasítások 32-essével vannak kötegelve úgynevezett warp-ba pakolva, melyek közül minden órajelnél egyet végrehajt egy CUDA mag.
 
A CUDA rendszerben rejlő lehetőségeket jól példázza az ION platform ahol egy számítási kapacitását tekintve erősen korlátozott egymagos processzor mellett az ION grafikus processzorban rendelkezésre álló néhány CUDA mag képes videót probléma mentesen dekódolni, vagy párhuzamosan akár több videót is.