GB10 సూపర్చిప్ వ్యవస్థలు
ఎన్విడియా GB10 గ్రేస్ బ్లాక్వెల్ సూపర్చిప్పై ఆధారపడిన వ్యవస్థలు.
| ఫోటో | ఉత్పత్తి | ధర | సామర్థ్యం |
|---|
మోడల్ సామర్థ్యాన్ని అర్థం చేసుకోవడం
మోడల్ సామర్థ్యం అనేది ఒక AI మోడల్ కలిగి ఉన్న పారామితుల సంఖ్యను సూచిస్తుంది (ఉదా. 70B = 70 బిలియన్ పారామితులు). పెద్ద మోడళ్లకు సాధారణంగా ఎక్కువ మెమరీ మరియు కంప్యూటింగ్ శక్తి అవసరం, కానీ మెరుగైన తార్కికం మరియు అవుట్పుట్ నాణ్యతను అందించగలవు.
ప్రెసిజన్ (FP16 / FP8 / FP4) ఇచ్చిన మోడల్ సామర్థ్యానికి ఎంత మెమరీ అవసరమో ప్రభావితం చేస్తుంది: తక్కువ-ప్రెసిజన్ ఫార్మాట్లు ప్రతి దశలో మెమరీ అవసరాలను సుమారుగా సగానికి తగ్గిస్తాయి (FP16 → FP8 → FP4), అవుట్పుట్ ప్రెసిజన్ కొంత వ్యయంతో.
| మోడల్ పరిమాణం | సాధారణ మెమరీ (FP16) | సాధారణ మెమరీ (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |