GPT-OSS arriva su RTX

GPT-OSS arriva su RTX
GPT-OSS arriva su RTX

GPT-OSS arriva su NVIDIA RTX: l’AI open-source di OpenAI accelera su PC e workstation

NVIDIA e OpenAI hanno annunciato una nuova collaborazione strategica per portare la potenza dei modelli open-source GPT-OSS direttamente su PC e workstation NVIDIA RTX.
Questa iniziativa segna l’inizio di una nuova era per l’intelligenza artificiale locale, offrendo prestazioni di livello data center direttamente su hardware consumer e professionale.


Due modelli GPT-OSS ottimizzati per GPU RTX

La famiglia di modelli open-source comprende due varianti principali, progettate per scenari diversi:

  • gpt-oss-20b – Modello ottimizzato per PC NVIDIA RTX AI con almeno 16 GB di VRAM, capace di raggiungere 250 token al secondo su una GPU RTX 5090.

  • gpt-oss-120b – Versione potenziata per workstation professionali con GPU NVIDIA RTX PRO, pensata per carichi complessi e applicazioni di livello enterprise.


Prestazioni e caratteristiche tecniche avanzate

Entrambi i modelli GPT-OSS sono stati addestrati su GPU NVIDIA H100 e supportano la precisione MXFP4 su RTX, una tecnologia che migliora accuratezza e qualità senza compromettere la velocità.
Le specifiche includono:

  • Contesto fino a 131.072 token, tra i più ampi disponibili per inferenza locale.

  • Architettura Mixture-of-Experts (MoE) con funzioni integrate come chain-of-thought, gestione delle istruzioni e supporto all’uso di strumenti esterni.


Come iniziare: strumenti e risorse per sviluppatori

NVIDIA ha presentato nel RTX AI Garage della settimana le modalità per sfruttare i nuovi modelli GPT-OSS su GPU RTX:

  1. Ollama App – Interfaccia semplice e ottimizzata per GPU RTX, ideale per test rapidi e implementazioni immediate.

  2. Llama.cpp – Ottimizzazioni open-source sviluppate con la community, incluse CUDA Graphs per ridurre l’overhead. Codice disponibile su GitHub.

  3. Microsoft AI Foundry – Anteprima pubblica per sviluppatori Windows: avvio rapido con il comando Foundry model run gpt-oss-20b da terminale.


Dichiarazione di Jensen Huang, CEO di NVIDIA

Il fondatore di NVIDIA ha commentato così il lancio:

“OpenAI ha dimostrato al mondo il potenziale dell’AI con tecnologia NVIDIA e ora sta accelerando l’innovazione open-source. I modelli GPT-OSS offrono agli sviluppatori la possibilità di costruire su basi all’avanguardia, rafforzando la leadership tecnologica degli Stati Uniti nell’intelligenza artificiale, grazie alla più grande infrastruttura di calcolo AI al mondo.”

Leggi anche: RTX arriva su Steam Deck: disponibile l'app nativa GeForce NOW