MosaicML mostra le GPU AMD Instinct che addestrano gli LLM su larga scala

Volevo condividere un nuovo blog di MosaicML e il suo utilizzo degli acceleratori AMD Instinct. Recentemente, MosaicML ha parlato di come l’addestramento dei LLM funzioni immediatamente sugli acceleratori AMD MI250 senza modifiche al codice e con prestazioni elevate.Ora MosaicML illustra come sia possibile ottenere uno scaling quasi lineare delle prestazioni dei LLM su sistemi multi-nodo grazie agli aggiornamenti di ROCm 5.7. Il blog di MosaicML analizza il modo in cui è stato possibile ottenere una scalabilità quasi lineare delle prestazioni di training e token passando da un sistema MI250 4x a un cluster MI250 128x.Questa è solo un’altra prova della continua crescita dell’ecosistema AMD AI. Aziende di intelligenza artificiale come Lamini utilizzano i sistemi AMD MI210 e MI250 per mettere a punto e distribuire LLM personalizzati. Moreh è stata in grado di addestrare un modello linguistico di 221B parametri sulla propria piattaforma utilizzando 1200 GPU AMD MI250. Inoltre, anche gli LLM open-source come OLMo di AI2 vengono addestrati su grandi cluster di GPU AMD.