A AMD anunciou o ROCm versão 6.3, que adiciona muitas novas atualizações ao ecossistema ROCm. A iteração mais recente da pilha de drivers de código aberto apresenta várias adições, incluindo SGLang, FlashAttention-2 e um compilador Fortran.
SGLang é um novo tempo de execução no ROCm 6.3 que supostamente melhora a latência, o rendimento e a utilização de recursos, otimizando modelos de IA generativos “de última geração” nas GPUs Instinct caseiras da AMD. SGLang supostamente atinge desempenho até 6 vezes maior em inferência de modelos de linguagem grande e vem com contêineres Docker pré-configurados que usam Python para acelerar IA, fluxos de trabalho multimodais e back-ends de nuvem escalonáveis.
FlashAttention-2 é a próxima iteração do FlashAttention, que reduz o uso de memória e as demandas de computação com modelos Transformer AI. O FlashAttention-2 supostamente apresenta melhorias de aceleração de até 3x em relação à versão um para passes para frente e para trás, acelerando o tempo de treinamento do modelo de IA.
A AMD implementou um compilador Fortran no ROCm 6.3, permitindo aos usuários executar aplicativos legados baseados em Fortran nas modernas GPUs Instinct da AMD. O compilador apresenta descarregamento direto de GPU por meio de OpenMP para cargas de trabalho científicas, compatibilidade com versões anteriores permitindo que os desenvolvedores continuem escrevendo código Fortran para aplicativos legados existentes e integrações simplificadas com kernels HIP e bibliotecas ROCm.
O suporte Multi-NodeFFT permite cálculos FFT distribuídos de alto desempenho no ROCm 6.3. Esse recurso supostamente simplifica o escalonamento de vários nós, reduzindo a complexidade dos desenvolvedores e permitindo escalabilidade contínua em conjuntos de dados massivos.
ROCm 6.3 introduz melhorias nas bibliotecas de visão computacional rocDecode, rocJPEG e rocAL, permitindo suporte para o codec AV1, decodificação JPEG acelerada por GPU e melhor aumento de áudio.
ROCm é uma pilha de software e drivers de código aberto projetada para rodar em GPUs AMD Instinct. A plataforma tem como objetivo fornecer recursos que habilitam ou melhoram aplicativos corporativos acelerados por GPU, como computação de alto desempenho (HPC), IA/aprendizado de máquina, comunicação e muito mais.
