Recentemente, o ChatGPT se tornou o novo ponto de acesso para IA, com a Microsoft e o Google no Vale do Silício investindo pesadamente nessa tecnologia (a Microsoft tem uma participação de US$ 10 bilhões na OpenAI, a empresa por trás do ChatGPT, e o Google lançou recentemente seu próprio modelo BARD). enquanto as empresas de tecnologia da Internet na China, representadas pela Baidu e outras, também indicaram que estão desenvolvendo essa tecnologia e entrarão em operação em um futuro próximo. Na China, a Baidu e outras empresas de tecnologia da Internet também indicaram que estão desenvolvendo essas tecnologias e entrarão em operação em um futuro próximo.
Os modelos generativos representados pelo ChatGPT têm uma característica comum, ou seja, eles usam dados massivos para pré-treinamento e geralmente são emparelhados com um modelo de linguagem mais poderoso. A principal função do modelo de linguagem é aprender com o massivo corpus existente e, após o aprendizado, entender as instruções linguísticas do usuário ou, ainda, gerar uma saída de texto relevante de acordo com as instruções do usuário.
Os modelos generativos podem ser amplamente classificados em duas categorias, uma é modelos generativos baseados em linguagem e a outra é modelos generativos baseados em imagem. Os modelos generativos baseados em linguagem são representados pelo ChatGPT, cujo modelo de linguagem pode não apenas aprender a entender o significado dos comandos do usuário (por exemplo, "escrever um poema, no estilo de Li Bai"), mas também gerar texto relevante com base no usuário comandos após o treinamento com dados massivos (no exemplo acima, escrevendo um poema no estilo de Li Bai). poema). Isso significa que o ChatGPT precisa ter um modelo de linguagem grande (LLM) que entenda a linguagem do usuário e possa produzir uma saída de linguagem de alta qualidade - por exemplo, o modelo deve entender como gerar poemas, como gerar poemas no estilo de Li Bai , e assim por diante. Isso também significa que grandes modelos de linguagem em IA generativa baseada em linguagem exigem um número muito grande de parâmetros para fazer esse tipo de aprendizado complexo e lembrar de tantas informações. O ChatGPT, por exemplo, tem 175 bilhões de parâmetros (700 GB de espaço de armazenamento se números de ponto flutuante padrão forem usados), o que mostra o quão "grande" é seu modelo de linguagem.
Outra classe de modelos generativos é o modelo de geração de imagem representado por Diffusion, tipicamente Dalle da OpenAI, ImaGen do Google e atualmente o mais popular Stable Diffusion da Runway AI. Esses modelos de geração semelhantes a imagens também usam um modelo de linguagem para entender os comandos linguísticos do usuário e gerar imagens de alta qualidade com base nesses comandos. Ao contrário dos modelos generativos baseados em linguagem, o modelo de linguagem usado aqui usa principalmente a linguagem para entender a entrada do usuário sem gerar a saída de linguagem, portanto, o número de parâmetros pode ser bem pequeno (na ordem de algumas centenas de milhões), enquanto o número de parâmetros para os modelos de difusão baseados em imagens são relativamente pequenos, da ordem de alguns bilhões no total, mas o esforço computacional não é pequeno porque a resolução das imagens ou vídeos gerados pode ser muito alta.
Modelos generativos podem produzir resultados de alta qualidade sem precedentes por meio de treinamento massivo de dados, e já existem vários mercados de aplicativos claros, incluindo pesquisa, bots de diálogo, geração e edição de imagens, etc. Mais aplicativos são esperados no futuro, o que também aumenta a demanda por fichas relacionadas.
A necessidade de chips para gerar modelos de classe
Conforme mencionado anteriormente, o ChatGPT representa um modelo generativo que precisa aprender com grandes quantidades de dados de treinamento para obter uma saída generativa de alta qualidade. A fim de oferecer suporte a treinamento e inferência eficientes, os modelos generativos têm seus próprios requisitos para chips relacionados.
A primeira é a necessidade de computação distribuída; o número de parâmetros para modelos generativos de linguagem, como ChatGPT, está na casa das centenas de bilhões e é quase impossível usar treinamento e inferência em um único computador, mas muita computação distribuída deve ser usada. Na computação distribuída, a largura de banda de interligação de dados entre as máquinas e o chip computacional para tal computação distribuída (como RDMA) tem uma grande demanda, pois muitas vezes o gargalo da tarefa pode não estar na computação, mas sim na interligação de dados acima, principalmente em Nesse tipo de computação distribuída em grande escala, o chip para o suporte eficiente da computação distribuída tornou-se mais crítico.
Em seguida é a capacidade de memória e largura de banda. Embora o treinamento distribuído e a inferência sejam inevitáveis para modelos generativos baseados em linguagem, a memória local e a largura de banda de cada chip determinarão em grande parte a eficiência de execução de um único chip (porque a memória de cada chip é usada até seu limite). Para modelos generativos baseados em imagem, é possível colocar os modelos (cerca de 20 GB) todos na memória do chip, mas como os modelos generativos baseados em imagem evoluem ainda mais no futuro, é provável que seus requisitos de memória também aumentem ainda mais . A partir dessa perspectiva, a tecnologia de memória de largura de banda ultra alta representada pela HBM se tornará a escolha inevitável para chips aceleradores relacionados, enquanto os modelos de classe generativa também acelerarão a memória HBM para aumentar ainda mais a capacidade e a largura de banda. Além do HBM, novas tecnologias de armazenamento, como CXL, juntamente com otimizações de software, também terão o potencial de aumentar a capacidade e o desempenho do armazenamento local em tais aplicativos e estima-se que ganhem mais adoção industrial com o surgimento do modelo de classe generativa.
Finalmente, a computação, tanto os modelos de classe generativa baseados em linguagem quanto os baseados em imagem têm uma grande demanda computacional, e os modelos generativos baseados em imagem podem ter uma demanda muito maior de poder aritmético à medida que geram resoluções cada vez mais altas e se movem em direção a aplicativos de vídeo - atuais os modelos generativos de imagem convencionais têm um volume computacional de cerca de 20 TFlops e, no que diz respeito a alta resolução e imagens, 100-1000 TFLOPS de demanda aritmética provavelmente será a norma.
Resumindo, acreditamos que os requisitos de modelos generativos para chips incluem computação distribuída, armazenamento e computação, que podem envolver todos os aspectos do design do chip e, mais importante, como combinar todos esses requisitos de maneira razoável para garantir que um único aspecto não se torne um gargalo, o que também se tornará um problema de engenharia do sistema de design de chip.
GPU e o novo chip AI, quem tem mais chance
Os modelos generativos têm uma nova demanda por chips. Quem tem mais chances de capturar essa nova demanda e mercado de GPUs (representadas por Nvidia e AMD) e novos chips de IA (representados por Habana, GraphCore)?
Primeiro, do ponto de vista dos modelos generativos baseados em linguagem, os fornecedores de GPU que atualmente possuem um layout completo nesse tipo de ecologia são mais vantajosos devido ao grande número de participantes e à necessidade de um bom suporte de computação distribuída. Este é um problema de engenharia de sistemas que requer uma solução completa de software e hardware e, neste sentido, a Nvidia combinou suas GPUs para lançar a solução Triton, que suporta treinamento distribuído e inferência distribuída, permitindo que um modelo seja dividido em várias partes e processado em diferentes GPUs, resolvendo assim o problema de muitos parâmetros que não podem ser acomodados pela memória principal de uma GPU. Isso resolve o problema de muitos parâmetros para a memória principal de uma GPU. Se você usa o Triton diretamente ou desenvolve mais com base no Triton no futuro, é mais conveniente ter uma GPU ecológica completa. Do ponto de vista computacional, uma vez que a computação principal do modelo de geração baseado em linguagem é a computação matricial, que é a força da GPU, o novo chip AI não tem uma vantagem óbvia sobre a GPU desse ponto de vista.
Do ponto de vista dos modelos de geração baseados em imagens, o número de parâmetros de tais modelos também é grande, mas uma a duas ordens de grandeza menor que os modelos de geração baseados em linguagem, além de seu cálculo ainda ser usado em grande número de cálculos convolucionais, portanto, aplicativos de inferência, se você puder fazer uma otimização muito boa, os chips de IA podem ter algumas oportunidades. Aqui, a otimização inclui uma grande quantidade de armazenamento no chip para acomodar parâmetros e resultados de cálculos intermediários, para convolução e suporte eficiente de operações de matriz.
Em geral, a geração atual de chips de IA é projetada para atingir modelos menores (número de parâmetros no nível do bilhão, computação no nível 1TOPS), enquanto a demanda por modelos generativos ainda é relativamente maior do que o objetivo original do projeto. As GPUs são projetadas para serem mais flexíveis em detrimento da eficiência, enquanto os chips de IA são projetados para fazer o oposto, buscando a eficiência do aplicativo de destino. Portanto, acreditamos que as GPUs ainda dominarão essa aceleração de modelo generativo nos próximos um ou dois anos, mas, à medida que os designs de modelos generativos se tornam mais estáveis e os designs de chips de IA têm tempo para acompanhar as iterações de modelos generativos, os chips de IA têm a oportunidade de superar as GPUs no espaço do modelo generativo a partir de uma perspectiva de eficiência.
