No entanto, ainda é mais barato que seus concorrentes.
O novo chatbot da Deepseek me recebeu com uma introdução intrigante:
Olá, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que pode até surpreendê -lo.
Hoje, a inteligência artificial da Deepseek emergiu como um participante formidável no mercado, causando uma das quedas mais significativas de preços das ações da NVIDIA.
Imagem: Ensigame.com
O que diferencia esse modelo são seus métodos inovadores de arquitetura e treinamento. A Deepseek emprega várias tecnologias de ponta:
Previsão com vários toques (MTP): Em vez de prever uma palavra de cada vez, o modelo prevê várias palavras simultaneamente analisando diferentes partes de uma frase. Essa abordagem aumenta significativamente a precisão e a eficiência do modelo.
Mistura de especialistas (MOE): Esta arquitetura utiliza várias redes neurais para processar dados de entrada. A tecnologia acelera o treinamento de IA e melhora o desempenho. Em Deepseek V3, 256 redes neurais são usadas, com oito sendo ativados para cada tarefa de processamento de token.
Atenção latente de várias cabeças (MLA): Esse mecanismo ajuda a se concentrar nas partes mais significativas de uma frase. O MLA extrai os principais detalhes dos fragmentos de texto repetidamente, e não apenas uma vez, reduzindo a probabilidade de perder informações importantes. Isso permite que a IA capture nuances cruciais nos dados de entrada com mais eficiência.
A proeminente startup chinesa Deepseek afirma ter desenvolvido um modelo competitivo de IA a um custo mínimo, afirmando que gastou apenas US $ 6 milhões no treinamento da poderosa rede neural Deepseek V3 e usou apenas 2048 processadores gráficos.
Imagem: Ensigame.com
No entanto, analistas da semiânica descobriram que a DeepSeek opera uma grande infraestrutura computacional, compreendendo aproximadamente 50.000 GPUs NVIDIA Hopper. Isso inclui 10.000 unidades H800, 10.000 H100s mais avançados e lotes adicionais de GPUs H20. Esses recursos são distribuídos em vários data centers e são utilizados para treinamento, pesquisa e modelagem financeira de IA.
O investimento total da empresa em servidores é de cerca de US $ 1,6 bilhão, com despesas operacionais estimadas em US $ 944 milhões.
A Deepseek é uma subsidiária do fundo de hedge chinês High-Flyer, que saiu da startup como uma divisão separada focada nas tecnologias de IA em 2023. Ao contrário da maioria das startups que alugam o poder de computação de fornecedores de nuvem, a DeepSeek possui seus próprios data centers, oferecendo controle total sobre o otimização do modelo de IA e a implementação mais rápida de inovações. A empresa permanece auto-financiada, o que afeta positivamente sua flexibilidade e velocidade de tomada de decisão.
Imagem: Ensigame.com
Além disso, alguns pesquisadores da Deepseek ganham mais de US $ 1,3 milhão anualmente, atraindo os principais talentos das principais universidades chinesas (a empresa não contrata especialistas estrangeiros).
Mesmo com esses fatores, a recente reivindicação da Deepseek de treinar seu modelo mais recente por apenas US $ 6 milhões parece irrealista. Este número refere-se apenas ao custo do uso da GPU durante o pré-treinamento e não explica despesas de pesquisa, refinamento de modelos, processamento de dados ou custos gerais de infraestrutura.
Desde a sua criação, a Deepseek investiu mais de US $ 500 milhões em desenvolvimento de IA. No entanto, diferentemente das empresas maiores sobrecarregadas pela burocracia, a estrutura compacta da Deepseek permite que ela implemente ativamente e efetivamente as inovações de IA.
Imagem: Ensigame.com
O exemplo da Deepseek demonstra que uma empresa independente de IA independente pode competir com os líderes do setor. No entanto, os especialistas enfatizam que o sucesso da empresa se deve em grande parte a bilhões de investimentos, avanços técnicos e uma equipe forte, enquanto as reivindicações sobre um "orçamento revolucionário" para o desenvolvimento de modelos de IA são um pouco exageradas.
Ainda assim, os custos dos concorrentes permanecem significativamente maiores. Por exemplo, compare o custo do treinamento do modelo: Deepseek gastou US $ 5 milhões em R1, enquanto o ChatGPT4O custou US $ 100 milhões.
