Cependant, il est encore moins cher que ses concurrents.
Le nouveau chatbot de Deepseek m'a accueilli avec une introduction intrigante:
Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre.
Aujourd'hui, l'intelligence artificielle de Deepseek est devenue un acteur formidable sur le marché, provoquant même l'une des baisses de cours des actions les plus importantes de Nvidia.
Image: esigame.com
Ce qui distingue ce modèle, ce sont ses méthodes d'architecture et de formation innovantes. Deepseek utilise plusieurs technologies de pointe:
Prédiction multi-token (MTP): Au lieu de prédire un mot à la fois, le modèle prévoit plusieurs mots simultanément en analysant différentes parties d'une phrase. Cette approche améliore considérablement la précision et l'efficacité du modèle.
Mélange d'experts (MOE): Cette architecture utilise divers réseaux de neurones pour traiter les données d'entrée. La technologie accélère la formation d'IA et améliore les performances. Dans Deepseek V3, 256 réseaux neuronaux sont utilisés, huit étant activés pour chaque tâche de traitement de jeton.
Attention latente multi-tête (MLA): ce mécanisme aide à se concentrer sur les parties les plus importantes d'une phrase. MLA extrait les détails clés des fragments de texte à plusieurs reprises plutôt qu'une seule fois, réduisant la probabilité de manquer des informations importantes. Cela permet à l'IA de capturer plus efficacement les nuances cruciales dans les données d'entrée.
La startup chinoise de premier plan Deepseek prétend avoir développé un modèle d'IA compétitif à un coût minimal, déclarant qu'ils ne dépensaient que 6 millions de dollars pour la formation du puissant réseau de neurones Deepseek V3 et n'utilisaient que 2048 processeurs graphiques.
Image: esigame.com
Cependant, les analystes de semi-analyse ont découvert que Deepseek exploite une grande infrastructure de calcul comprenant environ 50 000 GPU NVIDIA Hopper. Cela comprend 10 000 unités H800, 10 000 H100 plus avancés et des lots supplémentaires de GPU H20. Ces ressources sont distribuées dans plusieurs centres de données et sont utilisées pour la formation, la recherche et la modélisation financière de l'IA.
L'investissement total de la société dans les serveurs s'élève à environ 1,6 milliard de dollars, avec des dépenses opérationnelles estimées à 944 millions de dollars.
Deepseek est une filiale du High-Flyer de fonds spéculatifs chinois, qui a décroché la startup en tant que division distincte axée sur les technologies de l'IA en 2023. Contrairement à la plupart des startups qui louent le pouvoir de calcul des fournisseurs de cloud, Deepseek possède ses propres centres de données, ce qui lui donne un contrôle total sur l'optimisation du modèle AI et l'activation plus rapidement des innovations. La société reste autofinancée, ce qui a un impact positif sur sa flexibilité et sa vitesse de prise de décision.
Image: esigame.com
De plus, certains chercheurs de Deepseek gagnent plus de 1,3 million de dollars par an, attirant les meilleurs talents des principales universités chinoises (la société n'embauche pas de spécialistes étrangers).
Même avec ces facteurs, la récente affirmation de Deepseek de formation de son dernier modèle pour seulement 6 millions de dollars semble irréaliste. Ce chiffre se réfère uniquement au coût de l'utilisation du GPU pendant la pré-formation et ne tient pas compte des dépenses de recherche, du raffinement du modèle, du traitement des données ou des coûts d'infrastructure globale.
Depuis sa création, Deepseek a investi plus de 500 millions de dollars dans le développement de l'IA. Cependant, contrairement aux grandes entreprises chargées par la bureaucratie, la structure compacte de Deepseek lui permet de mettre en œuvre activement et efficacement les innovations d'IA.
Image: esigame.com
L'exemple de Deepseek démontre qu'une entreprise d'IA indépendante bien financée peut rivaliser avec les leaders de l'industrie. Néanmoins, les experts soulignent que le succès de l'entreprise est en grande partie dû à des milliards d'investissements, à des percées techniques et à une équipe solide, tandis que les affirmations sur un "budget révolutionnaire" pour le développement de modèles d'IA sont quelque peu exagérés.
Pourtant, les coûts des concurrents restent considérablement plus élevés. Par exemple, comparez le coût de la formation des modèles: Deepseek a dépensé 5 millions de dollars sur R1, tandis que le chatppt4o a coûté 100 millions de dollars.
