Tuttavia, è ancora più economico dei suoi concorrenti.
Il nuovo chatbot di DeepSeek mi ha salutato con un'introduzione intrigante:
Ciao, sono stato creato in modo da poter chiedere qualsiasi cosa e ottenere una risposta che potrebbe persino sorprenderti.
Oggi, l'intelligenza artificiale di Deepseek è emersa come un formidabile attore sul mercato, causando persino uno dei calo dei prezzi delle azioni più significativi di Nvidia.
Immagine: Ensigame.com
Ciò che distingue questo modello sono i suoi metodi innovativi di architettura e formazione. DeepSeek impiega diverse tecnologie all'avanguardia:
Previsione multi-token (MTP): invece di prevedere una parola alla volta, il modello prevede simultaneamente più parole analizzando diverse parti di una frase. Questo approccio migliora significativamente sia l'accuratezza che l'efficienza del modello.
Miscela di esperti (MOE): questa architettura utilizza varie reti neurali per elaborare i dati di input. La tecnologia accelera la formazione dell'intelligenza artificiale e migliora le prestazioni. In DeepSeek V3, vengono utilizzate 256 reti neurali, con otto attivate per ciascuna attività di elaborazione dei token.
Attenzione latente multi-testa (MLA): questo meccanismo aiuta a concentrarsi sulle parti più significative di una frase. MLA estrae i dettagli chiave dai frammenti di testo ripetutamente anziché solo una volta, riducendo la probabilità di perdere informazioni importanti. Ciò consente all'IA di acquisire sfumature cruciali nei dati di input in modo più efficace.
L'importante startup cinese Deepseek afferma di aver sviluppato un modello di intelligenza artificiale competitivo a un costo minimo, affermando di aver speso solo $ 6 milioni per formare la potente rete neurale Deepseek V3 e di aver utilizzato solo 2048 processori grafici.
Immagine: Ensigame.com
Tuttavia, gli analisti della seminalisi hanno scoperto che DeepSeek gestisce una grande infrastruttura computazionale che comprende circa 50.000 GPU di Nvidia Hopper. Ciò include 10.000 unità H800, 10.000 H100 più avanzati e batch aggiuntivi di GPU H20. Queste risorse sono distribuite su diversi data center e sono utilizzate per la formazione, la ricerca e la modellazione finanziaria dell'IA.
L'investimento totale della società nei server ammonta a circa $ 1,6 miliardi, con spese operative stimate in $ 944 milioni.
DeepSeek è una consociata dell'Hedge Fund cinese High-Flyer, che ha lasciato la startup come una divisione separata focalizzata sulle tecnologie di intelligenza artificiale nel 2023. A differenza della maggior parte delle startup che affittano il potere di calcolo dai fornitori di cloud, Deepseek possiede i propri data center, dando il pieno controllo sull'ottimizzazione dei modelli di intelligenza artificiale e che emettono l'implementazione più secca delle innovazioni. L'azienda rimane autofinanziata, il che influisce positivamente sulla sua flessibilità e velocità decisionale.
Immagine: Ensigame.com
Inoltre, alcuni ricercatori di DeepSeek guadagnano oltre $ 1,3 milioni all'anno, attirando i migliori talenti dalle principali università cinesi (la società non assume specialisti stranieri).
Anche con questi fattori, la recente pretesa di Deepseek di addestrare il suo ultimo modello per soli $ 6 milioni sembra irrealistica. Questa cifra si riferisce solo al costo dell'utilizzo della GPU durante il pre-allenamento e non tiene conto delle spese di ricerca, del perfezionamento del modello, dell'elaborazione dei dati o dei costi complessivi di infrastruttura.
Fin dalla sua istituzione, DeepSeek ha investito oltre $ 500 milioni nello sviluppo dell'IA. Tuttavia, a differenza delle più grandi aziende gravate dalla burocrazia, la struttura compatta di Deepseek gli consente di implementare attivamente ed efficacemente le innovazioni di intelligenza artificiale.
Immagine: Ensigame.com
L'esempio di DeepSeek dimostra che una società di intelligenza artificiale indipendente ben finanziata può competere con i leader del settore. Tuttavia, gli esperti sottolineano che il successo dell'azienda è in gran parte dovuto a miliardi di investimenti, scoperte tecniche e un team forte, mentre le affermazioni su un "budget rivoluzionario" per lo sviluppo di modelli di intelligenza artificiale sono in qualche modo esagerate.
Tuttavia, i costi dei concorrenti rimangono significativamente più alti. Ad esempio, confronta il costo della formazione del modello: DeepSeek ha speso $ 5 milioni su R1, mentre CHATGPT4O costa $ 100 milioni.
