ただし、競合他社よりも安いです。
Deepseekの新しいチャットボットは、興味深い紹介で私を迎えました。
こんにちは、私はあなたが何でも尋ねて、あなたを驚かせるかもしれない答えを得ることができるように作成されました。
今日、Deepseekの人工知能は市場で恐ろしいプレーヤーとして浮上しており、Nvidiaの最も重要な株価下落の1つを引き起こしています。
画像：Ensigame.com
このモデルを際立たせるのは、革新的なアーキテクチャとトレーニング方法です。 Deepseekはいくつかの最先端のテクノロジーを採用しています。
マルチトークン予測（MTP）：一度に1つの単語を予測する代わりに、モデルは文のさまざまな部分を分析することにより、複数の単語を同時に予測します。このアプローチは、モデルの精度と効率の両方を大幅に向上させます。
専門家の混合（MOE）：このアーキテクチャは、さまざまなニューラルネットワークを利用して入力データを処理します。このテクノロジーは、AIトレーニングを加速し、パフォーマンスを向上させます。 DeepSeek V3では、256のニューラルネットワークが使用され、トークン処理タスクごとに8つがアクティブ化されます。
マルチヘッド潜在的注意（MLA）：このメカニズムは、文の最も重要な部分に焦点を合わせるのに役立ちます。 MLAは、テキストフラグメントから重要な詳細を一度だけでなく繰り返し抽出し、重要な情報が欠落している可能性を減らします。これにより、AIは入力データの重要なニュアンスをより効果的にキャプチャできます。
著名な中国のスタートアップDeepSeekは、最小限のコストで競争力のあるAIモデルを開発したと主張しており、強力なニューラルネットワークDeepSeek V3のトレーニングにわずか600万ドルを費やし、2048グラフィックプロセッサのみを使用していると述べています。
画像：Ensigame.com
しかし、Semianalysisのアナリストは、DeepSeekが約50,000のNVIDIA Hopper GPUで構成される大規模な計算インフラストラクチャを運営していることを明らかにしています。これには、10,000 H800ユニット、10,000個の高度なH100、およびH20 GPUの追加バッチが含まれます。これらのリソースは、いくつかのデータセンターに配布されており、AIトレーニング、研究、財務モデリングに利用されています。
同社のサーバーへの総投資は約16億ドルに達し、運用費用は9億4,400万ドルと推定されています。
Deepseekは、中国のヘッジファンドの高級家の子会社であり、2023年にAIテクノロジーに焦点を当てた別の部門としてスタートアップを紡ぎました。クラウドプロバイダーからコンピューティングパワーをレンタルするほとんどのスタートアップとは異なり、DeepSeekはAIモデルの最適化を完全に制御し、イノベーションの高速化を可能にします。同社は自己資金のままであり、柔軟性と意思決定速度にプラスの影響を与えます。
画像：Ensigame.com
さらに、Deepseekの一部の研究者は、年間130万ドル以上を稼ぎ、中国の主要な大学から最高の才能を引き付けます（同社は外国人の専門家を雇いません）。
これらの要因があっても、Deepseekの最新のモデルをわずか600万ドルでトレーニングするという最近の主張は非現実的に思えます。この数字は、トレーニング前のGPU使用のコストのみを指し、研究費用、モデルの洗練、データ処理、または全体的なインフラストラクチャコストを考慮していません。
Deepseekは設立以来、AI開発に5億ドル以上を投資してきました。ただし、官僚機構に悩まされる大企業とは異なり、Deepseekのコンパクト構造により、AIイノベーションを積極的かつ効果的に実装することができます。
画像：Ensigame.com
Deepseekの例は、資金提供された独立したAI会社が業界のリーダーと競争できることを示しています。それにもかかわらず、専門家は、同社の成功は主に投資、技術的なブレークスルー、強力なチームの数十億のためであることを強調していますが、AIモデルの開発のための「革新的な予算」についての主張はやや誇張されています。
それでも、競合他社のコストは依然として大幅に高くなっています。たとえば、モデルトレーニングのコストを比較してください：DeepseekはR1に500万ドルを費やしましたが、ChatGpt4oは1億ドルかかります。
