Deepseek IA Development coûte 1,6 milliard de dollars, démystifiant le mythe

Le nouveau chatbot de Deepseek a eu un impact significatif sur le marché de l'IA, provoquant l'une des plus grandes baisses de cours des actions de Nvidia en raison de son avantage concurrentiel. Introduit avec la promesse de répondre aux questions de manière surprenante, Deepseek s'est rapidement positionné comme un acteur formidable dans l'industrie.

Image: esigame.com

Ce qui distingue le modèle de Deepseek, c'est son architecture innovante et ses méthodes de formation. L'entreprise emploie plusieurs technologies avancées, notamment:

Prédiction multi-token (MTP) : Cette méthode permet au modèle de prédire plusieurs mots à la fois en analysant différentes parties d'une phrase, améliorant considérablement à la fois la précision et l'efficacité.

Mélange d'experts (MOE) : en utilisant 256 réseaux de neurones, avec huit activés pour chaque tâche de traitement de jeton, cette architecture accélère la formation d'IA et améliore les performances.

Attention latente multi-tête (MLA) : Ce mécanisme se concentre sur les parties les plus importantes d'une phrase, en extraction des détails clés plusieurs fois pour réduire les chances de manquer des informations importantes, capturant ainsi les nuances cruciales dans les données d'entrée.

Image: esigame.com

Deepseek, une startup chinoise de premier plan, prétend avoir développé un modèle d'IA compétitif, Deepseek V3, à un coût minimal de 6 millions de dollars pour la formation, en utilisant seulement 2048 processeurs graphiques. Cependant, les analystes de la semianalyse ont découvert que la société exploite en fait une vaste infrastructure informatique, comprenant environ 50 000 GPU NVIDIA Hopper, dont 10 000 unités H800, 10 000 H100 et des GPU H20 supplémentaires, répartis sur plusieurs centres de données. Ces ressources sont utilisées non seulement pour la formation en IA, mais aussi pour la recherche et la modélisation financière.

L'investissement total dans les serveurs par Deepseek est estimé à 1,6 milliard de dollars, les dépenses opérationnelles atteignant 944 millions de dollars. En tant que filiale du High Flyer chinois, Deepseek a été dérangé en 2023 pour se concentrer sur les technologies de l'IA. Contrairement à de nombreuses startups qui reposent sur les services cloud, Deepseek possède ses centres de données, ce qui permet un plus grand contrôle sur l'optimisation du modèle d'IA et la mise en œuvre plus rapide de l'innovation. L'entreprise reste autofinancée, améliorant sa flexibilité et sa vitesse de prise de décision.

Image: esigame.com

Deepseek attire également les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des principales universités chinoises. La réclamation de la société de formation Deepseek V3 pour seulement 6 millions de dollars est considérée comme irréaliste, car elle ne représente que l'utilisation du GPU pendant la pré-formation et exclut d'autres coûts significatifs tels que la recherche, le raffinement du modèle, le traitement des données et l'infrastructure globale.

Depuis son début, Deepseek a investi plus de 500 millions de dollars dans le développement de l'IA. Sa structure Lean permet une mise en œuvre rapide et efficace des innovations d'IA, la distinguant des entreprises plus grandes et plus bureaucratiques.

Image: esigame.com

Le succès de Deepseek montre comment une entreprise d'IA indépendante bien financée peut défier les leaders de l'industrie. Bien que les réalisations de l'entreprise soient impressionnantes, les experts suggèrent que la revendication d'un "budget révolutionnaire" pour le développement du modèle d'IA est surestimée. Les coûts de Deepseek, bien que significatifs, sont encore inférieurs à ceux de ses concurrents; Par exemple, le coût de formation du modèle R1 de Deepseek était de 5 millions de dollars, contre 100 millions de dollars pour ChatGpt4O.