Deepseek IA Development custa US $ 1,6 bilhão, desmistrvando mito de acessibilidade

O novo chatbot da Deepseek causou um impacto significativo no mercado de IA, causando uma das maiores quedas de preço das ações da NVIDIA devido à sua vantagem competitiva. Introduzido com a promessa de responder perguntas de maneiras surpreendentes, a Deepseek rapidamente se posicionou como um participante formidável no setor.

Imagem: Ensigame.com

O que distingue o modelo da Deepseek é seus métodos inovadores de arquitetura e treinamento. A empresa emprega várias tecnologias avançadas, incluindo:

Previsão com vários toques (MTP) : Este método permite que o modelo preveja várias palavras ao mesmo tempo analisando diferentes partes de uma frase, melhorando significativamente a precisão e a eficiência.

Mistura de especialistas (MOE) : Utilizando 256 redes neurais, com oito ativados para cada tarefa de processamento de token, essa arquitetura acelera o treinamento de IA e aprimora o desempenho.

Atenção latente de várias cabeças (MLA) : Esse mecanismo se concentra nas partes mais significativas de uma frase, extraindo detalhes-chave várias vezes para reduzir a chance de perder informações importantes, capturando assim nuances cruciais nos dados de entrada.

Imagem: Ensigame.com

A Deepseek, uma proeminente startup chinesa, afirma ter desenvolvido um modelo competitivo de IA, Deepseek V3, a um custo mínimo de US $ 6 milhões para treinamento, usando apenas 2048 processadores gráficos. No entanto, os analistas da Semiânica descobriram que a empresa realmente opera uma vasta infraestrutura computacional, compreendendo cerca de 50.000 GPUs NVIDIA Hopper, incluindo 10.000 unidades H800, 10.000 H100s e GPUs H20 adicionais, se espalham por vários data centers. Esses recursos são usados ​​não apenas para treinamento de IA, mas também para pesquisa e modelagem financeira.

O investimento total em servidores da Deepseek é estimado em US $ 1,6 bilhão, com despesas operacionais atingindo US $ 944 milhões. Como subsidiária do fundo de hedge chinês High-Flyer, a Deepseek foi feita em 2023 para se concentrar nas tecnologias de IA. Ao contrário de muitas startups que dependem de serviços em nuvem, a DeepSeek possui seus data centers, o que permite um maior controle sobre a otimização do modelo de IA e a implementação mais rápida da inovação. A empresa permanece autofinanciada, aumentando sua flexibilidade e velocidade de tomada de decisão.

Imagem: Ensigame.com

A Deepseek também atrai os melhores talentos, com alguns pesquisadores ganhando mais de US $ 1,3 milhão anualmente, principalmente das principais universidades chinesas. A reivindicação da Companhia de Treinar Deepseek V3 por apenas US $ 6 milhões é considerada irrealista, pois é responsável apenas pelo uso da GPU durante o pré-treinamento e exclui outros custos significativos, como pesquisa, refinamento de modelos, processamento de dados e infraestrutura geral.

Desde o seu início, a Deepseek investiu mais de US $ 500 milhões em desenvolvimento de IA. Sua estrutura enxuta permite uma implementação rápida e eficaz das inovações de IA, diferenciando -a de empresas maiores e mais burocráticas.

Imagem: Ensigame.com

O sucesso da Deepseek mostra como uma empresa de IA independente e bem financiada pode desafiar os líderes do setor. Embora as realizações da empresa sejam impressionantes, os especialistas sugerem que a reivindicação de um "orçamento revolucionário" para o desenvolvimento do modelo de IA é exagerado. Os custos da Deepseek, embora significativos, ainda são inferiores aos de seus concorrentes; Por exemplo, o custo de treinamento do modelo R1 da Deepseek foi de US $ 5 milhões, em comparação com US $ 100 milhões para o ChatGPT4O.