Un gruppo di ricercatori dell’Università della California, Berkeley, afferma di aver ricreato la tecnologia principale trovata in Revolutionary Deepseek AI della Cina per soli $ 30. Questa ricreazione in profondità estremamente economica è un altro indicatore che mentre i modelli di aziende più grandi sono state impressionanti, potrebbero esserci modi molto più convenienti per costruirli.
Guidato da Ph.D. Candidato Jiayi Pan, il group ha replicato le capacità di apprendimento del rinforzo di DeepSeek R1-Zero utilizzando un modello linguistico di piccole dimensioni con soli 3 miliardi di parametri. Nonostante le sue dimensioni relativamente modeste, l’IA ha dimostrato l’auto-verifica e le capacità di ricerca, le caratteristiche chiave che gli consentono di perfezionare le proprie risposte in modo iterativo.
Per testare la loro ricreazione di DeepSeek, la squadra di Berkeley ha utilizzato il gioco del conto alla rovescia, un puzzle numerico basato sullo spettacolo di giochi britannici in cui i giocatori devono usare l’aritmetica per raggiungere un numero di goal. Inizialmente, il modello ha prodotto ipotesi casuali, ma attraverso l’apprendimento del rinforzo, ha sviluppato tecniche per l’auto-correzione e la risoluzione iterativa dei problemi.
Alla nice, ha imparato a rivedere le sue risposte fino a quando non è arrivato alla soluzione corretta. Hanno anche sperimentato la moltiplicazione, in cui l’IA ha interrotto le equazioni usando la proprietà distributiva, proprio come gli umani potrebbero risolvere mentalmente grandi problemi di moltiplicazione. Ciò ha dimostrato la capacità del modello di adattare la sua strategia in base al problema.
Ciò che è particolarmente impressionante è che l’intera ricreazione è costata loro solo $ 30, afferma Pan in un submit su Nitter. Questa è una frazione sbalorditiva di ciò che le principali aziende di intelligenza artificiale spendono in allenamento su larga scala. I ricercatori hanno testato più dimensioni del modello, a partire da un modello di parametro di 500 milioni di parametri che poteva solo indovinare e fermare, indipendentemente dall’accuratezza.
Se ridimensionati a 1,5 miliardi di parametri, la ricreazione di Deepseek ha iniziato a incorporare tecniche di revisione. I modelli tra 3 e 7 miliardi di parametri hanno mostrato un miglioramento significativo, risolvendo problemi in meno fasi con una migliore precisione, PAN e altri ricercatori riportano.
Per un certo contesto, Openai addebita $ 15 per milione di token tramite la sua API al momento della stesura, mentre Deep -Week Offre un costo molto più basso di $ 0,55 per milione di token. I risultati del group di Berkeley suggeriscono che possono essere sviluppati modelli AI altamente capaci per una frazione dei costi attualmente investiti dalle principali società di intelligenza artificiale. Nonostante quanto sia economico, ci sono Molte ragioni che probabilmente dovresti evitare DeepSeek.
Uno dei motivi è quello Alcuni esperti sono scettici A proposito di DeepSeek rivendicata l’accessibilità. Il ricercatore di intelligenza artificiale Nathan Lambert ha sollevato preoccupazioni sul fatto che Deepseek abbia registrato un costo di addestramento di $ 5 milioni per il suo modello di 671 miliardi di parametri riflette accuratamente il quadro completo. IL L’IA invia anche molti dati in Cinache è certamente motivo di preoccupazione e sta già portando a Deepseek vieta negli Stati Uniti.
In effetti, Lambert stima che le spese operative annuali di DeepEek AI potrebbero essere tra $ 500 milioni e oltre $ 1 miliardo, considerando tutto, dalle infrastrutture, nel consumo di energia e nei costi del personale di ricerca. Openai afferma anche Ci sono show DeepSeek è stato addestrato usando il chatgptche potrebbe aiutare a spiegare alcuni dei cos ridottits.
Anche così, il lavoro del group di Berkeley dimostra che l’apprendimento di rinforzo all’avanguardia può essere ottenuto senza gli enormi funds che i giganti del settore come Openai, Google e Microsoft attualmente allocano. Con alcuni laboratori di intelligenza artificiale che spendono fino a $ 10 miliardi all’anno su modelli di formazione, questa ricerca evidenzia quello che potrebbe diventare un cambiamento potenzialmente dirompente sul campo.
