Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
Aggiunta all'archivio di AIChronos il (numero del 17 ottobre 2026 ricostruito)· fonte del · Hugging Face blog
Il nuovo corpus di pretraining per le lingue indiane include 2.601 trilioni di token nativi e 224.6 miliardi di token romanizzati, coprendo 22 lingue indiane con entrambi i tipi di testo. Il pipeline di generazione aperto supporta la creazione di corpus personalizzati per linguaggi specifici e ha portato a miglioramenti significativi in vari benchmark.
- Corpus di pretraining che include 2,601 trilioni di token nativi e 224.6 miliardi di token romanizzati
- Pipeline di generazione aperta per costruire corpus personalizzati
- Miglioramenti significativi in vari benchmark indiani
Perché conta. Questo lavoro è rilevante per uno sviluppatore che lavora con LLM, agenti e AI locale poiché offre un approccio innovativo per migliorare la qualità dei modelli di lingue indiane attraverso l'uso di corpus più ampi e diversificati.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.