Exabits a démontré sa capacité à former de grands modèles de langage (LLMs), en partenariat avec MyShell, pour réduire de manière spectaculaire les coûts de formation de milliards à moins de 100 000 $.
JetMoE-8B est formé à moins de 0,1 million de dollars de coût mais surpasse LLaMA2-7B de Meta AI (coût du calcul de plusieurs milliards de dollars).
MyShell : Atteindre les performances de LLaMA2 avec le modèle JetMoE de 100 000 $, inspiré de l'architecture d'activation clairsemée de ModuleFormer, marque un jalon remarquable dans l'apprentissage automatique. Le JetMoE-8B, avec ses 8 milliards de paramètres et sa structure sophistiquée de 24 blocs, chacun abritant deux couches MoE (mélange de têtes d'attention et mélange d'experts MLP), démontre une efficacité avancée et une intelligence computationnelle. L'activation sélective de 2 experts sur 8 par jeton d'entrée de chaque couche illustre une utilisation raffinée du cadre de Mélange d'Experts Clairsemés (SMoE), améliorant la réactivité du modèle et la gestion des ressources.
L'efficacité de JetMoE-8B, avec ses 2,2 milliards de paramètres d'activation, a considérablement réduit les coûts de formation tout en offrant des performances robustes. L'efficacité du modèle est illustrée dans la figure suivante : JetMoE-8B a obtenu des résultats de pointe dans cinq catégories sur huit benchmarks d'évaluation, surpassant des concurrents tels que LLaMA-13B, LLaMA2-7B et DeepseekMoE-16B.
Sur le benchmark MT-Bench, JetMoE-8B a obtenu un score de 6,681, surpassant des modèles de plus grande capacité, tels que LLaMA2 et Vicuna, qui possèdent 13 milliards de paramètres.
Mais ce qui alimente cette sophistication architecturale, c'est la contribution d'Exabits avec un cluster accéléré et stabilisé de 12 nœuds GPU H100 (96 GPU). La plateforme d'Exabits a joué un rôle central dans la mise en œuvre du modèle JetMoE, garantissant des performances stables, ultra-disponibles et robustes à une fraction du coût du "calcul important". Cette synergie entre la conception innovante de JetMoE et la technologie GPU de pointe d'Exabits non seulement illustre un bond en avant dans les capacités d'apprentissage automatique, mais met également en lumière l'efficacité de la combinaison d'architectures de modèles avancées avec l'infrastructure de calcul en nuage d'Exabits.
Casser le mythe : Plateforme de GPU décentralisée pour la formation LLM
Exabits a réfuté le scepticisme selon lequel les plates-formes de GPU décentralisées ne sont pas adaptées à la formation LLM. Avec une pile technique sophistiquée, un middleware efficace et une chaîne d'approvisionnement robuste en ressources de calcul, Exabits a démontré que la formation et l'inférence LLM sont non seulement possibles, mais aussi efficaces et profondément rentables sur une telle plateforme.
L'avenir de la formation LLM avec Exabits
Exabits n'est pas seulement une plateforme technologique ; c'est un phare pour l'avenir de la formation LLM, incarnant l'accessibilité, l'abordabilité et la conscience environnementale. Le succès de JetMoE-8B souligne la faisabilité de cette plateforme dans la réalisation de la formation de modèles haut de gamme, ouvrant la voie à des avancées plus durables et inclusives dans la recherche et le développement en intelligence artificielle.
En conclusion, Exabits s'impose comme une force révolutionnaire dans le domaine de l'IA, défiant le "calcul important" et prouvant que les plateformes de calcul en nuage dans l'espace web3 peuvent en effet soutenir une véritable formation LLM de manière efficace et rentable. Cela ouvre non seulement de nouvelles voies pour la recherche et l'application en IA, mais établit également une nouvelle norme dans l'économie du calcul, annonçant une nouvelle ère d'innovation et de collaboration dans le domaine du web3 et de l'intelligence artificielle.
Contact média
Contact : Roy Evans
Nom de l'entreprise : ExaBITs Network LTD.
Téléphone : +1 650 642 8104
Site Web : https://www.exabits.ai
Email : contact@exabits.ai
Personne à contacter : Zengyi Qin
Nom de l'entreprise : MyShell
Site Web : https://myshell.ai
Email : charles@myshell.ai
Clause de non-responsabilité : Les informations fournies dans ce communiqué de presse ne constituent pas une sollicitation d'investissement, ni ne sont destinées à être des conseils en investissement, en matière financière ou en trading. Il est fortement recommandé de faire preuve de diligence raisonnable (y compris en consultant un conseiller financier professionnel) avant d'investir dans des titres ou des crypto-monnaies.
Avertissement : Cette traduction a été générée automatiquement par NewsRamp™ pour BlockchainWire (collectivement désignés sous le nom de "LES ENTREPRISES") en utilisant des plateformes d'intelligence artificielle génératives accessibles au public. LES ENTREPRISES ne garantissent pas l'exactitude ni l'intégralité de cette traduction et ne seront pas responsables des erreurs, omissions ou inexactitudes. Vous vous fiez à cette traduction à vos propres risques. LES ENTREPRISES ne sont pas responsables des dommages ou pertes résultant de cette confiance. La version officielle et faisant autorité de ce communiqué de presse est la version anglaise.
