Exabits ha demostrado su capacidad para entrenar modelos de lenguaje grandes (LLM), asociándose con MyShell para reducir drásticamente los costos de entrenamiento de miles de millones a menos de $100,000.

JetMoE-8B se entrena a menos de $0.1 millón de costo pero supera a LLaMA2-7B de Meta AI (costo de computación de varios miles de millones de dólares)

MyShell: Lograr el rendimiento de LLaMA2 con el modelo JetMoE de $100,000, inspirado en la arquitectura de activación dispersa de ModuleFormer, representa un hito notable en el aprendizaje automático. El JetMoE-8B, con sus 8 mil millones de parámetros y su estructura sofisticada de 24 bloques, cada uno con dos capas MoE (Mixture of Experts) (Cabeza de Atención Mezclada y Mezcla de Expertos de MLP), muestra eficiencia avanzada e inteligencia computacional. La activación selectiva de 2 de 8 expertos por token de entrada de cada capa demuestra una utilización refinada del marco de Sparse Mixture of Experts (SMoE), mejorando la capacidad de respuesta y la gestión de recursos del modelo.

La eficiencia de JetMoE-8B, con sus 2.2 mil millones de parámetros de activación, redujo significativamente los costos de entrenamiento mientras ofrecía un rendimiento sólido. La efectividad del modelo se ilustra en la figura posterior: JetMoE-8B logró resultados de última generación en cinco categorías en ocho evaluaciones, superando a competidores como LLaMA-13B, LLaMA2-7B y DeepseekMoE-16B.

En la prueba MT-Bench, JetMoE-8B obtuvo una puntuación de 6.681, superando a modelos con capacidades más grandes, como LLaMA2 y Vicuna, que poseen 13 mil millones de parámetros.

Pero lo que potencia esta sofisticación arquitectónica es la contribución de Exabits a un clúster acelerado y estabilizado de 12 nodos GPU H100 (96 GPUs). La plataforma de Exabits jugó un papel fundamental en impulsar el modelo JetMoE, asegurando un rendimiento estable, ultradisponible y sólido a una fracción del costo de "gran computación". Esta sinergia entre el diseño innovador de JetMoE y la tecnología de GPU de vanguardia de Exabits no solo ejemplifica un salto en las capacidades de aprendizaje automático, sino que también destaca la efectividad de combinar arquitecturas de modelo avanzadas con la infraestructura de cómputo en la nube de Exabits.

Desmitificar: Plataforma descentralizada de GPU para el entrenamiento de LLM

Exabits ha desmentido la idea errónea de que las plataformas descentralizadas de GPU no son adecuadas para el entrenamiento de LLM. Con una pila técnica sofisticada, middleware eficiente y una cadena de suministro sólida de recursos computacionales, Exabits ha demostrado que el entrenamiento e inferencia de LLM no solo son posibles, sino también eficientes y profundamente rentables en dicha plataforma.

Exabits, una plataforma de cómputo en la nube descentralizada, supera las limitaciones de las plataformas descentralizadas estándar al servir como la capa base de infraestructura de cómputo de IA y ofrecer una solución de pila completa. Lo hace mediante la agregación, aceleración y estabilización de GPUs de consumo para igualar el rendimiento de las GPU de grado empresarial casi por completo. Este enfoque aprovecha una reserva vasta, pero en gran medida inactiva, de GPUs de consumo, aliviando la crisis de escasez de GPUs. Además, la amplia experiencia de Exabits en el sector de centros de datos proporciona un acceso único a codiciadas GPUs de grado empresarial H100 y A100, y pronto a las B200, avanzando aún más en la democratización del desarrollo de IA. Las asociaciones con importantes proyectos en cómputo en la nube descentralizado han ayudado a Exabits a sembrar y establecer una red de cómputo descentralizada interconectada y ampliamente distribuida. Esta súper red tiene el potencial de enfrentarse a los gigantes de la computación en la nube centralizada tradicional, haciendo que la IA sea accesible para cualquier persona que quiera desarrollar en el espacio.

El futuro del entrenamiento de LLM con Exabits

Exabits no es solo una plataforma tecnológica; es un faro para el futuro del entrenamiento de LLM, encarnando la asequibilidad, la accesibilidad y la conciencia ambiental. El éxito de JetMoE-8B subraya la viabilidad de esta plataforma para llevar a cabo entrenamientos de modelos de alta gama, abriendo el camino a avances más sostenibles e inclusivos en la investigación y desarrollo de IA.

En conclusión, Exabits se erige como una fuerza revolucionaria en el dominio de la IA, desafiando a la gran computación y demostrando que las plataformas de cómputo en la nube en el espacio web3 pueden, de hecho, admitir un entrenamiento de LLM real de manera eficiente y rentable. Esto no solo abre nuevas oportunidades para la investigación y aplicación de IA, sino que también establece un nuevo estándar en la economía computacional, anunciando una nueva era de innovación y colaboración en el campo del web3 y la inteligencia artificial.

Contacto de medios

Contacto: Roy Evans

Nombre de la empresa: ExaBITs Network LTD.

Teléfono: +1 650 642 8104

Sitio web: https://www.exabits.ai

Correo electrónico: contact@exabits.ai

Persona de contacto: Zengyi Qin

Nombre de la empresa: MyShell

Sitio web: https://myshell.ai

Correo electrónico: charles@myshell.ai

Descargo de responsabilidad: Esta traducción ha sido generada automáticamente por NewsRamp™ para BlockchainWire (colectivamente referidos como "LAS EMPRESAS") utilizando plataformas de inteligencia artificial generativas de acceso público. LAS EMPRESAS no garantizan la exactitud ni la integridad de esta traducción y no serán responsables por ningún error, omisión o inexactitud. La confianza en esta traducción es bajo su propio riesgo. LAS EMPRESAS no son responsables por ningún daño o pérdida resultante de tal confianza. La versión oficial y autoritativa de este comunicado de prensa es la versión en inglés.