Friendli Inference

Friendli Inference: El motor de inferencia LLM más rápido

¿Qué es Friendli Inference?

Friendli Inference es un motor altamente optimizado diseñado para acelerar el servicio de Modelos de Lenguaje Grandes (LLM), reduciendo significativamente los costos entre un 50% y un 90%. Destaca como el motor de inferencia LLM más rápido del mercado, superando a vLLM y TensorRT-LLM en las pruebas de rendimiento.

¿Cómo funciona Friendli Inference?

Friendli Inference logra su notable rendimiento a través de varias tecnologías clave:

• Batching de Iteración: Esta innovadora tecnología de batching gestiona eficientemente las solicitudes de generación concurrentes, logrando un rendimiento de inferencia LLM hasta diez veces mayor en comparación con el batching convencional, manteniendo los mismos requisitos de latencia. Está protegido por patentes en EE. UU., Corea y China.
• Librería DNN: Friendli DNN Library comprende un conjunto de kernels de GPU optimizados diseñados específicamente para la IA generativa. Esta biblioteca permite una inferencia LLM más rápida para varias formas de tensores y tipos de datos, admite la cuantificación, Mixture of Experts (MoE) y adaptadores LoRA.
• Friendli TCache: Este sistema de almacenamiento en caché inteligente identifica y almacena los resultados computacionales de uso frecuente, reduciendo la carga de trabajo en las GPU al aprovechar los resultados almacenados en caché.
• Decodificación Especulativa: Friendli Inference admite de forma nativa la decodificación especulativa, una técnica de optimización que acelera la inferencia LLM/LMM al hacer conjeturas fundamentadas sobre los tokens futuros en paralelo mientras se genera el token actual. Esto garantiza salidas de modelo idénticas en una fracción del tiempo de inferencia.

Características y Beneficios Clave

• Ahorro de Costos Significativo: Reduce los costos de servicio de LLM entre un 50% y un 90%.
• Servicio Multi-LoRA: Admite simultáneamente múltiples modelos LoRA en menos GPU, incluso en una sola GPU.
• Amplio Soporte de Modelos: Admite una amplia gama de modelos de IA generativa, incluidos los modelos cuantificados y MoE.
• Rendimiento Innovador:
  • Se requieren hasta 6 veces menos GPU.
  • Hasta 10.7 veces más rendimiento.
  • Hasta 6.2 veces menos latencia.

Aspectos Destacados

• Ejecución de Mixtral 8x7B Cuantificado en una Sola GPU: Friendli Inference puede ejecutar un modelo Mixtral-7x8B-instruct v0.1 cuantificado en una sola GPU NVIDIA A100 de 80 GB, logrando al menos 4.1 veces más rápido el tiempo de respuesta y entre 3.8x y 23.8x mayor rendimiento de tokens en comparación con un sistema vLLM de referencia.
• Llama 2 70B Cuantificado en una Sola GPU: Ejecute sin problemas LLM AWQ-ed, como Llama 2 70B de 4 bits, en una sola GPU A100 de 80 GB, lo que permite una implementación LLM eficiente y ganancias de eficiencia notables sin sacrificar la precisión.
• TTFT Aún Más Rápido con Friendli TCache: Friendli TCache optimiza el Time to First Token (TTFT) reutilizando los cálculos recurrentes, entregando un TTFT de 11.3x a 23x más rápido en comparación con vLLM.

Cómo Usar Friendli Inference

Friendli Inference ofrece tres formas de ejecutar modelos de IA generativa:

1. Friendli Dedicated Endpoints: Cree y ejecute modelos de IA generativa en piloto automático.
2. Friendli Container: Sirva inferencias LLM y LMM con Friendli Inference en su entorno privado.
3. Friendli Serverless Endpoints: Llame a la API rápida y asequible para modelos de IA generativa de código abierto.

¿Por qué elegir Friendli Inference?

Friendli Inference es la solución ideal para las organizaciones que buscan optimizar el rendimiento y la rentabilidad de sus cargas de trabajo de inferencia LLM. Sus tecnologías innovadoras y su amplia gama de características lo convierten en una herramienta poderosa para implementar y escalar modelos de IA generativa.

¿Para quién es Friendli Inference?

Friendli Inference es adecuado para:

• Empresas que implementan modelos de lenguaje grandes.
• Investigadores que trabajan con IA generativa.
• Desarrolladores que construyen aplicaciones impulsadas por IA.

¿La mejor manera de optimizar la inferencia LLM?

La mejor manera de optimizar la inferencia LLM es usar Friendli Inference, que ofrece ahorros de costos significativos, alto rendimiento y baja latencia en comparación con otras soluciones.