LMQL

¿Qué es LMQL?

LMQL (Language Model Query Language) es un lenguaje de programación diseñado para interactuar con Modelos de Lenguaje Grandes (LLMs). Desarrollado por el SRI Lab en ETH Zurich y colaboradores, LMQL permite a los desarrolladores construir prompts de LLM robustos y modulares utilizando tipos, plantillas, restricciones y un tiempo de ejecución de optimización. Esencialmente, aporta paradigmas de programación procedural al mundo de los LLMs, haciendo que la ingeniería de prompts sea más estructurada y manejable.

¿Cómo funciona LMQL?

LMQL permite a los desarrolladores definir consultas que guían la salida del LLM. Aquí hay un desglose de los conceptos clave:

• Plantillas: LMQL utiliza plantillas para estructurar los prompts. Estas plantillas pueden incluir variables que el LLM completará.
• Restricciones: Los desarrolladores pueden imponer restricciones en la salida generada usando cláusulas where. Estas restricciones pueden basarse en la longitud, patrones específicos o incluso funciones personalizadas de Python.
• Tipos: LMQL soporta variables tipadas, asegurando que la salida del LLM se adhiera a un formato específico, como enteros o cadenas de texto.
• Consultas Anidadas: Con la introducción de consultas anidadas, LMQL permite instrucciones locales modularizadas y la reutilización de componentes de prompt. Esta característica facilita la gestión de prompts complejos y la creación de módulos de prompt reutilizables.

La idea central es tratar a los LLMs como componentes programables, ofreciendo un enfoque estructurado a la ingeniería de prompts que mejora la fiabilidad y la mantenibilidad. LMQL también soporta múltiples backends, incluyendo llama.cpp, OpenAI y Transformers, permitiendo flexibilidad al elegir el proveedor de LLM.

Características clave de LMQL

• Prompting Robusto: LMQL ayuda a crear prompts que son menos propensos a errores y más fiables en la producción de la salida deseada.
• Prompting Modular: La capacidad de crear componentes de prompt reutilizables y consultas anidadas promueve la modularidad y la mantenibilidad.
• Generación Basada en Restricciones: Las restricciones aseguran que la salida del LLM cumpla con requisitos específicos, como la longitud o el formato.
• Soporte Multi-Backend: LMQL se puede utilizar con diferentes proveedores de LLM, garantizando la portabilidad y la flexibilidad.
• Integración con Python: Las consultas LMQL se pueden definir y ejecutar directamente desde Python, lo que facilita la integración con bases de código Python existentes.
• Seguridad de Tipos: Las variables tipadas garantizan el formato de salida, reduciendo la necesidad de post-procesamiento y validación.

¿Cómo usar LMQL?

Usar LMQL implica definir consultas como funciones de Python decoradas con @lmql.query. Dentro de estas consultas, puedes definir prompts, variables y restricciones. Aquí hay un ejemplo simple del texto original:

@lmql.query
def meaning_of_life():
    '''lmql
    "Q: What is the answer to life, the \
     universe and everything?"

    "A: [ANSWER]" where \
        len(ANSWER) < 120 and STOPS_AT(ANSWER, ".")

    print("LLM returned", ANSWER)
    return ANSWER
    '''

meaning_of_life() # The program returns the meaning of life.

Este ejemplo demuestra cómo definir un prompt, usar una variable (ANSWER) para capturar la salida del LLM y aplicar restricciones para asegurar que la respuesta tenga menos de 120 caracteres y termine con un punto.

¿Para quién es LMQL?

LMQL es particularmente útil para:

• Desarrolladores que trabajan con LLMs: Que necesitan una forma estructurada de crear y gestionar prompts.
• Investigadores: Que quieren experimentar con diferentes técnicas de prompting y restricciones.
• Equipos: Que necesitan asegurar la consistencia y la fiabilidad en sus aplicaciones impulsadas por LLMs.

Casos de Uso de LMQL

• Chatbots: LMQL se puede utilizar para crear respuestas de chatbot más fiables y conscientes del contexto.
• Extracción de Datos: Las restricciones se pueden utilizar para asegurar que los datos extraídos se ajusten a un formato específico.
• Generación de Contenido: LMQL se puede utilizar para generar contenido que cumpla con requisitos específicos, como la longitud y el estilo.
• Aumento de Herramientas: Se utiliza para crear una mejor salida para la herramienta.

LMQL vs Prompting Tradicional

En resumen, LMQL ofrece un enfoque más robusto, modular y mantenible para el prompting de LLM en comparación con los métodos tradicionales.