LMQL

Qu'est-ce que LMQL ?

LMQL (Language Model Query Language) est un langage de programmation conçu pour interagir avec les grands modèles de langage (LLM). Développé par le SRI Lab à l'ETH Zurich et ses contributeurs, LMQL permet aux développeurs de construire des prompts LLM robustes et modulaires en utilisant des types, des modèles, des contraintes et un runtime d'optimisation. Il apporte essentiellement des paradigmes de programmation procédurale au monde des LLM, rendant l'ingénierie des prompts plus structurée et gérable.

Comment fonctionne LMQL ?

LMQL permet aux développeurs de définir des requêtes qui guident la sortie du LLM. Voici une ventilation des concepts clés :

• Modèles (Templates): LMQL utilise des modèles pour structurer les prompts. Ces modèles peuvent inclure des variables que le LLM remplira.
• Contraintes: Les développeurs peuvent imposer des contraintes sur la sortie générée en utilisant des clauses where. Ces contraintes peuvent être basées sur la longueur, des motifs spécifiques ou même des fonctions Python personnalisées.
• Types: LMQL prend en charge les variables typées, garantissant que la sortie du LLM respecte un format spécifique, tel que des entiers ou des chaînes de caractères.
• Requêtes imbriquées: Avec l'introduction des requêtes imbriquées, LMQL permet des instructions locales modularisées et la réutilisation des composants de prompt. Cette fonctionnalité facilite la gestion des prompts complexes et la création de modules de prompt réutilisables.

L'idée centrale est de traiter les LLM comme des composants programmables, offrant une approche structurée de l'ingénierie des prompts qui améliore la fiabilité et la maintenabilité. LMQL prend également en charge plusieurs backends, notamment llama.cpp, OpenAI et Transformers, offrant une flexibilité dans le choix du fournisseur de LLM.

Principales caractéristiques de LMQL

• Prompting robuste: LMQL aide à créer des prompts moins sujets aux erreurs et plus fiables pour produire la sortie souhaitée.
• Prompting modulaire: La possibilité de créer des composants de prompt réutilisables et des requêtes imbriquées favorise la modularité et la maintenabilité.
• Génération basée sur des contraintes: Les contraintes garantissent que la sortie du LLM répond à des exigences spécifiques, telles que la longueur ou le format.
• Prise en charge multi-backends: LMQL peut être utilisé avec différents fournisseurs de LLM, garantissant la portabilité et la flexibilité.
• Intégration Python: Les requêtes LMQL peuvent être définies et exécutées directement depuis Python, ce qui facilite l'intégration avec les bases de code Python existantes.
• Sécurité des types: Les variables typées garantissent le format de sortie, réduisant ainsi le besoin de post-traitement et de validation.

Comment utiliser LMQL ?

L'utilisation de LMQL implique la définition de requêtes en tant que fonctions Python décorées avec @lmql.query. Au sein de ces requêtes, vous pouvez définir des prompts, des variables et des contraintes. Voici un exemple simple tiré du texte original :

@lmql.query
def meaning_of_life():
    '''lmql
    "Q: What is the answer to life, the \
     universe and everything?"

    "A: [ANSWER]" where \
        len(ANSWER) < 120 and STOPS_AT(ANSWER, ".")

    print("LLM returned", ANSWER)
    return ANSWER
    '''

meaning_of_life() # The program returns the meaning of life.

Cet exemple montre comment définir un prompt, utiliser une variable (ANSWER) pour capturer la sortie du LLM, et appliquer des contraintes pour garantir que la réponse contient moins de 120 caractères et se termine par un point.

À qui s'adresse LMQL ?

LMQL est particulièrement utile pour :

• Les développeurs travaillant avec des LLM: Qui ont besoin d'un moyen structuré de créer et de gérer des prompts.
• Les chercheurs: Qui souhaitent expérimenter différentes techniques et contraintes de prompting.
• Les équipes: Qui doivent assurer la cohérence et la fiabilité de leurs applications basées sur des LLM.

Cas d'utilisation de LMQL

• Chatbots: LMQL peut être utilisé pour créer des réponses de chatbot plus fiables et contextuelles.
• Extraction de données: Les contraintes peuvent être utilisées pour garantir que les données extraites respectent un format spécifique.
• Génération de contenu: LMQL peut être utilisé pour générer du contenu qui répond à des exigences spécifiques, telles que la longueur et le style.
• Augmentation d'outils: Utilisé pour créer une meilleure sortie pour l'outil.

LMQL vs Prompting traditionnel

En résumé, LMQL offre une approche plus robuste, modulaire et maintenable du prompting LLM par rapport aux méthodes traditionnelles.