LMQL

O que é LMQL?

LMQL (Language Model Query Language) é uma linguagem de programação projetada para interagir com Large Language Models (LLMs). Desenvolvida pelo SRI Lab na ETH Zurich e colaboradores, a LMQL permite que desenvolvedores construam prompts LLM robustos e modulares usando tipos, templates, restrições e um tempo de execução de otimização. Essencialmente, ela traz paradigmas de programação procedural para o mundo dos LLMs, tornando a engenharia de prompts mais estruturada e gerenciável.

Como funciona o LMQL?

A LMQL permite que desenvolvedores definam queries que guiam a saída do LLM. Aqui está uma análise dos principais conceitos:

• Templates: A LMQL usa templates para estruturar os prompts. Esses templates podem incluir variáveis que o LLM preencherá.
• Restrições: Os desenvolvedores podem impor restrições na saída gerada usando cláusulas where. Essas restrições podem ser baseadas em comprimento, padrões específicos ou até mesmo funções Python personalizadas.
• Tipos: A LMQL suporta variáveis tipadas, garantindo que a saída do LLM adere a um formato específico, como inteiros ou strings.
• Queries Aninhadas: Com a introdução de queries aninhadas, a LMQL permite instruções locais modularizadas e a reutilização de componentes de prompt. Este recurso facilita o gerenciamento de prompts complexos e a criação de módulos de prompt reutilizáveis.

A ideia central é tratar os LLMs como componentes programáveis, oferecendo uma abordagem estruturada para a engenharia de prompts que aumenta a confiabilidade e a capacidade de manutenção. A LMQL também suporta múltiplos backends, incluindo llama.cpp, OpenAI e Transformers, permitindo flexibilidade na escolha do provedor de LLM.

Principais Recursos do LMQL

• Prompting Robusto: A LMQL ajuda na criação de prompts que são menos propensos a erros e mais confiáveis na produção da saída desejada.
• Prompting Modular: A capacidade de criar componentes de prompt reutilizáveis e queries aninhadas promove a modularidade e a capacidade de manutenção.
• Geração Baseada em Restrições: As restrições garantem que a saída do LLM atenda a requisitos específicos, como comprimento ou formato.
• Suporte Multi-Backend: A LMQL pode ser usada com diferentes provedores de LLM, garantindo portabilidade e flexibilidade.
• Integração com Python: As queries LMQL podem ser definidas e executadas diretamente do Python, facilitando a integração com bases de código Python existentes.
• Segurança de Tipo: Variáveis tipadas garantem o formato de saída, reduzindo a necessidade de pós-processamento e validação.

Como usar o LMQL?

Usar a LMQL envolve definir queries como funções Python decoradas com @lmql.query. Dentro dessas queries, você pode definir prompts, variáveis e restrições. Aqui está um exemplo simples do texto original:

@lmql.query
def meaning_of_life():
    '''lmql
    "Q: What is the answer to life, the \
     universe and everything?"

    "A: [ANSWER]" where \
        len(ANSWER) < 120 and STOPS_AT(ANSWER, ".")

    print("LLM returned", ANSWER)
    return ANSWER
    '''

meaning_of_life() # The program returns the meaning of life.

Este exemplo demonstra como definir um prompt, usar uma variável (ANSWER) para capturar a saída do LLM e aplicar restrições para garantir que a resposta tenha menos de 120 caracteres e termine com um ponto.

Para quem é o LMQL?

O LMQL é particularmente útil para:

• Desenvolvedores que trabalham com LLMs: Que precisam de uma maneira estruturada de criar e gerenciar prompts.
• Pesquisadores: Que desejam experimentar diferentes técnicas de prompting e restrições.
• Equipes: Que precisam garantir consistência e confiabilidade em seus aplicativos alimentados por LLMs.

Casos de Uso do LMQL

• Chatbots: A LMQL pode ser usada para criar respostas de chatbot mais confiáveis e conscientes do contexto.
• Extração de Dados: As restrições podem ser usadas para garantir que os dados extraídos aderem a um formato específico.
• Geração de Conteúdo: A LMQL pode ser usada para gerar conteúdo que atenda a requisitos específicos, como comprimento e estilo.
• Aumento de Ferramentas: Usado para criar uma melhor saída para a ferramenta.

LMQL vs Prompting Tradicional

Em resumo, o LMQL oferece uma abordagem mais robusta, modular e de fácil manutenção para o prompting LLM em comparação com os métodos tradicionais.