LMQL

LMQL이란 무엇인가?

LMQL(Language Model Query Language)은 대규모 언어 모델(LLM)과 상호 작용하도록 설계된 프로그래밍 언어입니다. ETH Zurich의 SRI Lab과 기여자들이 개발한 LMQL을 통해 개발자는 유형, 템플릿, 제약 조건 및 최적화 런타임을 사용하여 강력하고 모듈화된 LLM 프롬프트를 구성할 수 있습니다. 본질적으로 절차적 프로그래밍 패러다임을 LLM 세계로 가져와 프롬프트 엔지니어링을 더욱 구조화되고 관리하기 쉽게 만듭니다.

LMQL은 어떻게 작동하는가?

LMQL을 통해 개발자는 LLM의 출력을 안내하는 쿼리를 정의할 수 있습니다. 주요 개념에 대한 분석은 다음과 같습니다.

• 템플릿: LMQL은 템플릿을 사용하여 프롬프트를 구조화합니다. 이러한 템플릿에는 LLM이 채울 변수가 포함될 수 있습니다.
• 제약 조건: 개발자는 where 절을 사용하여 생성된 출력에 제약 조건을 부과할 수 있습니다. 이러한 제약 조건은 길이, 특정 패턴 또는 사용자 지정 Python 함수를 기반으로 할 수 있습니다.
• 유형: LMQL은 유형화된 변수를 지원하여 LLM의 출력이 정수 또는 문자열과 같은 특정 형식을 준수하는지 확인합니다.
• 중첩 쿼리: 중첩 쿼리의 도입으로 LMQL은 모듈화된 로컬 명령과 프롬프트 구성 요소의 재사용을 가능하게 합니다. 이 기능을 통해 복잡한 프롬프트를 관리하고 재사용 가능한 프롬프트 모듈을 더 쉽게 만들 수 있습니다.

핵심 아이디어는 LLM을 프로그래밍 가능한 구성 요소로 취급하여 신뢰성과 유지 관리성을 향상시키는 구조화된 프롬프트 엔지니어링 접근 방식을 제공하는 것입니다. LMQL은 또한 llama.cpp, OpenAI 및 Transformers를 포함한 여러 백엔드를 지원하여 LLM 제공업체를 선택할 때 유연성을 제공합니다.

LMQL의 주요 기능

• 강력한 프롬프트: LMQL은 오류가 덜 발생하고 원하는 출력을 생성하는 데 더 안정적인 프롬프트를 만드는 데 도움이 됩니다.
• 모듈식 프롬프트: 재사용 가능한 프롬프트 구성 요소와 중첩 쿼리를 만드는 기능은 모듈성과 유지 관리성을 촉진합니다.
• 제약 조건 기반 생성: 제약 조건은 LLM의 출력이 길이 또는 형식과 같은 특정 요구 사항을 충족하는지 확인합니다.
• 다중 백엔드 지원: LMQL은 다양한 LLM 제공업체와 함께 사용할 수 있으므로 이식성과 유연성이 보장됩니다.
• Python 통합: LMQL 쿼리는 Python에서 직접 정의하고 실행할 수 있으므로 기존 Python 코드베이스와 쉽게 통합할 수 있습니다.
• 유형 안전성: 유형화된 변수는 출력 형식을 보장하여 후처리 및 유효성 검사의 필요성을 줄입니다.

LMQL 사용 방법

LMQL을 사용하는 방법은 @lmql.query로 데코레이팅된 Python 함수로 쿼리를 정의하는 것입니다. 이러한 쿼리 내에서 프롬프트, 변수 및 제약 조건을 정의할 수 있습니다. 다음은 원본 텍스트의 간단한 예입니다.

@lmql.query
def meaning_of_life():
    '''lmql
    "Q: What is the answer to life, the     universe and everything?"

    "A: [ANSWER]" where         len(ANSWER) < 120 and STOPS_AT(ANSWER, ".")

    print("LLM returned", ANSWER)
    return ANSWER
    '''

meaning_of_life() # The program returns the meaning of life.

이 예에서는 프롬프트를 정의하고, 변수(ANSWER)를 사용하여 LLM의 출력을 캡처하고, 답변이 120자 미만이고 마침표로 끝나도록 제약 조건을 적용하는 방법을 보여줍니다.

LMQL은 누구를 위한 것인가?

LMQL은 특히 다음과 같은 경우에 유용합니다.

• LLM을 사용하는 개발자: 프롬프트를 만들고 관리하는 구조화된 방법이 필요한 사람.
• 연구원: 다양한 프롬프트 기술과 제약 조건을 실험하려는 사람.
• 팀: LLM 기반 애플리케이션에서 일관성과 신뢰성을 보장해야 하는 사람.

LMQL의 사용 사례

• 챗봇: LMQL을 사용하여 더 안정적이고 상황을 인식하는 챗봇 응답을 만들 수 있습니다.
• 데이터 추출: 제약 조건을 사용하여 추출된 데이터가 특정 형식을 준수하는지 확인할 수 있습니다.
• 콘텐츠 생성: LMQL을 사용하여 길이와 스타일과 같은 특정 요구 사항을 충족하는 콘텐츠를 생성할 수 있습니다.
• 도구 증강: 도구에 더 나은 출력을 생성하는 데 사용됩니다.

LMQL vs 기존 프롬프트

요약하면 LMQL은 기존 방법에 비해 LLM 프롬프트에 대한 더 강력하고 모듈화되고 유지 관리하기 쉬운 접근 방식을 제공합니다.