Text Generation Web UI

Text Generation Web UI: 로컬 AI를 위한 최고의 웹 인터페이스

Text Generation Web UI란 무엇입니까?

Text Generation Web UI(일명 oobabooga/text-generation-webui)는 로컬에서 대규모 언어 모델(LLM)과 상호 작용하도록 설계된 사용자 친화적이고 기능이 풍부한 Gradio 웹 인터페이스입니다. 이 인터페이스는 개인 정보 보호 및 제어를 보장하면서 자신의 컴퓨터에서 AI 텍스트 생성 능력을 활용할 수 있는 포괄적인 도구 및 기능 세트를 제공합니다.

Text Generation Web UI는 어떻게 작동합니까?

이 웹 UI는 사용자와 다양한 로컬 텍스트 생성 백엔드 간의 다리 역할을 합니다. llama.cpp, Transformers, ExLlamaV3, ExLlamaV2 및 TensorRT-LLM과 같은 여러 백엔드를 지원합니다. UI를 통해 다음을 수행할 수 있습니다.

• 선호하는 백엔드 선택: 하드웨어 및 모델 요구 사항에 맞는 백엔드를 선택합니다.
• 모델 로드 및 관리: 애플리케이션을 다시 시작하지 않고도 다양한 LLM을 쉽게 로드하고 전환할 수 있습니다.
• 생성 매개변수 구성: 다양한 샘플링 매개변수 및 생성 옵션을 사용하여 텍스트 생성 프로세스를 미세 조정합니다.
• 모델과 상호 작용: 직관적인 채팅 인터페이스 또는 자유 형식 노트북 탭을 사용하여 모델과 상호 작용합니다.

Text Generation Web UI를 선택해야 하는 이유

• 개인 정보 보호: 모든 처리가 로컬에서 수행되므로 데이터가 비공개로 유지됩니다.
• 오프라인 기능: 인터넷 연결이 필요하지 않으므로 언제 어디서나 도구를 사용할 수 있습니다.
• 다재다능함: 여러 백엔드 및 모델 유형을 지원하여 유연성과 사용자 정의를 제공합니다.
• 확장성: 새로운 기능과 기능을 추가하기 위한 확장 지원을 제공합니다.
• 사용 용이성: 어둡고 밝은 테마, 구문 강조 표시 및 LaTeX 렌더링을 갖춘 사용자 친화적인 인터페이스입니다.

주요 기능:

• 다중 백엔드 지원: llama.cpp, Transformers, ExLlamaV3, ExLlamaV2 및 TensorRT-LLM과 원활하게 통합됩니다.
• 쉬운 설정: 설정이 필요 없는 Windows/Linux/macOS용 휴대용 빌드와 자가 포함 환경을 위한 원클릭 설치 프로그램을 제공합니다.
• 오프라인 및 비공개: 원격 측정, 외부 리소스 또는 원격 업데이트 요청 없이 100% 오프라인으로 작동합니다.
• 파일 첨부: 텍스트 파일, PDF 문서 및 .docx 파일을 업로드하여 AI와 콘텐츠에 대해 논의할 수 있습니다.
• 비전(다중 모드 모델): 시각적 이해를 위해 이미지를 메시지에 첨부하는 것을 지원합니다(튜토리얼).
• 웹 검색: 선택적으로 LLM 생성 쿼리로 인터넷을 검색하여 대화에 컨텍스트를 추가할 수 있습니다.
• 미적 UI: 어둡고 밝은 테마를 갖춘 깨끗하고 매력적인 사용자 인터페이스를 제공합니다.
• 구문 강조 표시 및 LaTeX 렌더링: 코드 블록에 대한 구문 강조 표시와 수학 표현식에 대한 LaTeX 렌더링을 제공합니다.
• 지시 및 채팅 모드: 지시 따르기를 위한 지시 모드와 사용자 지정 캐릭터와 상호 작용하기 위한 채팅 모드를 포함합니다.
• 자동 프롬프트 서식 지정: Jinja2 템플릿을 사용하여 자동 프롬프트 서식 지정을 수행합니다.
• 메시지 편집 및 대화 분기: 메시지 편집, 버전 간 탐색 및 대화 분기를 활성화합니다.
• 다중 샘플링 매개변수: 다양한 샘플링 매개변수 및 생성 옵션을 사용하여 텍스트 생성을 정교하게 제어할 수 있습니다.
• 모델 전환: 다시 시작하지 않고도 UI에서 다른 모델 간에 전환할 수 있습니다.
• 자동 GPU 레이어: NVIDIA GPU에서 GGUF 모델에 대한 GPU 레이어를 자동으로 구성합니다.
• 자유 형식 텍스트 생성: 채팅 턴 제한 없이 자유 형식 텍스트 생성을 위한 노트북 탭을 제공합니다.
• OpenAI 호환 API: 도구 호출 지원을 포함하여 채팅 및 완료 엔드포인트가 있는 OpenAI 호환 API를 포함합니다.
• 확장 지원: 수많은 내장 및 사용자 제공 확장을 지원합니다.

Text Generation Web UI를 설치하는 방법:

1. 휴대용 빌드(빠른 시작에 권장):
   • 릴리스 페이지에서 휴대용 빌드를 다운로드합니다.
   • 다운로드한 파일의 압축을 풉니다.
   • 실행 파일을 실행합니다.
2. venv를 사용한 수동 휴대용 설치:

   git clone https://github.com/oobabooga/text-generation-webui
   cd text-generation-webui
   python -m venv venv
   # On Windows:
   venv\Scripts\activate
   # On macOS/Linux:
   source venv/bin/activate
   pip install -r requirements/portable/requirements.txt --upgrade
   python server.py --portable --api --auto-launch
   deactivate
   

3. 원클릭 설치 프로그램(고급 사용자용):
   • 리포지토리를 복제하거나 소스 코드를 다운로드합니다.
   • OS용 시작 스크립트(start_windows.bat, start_linux.sh 또는 start_macos.sh)를 실행합니다.
   • 프롬프트가 표시되면 GPU 공급업체를 선택합니다.
   • 설치 후 브라우저에서 http://127.0.0.1:7860을 엽니다.

모델 다운로드:

모델은 text-generation-webui/user_data/models 폴더에 배치해야 합니다. GGUF 모델은 이 폴더에 직접 배치해야 하고 다른 모델 유형은 하위 폴더에 배치해야 합니다.

예:

text-generation-webui
└── user_data
    └── models
        └── llama-2-13b-chat.Q4_K_M.gguf

text-generation-webui
└── user_data
    └── models
        └── lmsys_vicuna-33b-v1.3
            ├── config.json
            ├── generation_config.json
            ├── pytorch_model-00001-of-00007.bin
            ...

UI를 사용하여 Hugging Face에서 모델을 자동으로 다운로드하거나 명령줄 도구를 사용할 수도 있습니다.

python download-model.py organization/model

python download-model.py --help를 실행하여 모든 옵션을 확인합니다.

Text Generation Web UI는 누구를 위한 것입니까?

Text Generation Web UI는 다음에 적합합니다.

• LLM으로 작업하는 연구원 및 개발자.
• 텍스트 생성을 실험하려는 AI 애호가.
• 개인 정보 보호를 우선시하고 로컬에서 LLM을 실행하려는 사용자.

유용한 리소스:

• 설명서
• Google Colab Notebook
• 커뮤니티 포럼

Text Generation Web UI는 로컬 AI 텍스트 생성의 기능을 탐색하기 위한 강력하고 다재다능한 플랫폼을 제공합니다. 사용 용이성, 광범위한 기능 및 개인 정보 보호에 대한 약속은 대규모 언어 모델을 자신의 조건에 따라 작업하는 데 관심이 있는 모든 사람에게 탁월한 선택입니다.