llm-answer-engine

LLM 답변 엔진: 나만의 AI 기반 질의응답 시스템 구축하기

이 오픈 소스 프로젝트인 llm-answer-engine는 Perplexity에서 영감을 받은 정교한 AI 답변 엔진을 구축하기 위한 코드와 지침을 제공합니다. Groq, Mistral AI의 Mixtral, Langchain.JS, Brave Search, Serper API, OpenAI와 같은 최첨단 기술을 활용하여 사용자 쿼리에 대한 포괄적인 답변을 제공하며, 출처, 이미지, 비디오 및 후속 질문을 포함합니다.

llm-answer-engine란 무엇입니까?

llm-answer-engine는 자연어 처리 및 검색 기술을 탐구하는 데 관심 있는 개발자를 위한 시작점입니다. 이를 통해 다음을 통해 질문에 효율적으로 답변하는 시스템을 만들 수 있습니다.

• 다양한 소스에서 관련 정보 검색
• 간결하고 유익한 답변 생성
• 지원 증거 및 관련 미디어 제공
• 추가 탐색을 안내하기 위한 후속 질문 제안

llm-answer-engine는 어떻게 작동합니까?

이 엔진은 다양한 기술 조합을 사용하여 사용자 쿼리를 처리하고 관련 응답을 생성합니다.

1. 쿼리 이해: Groq 및 Mixtral과 같은 기술은 사용자 질문을 처리하고 이해하는 데 사용됩니다.
2. 정보 검색:
   • Brave Search: 개인 정보 보호에 중점을 둔 검색 엔진은 관련 콘텐츠와 이미지를 찾는 데 사용됩니다.
   • Serper API: 사용자 쿼리를 기반으로 관련 비디오 및 이미지 결과를 가져오는 데 사용됩니다.
   • Cheerio: HTML 파싱에 활용되어 웹 페이지에서 콘텐츠를 추출할 수 있습니다.
3. 텍스트 처리:
   • Langchain.JS: 텍스트 분할 및 임베딩과 같은 텍스트 작업에 중점을 둔 JavaScript 라이브러리입니다.
   • OpenAI Embeddings: 텍스트 덩어리의 벡터 표현을 만드는 데 사용됩니다.
4. 선택적 구성 요소:
   • Ollama: 스트리밍 추론 및 임베딩에 사용됩니다.
   • Upstash Redis Rate Limiting: 애플리케이션에 대한 속도 제한을 설정하는 데 사용됩니다.
   • Upstash Semantic Cache: 더 빠른 응답 시간을 위해 데이터를 캐싱하는 데 사용됩니다.

주요 기능 및 기술:

• Next.js: 서버 측 렌더링 및 정적 웹 애플리케이션을 구축하기 위한 React 프레임워크로, 사용자 인터페이스에 대한 강력한 기반을 제공합니다.
• Tailwind CSS: 사용자 정의 사용자 인터페이스를 신속하게 구축하여 효율적인 스타일링 및 사용자 정의를 가능하게 하는 유틸리티 우선 CSS 프레임워크입니다.
• Vercel AI SDK: AI 기반 스트리밍 텍스트 및 채팅 UI를 구축하기 위한 라이브러리로, 실시간 피드백으로 사용자 경험을 향상시킵니다.
• Function Calling Support (베타): Maps & Locations (Serper Locations API), Shopping (Serper Shopping API), TradingView 주식 데이터 및 Spotify 통합으로 기능을 확장합니다.
• Ollama Support (부분적으로 지원): 텍스트 응답 및 임베딩 스트리밍을 위해 Ollama와 호환성을 제공하여 로컬 모델 실행을 허용합니다.

llm-answer-engine를 사용하는 방법?

llm-answer-engine를 시작하려면 다음 단계를 따르세요.

1. 필수 조건:
   • OpenAI, Groq, Brave Search 및 Serper에서 API 키를 얻습니다.
   • Node.js 및 npm(또는 bun)이 설치되어 있는지 확인합니다.
   • (선택 사항) 컨테이너화된 배포를 위해 Docker 및 Docker Compose를 설치합니다.
2. 설치:

   git clone https://github.com/developersdigest/llm-answer-engine.git
   cd llm-answer-engine
   

3. 구성:
   • Docker: docker-compose.yml 파일을 편집하고 API 키를 추가합니다.
   • Non-Docker: 프로젝트 루트에 .env 파일을 만들고 API 키를 추가합니다.
4. 서버 실행:
   • Docker:

     docker compose up -d
     

   • Non-Docker:

     npm install  # or bun install
     npm run dev  # or bun run dev
     

서버는 지정된 포트에서 수신 대기합니다.

llm-answer-engine를 선택하는 이유는 무엇입니까?

• Perplexity에서 영감을 받음: 최고의 AI 답변 엔진과 유사한 사용자 경험을 제공합니다.
• 강력한 기술 활용: NLP, 검색 및 웹 개발의 최고를 결합합니다.
• 오픈 소스 및 사용자 정의 가능: 특정 요구 사항에 맞게 엔진을 조정할 수 있습니다.
• Function Calling Support: Maps & Locations, Shopping, TradingView 주식 데이터 및 Spotify 통합으로 기능을 확장합니다.

llm-answer-engine는 누구를 위한 것입니까?

이 프로젝트는 다음에 이상적입니다.

• 자연어 처리 및 검색 기술에 관심 있는 개발자
• 질의응답 시스템을 탐구하는 연구원
• 자신만의 AI 기반 지식 베이스를 구축하려는 모든 사람

로드맵:

프로젝트 로드맵에는 다음과 같은 흥미로운 기능이 포함되어 있습니다.

• 문서 검색/검색을 위한 문서 업로드 + RAG
• 사용자가 UI에서 모델, 임베딩 모델 및 기타 매개변수를 선택할 수 있는 설정 구성 요소
• Ollama를 사용할 때 후속 질문에 대한 지원 추가

기여:

기여를 환영합니다! 리포지토리를 포크하고 변경 사항을 적용한 다음 풀 리퀘스트를 제출하세요.

이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여됩니다.

자신만의 AI 기반 답변 엔진을 구축하고 llm-answer-engine로 자연어 처리의 가능성을 탐색하세요!