QueryGPT

QueryGPT: NodeJS & OpenAI를 이용한 개인 맞춤형 Q&A 챗봇

QueryGPT란 무엇인가요?

QueryGPT는 NodeJS와 OpenAI의 GPT 모델로 구동되는 질의응답 챗봇을 만들 수 있는 오픈 소스 프로젝트입니다. 이를 통해 챗봇은 사용자가 제공하는 지식 기반에서 학습하여 사용자의 데이터와 OpenAI의 훈련 데이터를 기반으로 정확한 답변을 제공할 수 있습니다. 따라서 기술 문서, 과학 논문, 비즈니스 제품 데이터 등을 처리하는 데 이상적입니다.

QueryGPT는 어떻게 작동하나요?

QueryGPT는 임베딩 및 완료 모델을 활용하여 정확한 응답을 제공합니다. 다음은 프로세스 분석입니다.

1. 데이터 준비: 이 프로젝트는 텍스트 파일과 원활하게 작동하므로 JSON/JSONL 변환이 필요하지 않습니다. 최적의 임베딩을 위해 데이터를 더 작은 단락으로 분할합니다.
2. 임베딩: 텍스트 단락은 OpenAI의 임베딩 모델을 사용하여 숫자 벡터 표현으로 변환됩니다. 이러한 벡터는 텍스트의 의미론적 의미를 캡처합니다.
3. 질문 임베딩: 사용자 질문도 임베딩 벡터로 변환됩니다.
4. 유사성 검색: 시스템은 점 곱을 사용하여 질문의 임베딩 벡터와 지식 기반의 각 단락의 임베딩 벡터 간의 유사성을 계산합니다.
5. 컨텍스트 검색: 가장 높은 유사성 점수를 가진 단락(일반적으로 3-5개)이 질문에 답변하기 위한 컨텍스트로 선택됩니다.
6. 완료: 선택한 단락과 사용자 질문은 신중하게 작성된 프롬프트와 함께 OpenAI의 완료 모델(예: text-davinci-003)에 입력됩니다.
7. 응답 생성: 완료 모델은 제공된 컨텍스트와 기존 지식을 기반으로 답변을 생성합니다.

주요 기능 및 이점:

• 개인 맞춤형 지식 기반: 정확하고 관련성 높은 답변을 위해 특정 데이터에 대해 챗봇을 훈련합니다.
• Python 불필요: NodeJS로 구축되어 Python 지식이 필요하지 않습니다.
• 텍스트 파일 지원: 텍스트 파일을 직접 사용하여 데이터 입력을 간소화합니다.
• 임베딩 기반 정확도: 의미론적 이해와 정확한 컨텍스트 검색을 위해 임베딩을 활용합니다.
• 사용자 정의 가능한 프롬프트: 지식 기반의 답변을 우선시하거나 모델이 필요한 경우 자체 지식을 사용할 수 있도록 하는 프롬프트를 선택합니다.

QueryGPT 사용 방법

1. 필수 구성 요소:

   • NodeJS
   • 기본 Javascript 지식
   • OpenAI API 키

2. 설정:

   • NodeJS 프로젝트를 만듭니다: mkdir QueryGPT && cd QueryGPT && npm init -y
   • 종속성을 설치합니다: npm install @types/node dotenv openai
   • 필요한 폴더를 만듭니다: mkdir sourceData embeddedData utils
   • .env 파일을 만들고 OpenAI API 키를 추가합니다: OPENAI_API_KEY = YOUR_API_KEY

3. 구성:

   • OpenAI API를 구성하기 위해 utils/helper.js 파일을 만듭니다.

4. 임베딩 데이터:

   • 데이터를 작은 단락으로 분할하고 ./embeddedData/sourceData.txt에 저장하여 데이터를 준비합니다.
   • embedding.js 파일을 실행하여 임베딩을 생성합니다: node embedding.js

5. 응답 생성:

   • 질문과 함께 completion.js 파일을 실행합니다. node completion.js generateCompletion("경영대학 학장 대행은 누구입니까");

QueryGPT는 누구를 위한 것인가요?

QueryGPT는 다음에 적합합니다.

• 기업: 제품 문서 및 고객 지원을 위한 챗봇을 만듭니다.
• 연구원: 과학 논문 및 연구 데이터를 분석하기 위한 도구를 구축합니다.
• 교육자: 코스 자료를 기반으로 대화형 학습 리소스를 개발합니다.
• 자신의 데이터에서 학습하는 개인 맞춤형 AI 비서를 원하는 사람.

QueryGPT를 선택해야 하는 이유

• 데이터 제어: 챗봇에서 사용하는 지식 기반을 완전히 제어할 수 있습니다.
• 정확성: 임베딩은 의미론적 이해와 정확한 컨텍스트 검색을 보장합니다.
• 사용자 정의: 사용자 정의 가능한 프롬프트를 사용하여 특정 요구 사항에 맞게 챗봇을 조정합니다.
• 오픈 소스: 무료로 사용하고 수정할 수 있습니다.

QueryGPT는 AI 기반 Q&A 시스템을 구축하는 강력하고 유연한 방법을 제공합니다. NodeJS와 OpenAI의 기능을 결합하여 자체 데이터에서 정확하고 개인화된 답변을 제공하는 지능형 챗봇을 만들 수 있습니다.