Deep Research

Pesquisa Profunda: Um Assistente de Pesquisa Alimentado por IA

O que é Pesquisa Profunda? Pesquisa Profunda é um assistente de pesquisa de código aberto alimentado por IA, projetado para realizar pesquisas iterativas e profundas sobre qualquer tópico. Ele combina o poder dos motores de busca, web scraping e grandes modelos de linguagem (LLMs) para fornecer aos usuários uma compreensão abrangente do assunto escolhido.

Este projeto tem como objetivo oferecer a implementação mais simples de um agente de pesquisa profunda, permitindo que ele refine sua direção de pesquisa ao longo do tempo e se aprofunde em um tópico. O objetivo é manter uma base de código compacta, facilitando a compreensão e a construção.

Como funciona a Pesquisa Profunda?

A Pesquisa Profunda aproveita vários componentes principais para fornecer seus recursos de pesquisa:

• Motores de Busca: Utiliza motores de busca para coletar informações iniciais e identificar fontes relevantes.
• Web Scraping: Extrai conteúdo de páginas da web para coletar informações e dados detalhados.
• Grandes Modelos de Linguagem (LLMs): Emprega LLMs para gerar consultas de pesquisa direcionadas, processar resultados e identificar novas direções de pesquisa.

Principais Recursos da Pesquisa Profunda

• Pesquisa Iterativa: Realiza pesquisas aprofundadas, gerando iterativamente consultas de pesquisa, processando resultados e aprofundando com base nas descobertas.
• Geração Inteligente de Consultas: Usa LLMs para gerar consultas de pesquisa direcionadas com base nos objetivos da pesquisa e nas descobertas anteriores.
• Controle de Profundidade e Amplitude: Oferece parâmetros configuráveis para controlar o escopo (amplitude) e a profundidade da pesquisa.
• Acompanhamento Inteligente: Gera perguntas de acompanhamento para refinar as necessidades de pesquisa e descobrir novos insights.
• Relatórios Abrangentes: Produz relatórios detalhados em markdown com descobertas e fontes, fornecendo uma visão geral clara e organizada da pesquisa.
• Processamento Concorrente: Lida com várias pesquisas e processamento de resultados em paralelo para eficiência, reduzindo o tempo de pesquisa.

Como usar a Pesquisa Profunda?

Para começar com a Pesquisa Profunda, siga estas etapas:

1. Requisitos
   • Ambiente Node.js
   • Chaves de API para:
     • API Firecrawl (para pesquisa na web e extração de conteúdo)
     • API OpenAI (para modelo o3 mini)
2. Configuração
   • Clone o repositório: git clone [repository_url]
   • Instale as dependências: npm install
   • Configure as variáveis de ambiente em um arquivo .env.local:

     FIRECRAWL_KEY="your_firecrawl_key"
     # Se você quiser usar seu Firecrawl auto-hospedado, adicione o seguinte abaixo:
     # FIRECRAWL_BASE_URL="http://localhost:3002"
     
     OPENAI_KEY="your_openai_key"
     

   • Para usar o LLM local, comente OPENAI_KEY e, em vez disso, descomente OPENAI_ENDPOINT e OPENAI_MODEL:
     • Defina OPENAI_ENDPOINT para o endereço do seu servidor local (por exemplo, "http://localhost:1234/v1")
     • Defina OPENAI_MODEL para o nome do modelo carregado no seu servidor local.
3. Uso
   • Execute o assistente de pesquisa: npm start
   • Você será solicitado a:
     • Insira sua consulta de pesquisa
     • Especifique a amplitude da pesquisa (recomendado: 3-10, padrão: 4)
     • Especifique a profundidade da pesquisa (recomendado: 1-5, padrão: 2)
     • Responda às perguntas de acompanhamento para refinar a direção da pesquisa
   • O sistema então:
     • Gere e execute consultas de pesquisa
     • Processe e analise os resultados da pesquisa
     • Explore recursivamente mais profundamente com base nas descobertas
     • Gere um relatório markdown abrangente
   • O relatório final será salvo como report.md ou answer.md em seu diretório de trabalho, dependendo dos modos selecionados.

Concorrência

Se você tiver uma versão paga do Firecrawl ou uma versão local, aumente o ConcurrencyLimit definindo a variável de ambiente CONCURRENCY_LIMIT para melhorar a velocidade. Usuários gratuitos podem encontrar erros de limite de taxa e devem reduzir o limite para 1.

DeepSeek R1

A Pesquisa Profunda funciona bem com o modelo R1. Para usar o R1, defina uma chave de API Fireworks:

FIREWORKS_KEY="api_key"

O sistema mudará automaticamente para R1 em vez de o3-mini quando a chave for detectada.

Endpoints e Modelos Personalizados

Você também pode ajustar o endpoint (para outras APIs compatíveis com OpenAI, como OpenRouter ou Gemini), bem como a string do modelo usando estas variáveis de ambiente:

OPENAI_ENDPOINT="custom_endpoint"
CUSTOM_MODEL="custom_model"

Para quem é a Pesquisa Profunda?

A Pesquisa Profunda é adequada para:

• Pesquisadores que precisam coletar informações detalhadas sobre um tópico específico.
• Alunos que precisam conduzir pesquisas para projetos acadêmicos.
• Profissionais que precisam se manter atualizados sobre as tendências e desenvolvimentos do setor.
• Qualquer pessoa que queira explorar de forma rápida e eficiente um tópico em detalhes.

Por que escolher a Pesquisa Profunda?

• Simplifica a Pesquisa Complexa: Automatiza o processo de coleta e análise de informações, economizando tempo e esforço.
• Descobre Insights Ocultos: Explora um tópico em profundidade, descobrindo insights que podem ser perdidos com os métodos de pesquisa tradicionais.
• Fornece Relatórios Abrangentes: Gera relatórios detalhados que resumem as descobertas e fornecem uma visão geral clara da pesquisa.
• Personalizável e Flexível: Oferece parâmetros configuráveis para adaptar o processo de pesquisa às necessidades específicas.

Licença

A Pesquisa Profunda é lançada sob a Licença MIT, permitindo que os usuários usem e modifiquem livremente o código conforme necessário.

A Pesquisa Profunda agiliza a análise aprofundada de tópicos. Ao automatizar a pesquisa, o web scraping e aproveitar os LLMs para a geração inteligente de consultas, simplifica os processos de pesquisa complexos. Pesquisadores, estudantes e profissionais podem usar esta ferramenta para coletar rapidamente informações abrangentes, descobrir insights e gerar relatórios detalhados, tudo isso mantendo um formato claro e legível. O que diferencia a Pesquisa Profunda é sua capacidade de refinar iterativamente sua direção de pesquisa, aprofundando-se em um tópico a cada iteração.