Deep Research

Deep Research: Ein KI-gestützter Forschungsassistent

Was ist Deep Research? Deep Research ist ein Open-Source KI-gestützter Forschungsassistent, der entwickelt wurde, um iterative, tiefgehende Recherchen zu jedem Thema durchzuführen. Er kombiniert die Leistungsfähigkeit von Suchmaschinen, Web Scraping und großen Sprachmodellen (LLMs), um Nutzern ein umfassendes Verständnis ihres gewählten Themas zu vermitteln.

Dieses Projekt zielt darauf ab, die einfachste Implementierung eines Deep-Research-Agenten anzubieten, der es ermöglicht, die Forschungsrichtung im Laufe der Zeit zu verfeinern und tief in ein Thema einzutauchen. Ziel ist es, eine kompakte Codebasis beizubehalten, die leicht zu verstehen und auszubauen ist.

Wie funktioniert Deep Research?

Deep Research nutzt mehrere Schlüsselkomponenten, um seine Forschungsfähigkeiten zu liefern:

• Suchmaschinen: Nutzt Suchmaschinen, um erste Informationen zu sammeln und relevante Quellen zu identifizieren.
• Web Scraping: Extrahiert Inhalte von Webseiten, um detaillierte Informationen und Daten zu sammeln.
• Große Sprachmodelle (LLMs): Setzt LLMs ein, um gezielte Suchanfragen zu generieren, Ergebnisse zu verarbeiten und neue Forschungsrichtungen zu identifizieren.

Hauptmerkmale von Deep Research

• Iterative Forschung: Führt eingehende Recherchen durch, indem iterativ Suchanfragen generiert, Ergebnisse verarbeitet und basierend auf den Ergebnissen tiefer eingetaucht wird.
• Intelligente Anfragegenerierung: Verwendet LLMs, um gezielte Suchanfragen basierend auf Forschungszielen und früheren Ergebnissen zu generieren.
• Tiefen- und Breitenkontrolle: Bietet konfigurierbare Parameter zur Steuerung des Umfangs (Breite) und der Tiefe der Forschung.
• Intelligente Nachverfolgung: Generiert Folgefragen, um die Forschungsbedürfnisse zu verfeinern und neue Erkenntnisse zu gewinnen.
• Umfassende Berichte: Erstellt detaillierte Markdown-Berichte mit Ergebnissen und Quellen, die einen klaren und organisierten Überblick über die Forschung bieten.
• Gleichzeitige Verarbeitung: Verarbeitet mehrere Suchvorgänge und Ergebnisverarbeitungen parallel, um die Effizienz zu steigern und die Forschungszeit zu verkürzen.

Wie verwendet man Deep Research?

Um mit Deep Research zu beginnen, folgen Sie diesen Schritten:

1. Anforderungen
   • Node.js-Umgebung
   • API-Schlüssel für:
     • Firecrawl API (für Websuche und Content Extraction)
     • OpenAI API (für o3 mini Modell)
2. Einrichtung
   • Klonen Sie das Repository: git clone [repository_url]
   • Installieren Sie die Abhängigkeiten: npm install
   • Richten Sie Umgebungsvariablen in einer .env.local Datei ein:

     FIRECRAWL_KEY="your_firecrawl_key"
     # Wenn Sie Ihr selbst gehostetes Firecrawl verwenden möchten, fügen Sie Folgendes unten hinzu:
     # FIRECRAWL_BASE_URL="http://localhost:3002"
     
     OPENAI_KEY="your_openai_key"
     

   • Um lokales LLM zu verwenden, kommentieren Sie OPENAI_KEY aus und entfernen Sie stattdessen die Kommentare zu OPENAI_ENDPOINT und OPENAI_MODEL:
     • Setzen Sie OPENAI_ENDPOINT auf die Adresse Ihres lokalen Servers (z. B. "http://localhost:1234/v1")
     • Setzen Sie OPENAI_MODEL auf den Namen des Modells, das in Ihrem lokalen Server geladen ist.
3. Nutzung
   • Starten Sie den Forschungsassistenten: npm start
   • Sie werden aufgefordert:
     • Ihre Suchanfrage einzugeben
     • Die Forschungsbreite anzugeben (empfohlen: 3-10, Standard: 4)
     • Die Forschungstiefe anzugeben (empfohlen: 1-5, Standard: 2)
     • Folgefragen zu beantworten, um die Forschungsrichtung zu verfeinern
   • Das System wird dann:
     • Suchanfragen generieren und ausführen
     • Suchergebnisse verarbeiten und analysieren
     • Rekursiv tiefer basierend auf den Ergebnissen suchen
     • Einen umfassenden Markdown-Bericht generieren
   • Der endgültige Bericht wird als report.md oder answer.md in Ihrem Arbeitsverzeichnis gespeichert, abhängig von den ausgewählten Modi.

Gleichzeitigkeit

Wenn Sie eine kostenpflichtige Version von Firecrawl oder eine lokale Version haben, erhöhen Sie ConcurrencyLimit, indem Sie die Umgebungsvariable CONCURRENCY_LIMIT setzen, um die Geschwindigkeit zu verbessern. Kostenlose Benutzer können auf Ratenbegrenzungsfehler stoßen und sollten das Limit auf 1 reduzieren.

DeepSeek R1

Deep Research funktioniert gut mit dem R1-Modell. Um R1 zu verwenden, setzen Sie einen Fireworks API-Schlüssel:

FIREWORKS_KEY="api_key"

Das System wechselt automatisch zu R1 anstelle von o3-mini, wenn der Schlüssel erkannt wird.

Benutzerdefinierte Endpunkte und Modelle

Sie können auch den Endpunkt (für andere OpenAI-kompatible APIs wie OpenRouter oder Gemini) sowie die Modellzeichenfolge mithilfe dieser Umgebungsvariablen anpassen:

OPENAI_ENDPOINT="custom_endpoint"
CUSTOM_MODEL="custom_model"

Für wen ist Deep Research geeignet?

Deep Research ist geeignet für:

• Forscher, die detaillierte Informationen zu einem bestimmten Thema sammeln müssen.
• Studenten, die für akademische Projekte recherchieren müssen.
• Fachleute, die über Branchentrends und -entwicklungen auf dem Laufenden bleiben müssen.
• Jeder, der schnell und effizient ein Thema im Detail erkunden möchte.

Warum Deep Research wählen?

• Vereinfacht komplexe Forschung: Automatisiert den Prozess des Sammelns und Analysierens von Informationen und spart Zeit und Aufwand.
• Enthüllt verborgene Einblicke: Erkundet ein Thema eingehend und deckt Einblicke auf, die mit traditionellen Forschungsmethoden möglicherweise übersehen würden.
• Bietet umfassende Berichte: Erstellt detaillierte Berichte, die die Ergebnisse zusammenfassen und einen klaren Überblick über die Forschung geben.
• Anpassbar und flexibel: Bietet konfigurierbare Parameter, um den Forschungsprozess an spezifische Bedürfnisse anzupassen.

Lizenz

Deep Research wird unter der MIT-Lizenz veröffentlicht, die es Benutzern ermöglicht, den Code frei zu verwenden und zu ändern.

Deep Research optimiert die eingehende Themenanalyse. Durch die Automatisierung von Suche, Web Scraping und die Nutzung von LLMs für die intelligente Abfragegenerierung vereinfacht es komplexe Forschungsprozesse. Forscher, Studenten und Fachleute können dieses Tool verwenden, um schnell umfassende Informationen zu sammeln, Einblicke zu gewinnen und detaillierte Berichte zu erstellen, und das alles unter Beibehaltung eines klaren, lesbaren Formats. Was Deep Research auszeichnet, ist seine Fähigkeit, seine Forschungsrichtung iterativ zu verfeinern und mit jeder Iteration tiefer in ein Thema einzutauchen.