OpenDeepResearcher

OpenDeepResearcher: Ein KI-gestütztes Tool für eingehende Recherchen

OpenDeepResearcher ist ein Open-Source-Notebook, das als KI-Forscher fungiert. Es sucht kontinuierlich nach Informationen basierend auf der Anfrage eines Benutzers, bis es alle notwendigen Details gesammelt hat. Durch die Nutzung von Diensten wie SERPAPI, Jina und OpenRouter automatisiert es den Rechercheprozess und liefert umfassende Berichte zu verschiedenen Themen. Dieses Tool wurde entwickelt, um die Recherche zu rationalisieren und sie effizienter und gründlicher zu gestalten.

Was ist OpenDeepResearcher?

OpenDeepResearcher ist ein Jupyter-Notebook, das einen KI-Forscher implementiert. Es wurde entwickelt, um automatisch Informationen zu einem bestimmten Thema mithilfe einer Kombination aus Suchmaschinen, Web Content Extraction und großen Sprachmodellen (LLMs) zu sammeln.

Wie funktioniert OpenDeepResearcher?

Das Tool arbeitet über eine iterative Forschungsschleife, die Suchanfragen verfeinert und Informationen asynchron verarbeitet. Hier ist eine Aufschlüsselung des Workflows:

1. Eingabe & Anfrageerstellung: Der Benutzer gibt ein Forschungsthema ein, und das LLM generiert bis zu vier verschiedene Suchanfragen.
2. Gleichzeitige Suche & Verarbeitung:
   • SERPAPI: Jede Suchanfrage wird gleichzeitig an SERPAPI gesendet.
   • Deduplizierung: Alle abgerufenen Links werden aggregiert und innerhalb der aktuellen Iteration dedupliziert.
   • Jina & LLM: Jeder eindeutige Link wird gleichzeitig verarbeitet, um Webseiteninhalte über Jina abzurufen, seine Nützlichkeit mit dem LLM zu bewerten und relevante Informationen zu extrahieren, wenn die Seite als nützlich erachtet wird.
3. Iterative Verfeinerung: Das System übergibt den aggregierten Kontext an das LLM, um festzustellen, ob weitere Suchanfragen erforderlich sind. Bei Bedarf werden neue Abfragen generiert; andernfalls wird die Schleife beendet.
4. Erstellung des Abschlussberichts: Der gesamte gesammelte Kontext wird zusammengestellt und an das LLM gesendet, um einen endgültigen, umfassenden Bericht zu erstellen, der die ursprüngliche Abfrage beantwortet.

Hauptmerkmale:

• Iterative Forschungsschleife: Das System verfeinert die Suchanfragen iterativ, bis keine weiteren Abfragen erforderlich sind.
• Asynchrone Verarbeitung: Suchvorgänge, das Abrufen von Webseiten, die Bewertung und die Kontext Extraktion werden gleichzeitig durchgeführt, um die Geschwindigkeit zu verbessern.
• Doppelte Filterung: Aggregiert und dedupliziert Links innerhalb jeder Runde, um sicherzustellen, dass derselbe Link nicht zweimal verarbeitet wird.
• LLM-gestützte Entscheidungsfindung: Nutzt das LLM, um neue Suchanfragen zu generieren, über die Nützlichkeit von Seiten zu entscheiden, relevante Kontexte zu extrahieren und einen umfassenden Abschlussbericht zu erstellen.
• Gradio-Schnittstelle: Bietet eine funktionale Benutzeroberfläche über das Notebook open-deep-researcher - gradio.

Wie verwende ich OpenDeepResearcher?

1. Einrichtung:
   • Klonen oder öffnen Sie das Notebook in Google Colab.
   • Installieren Sie die Bibliothek nest_asyncio.
   • Konfigurieren Sie API-Schlüssel für OpenRouter, SERPAPI und Jina.
2. Verwendung:
   • Führen Sie die Notebook-Zellen der Reihe nach aus.
   • Geben Sie eine Rechercheanfrage/-thema an.
   • Geben Sie optional eine maximale Anzahl von Iterationen an.
3. Verfolgen Sie den Forschungsprozess: Das Notebook generiert anfängliche Suchanfragen, führt asynchrone Suchvorgänge durch und verfeinert die Suche iterativ, bis ein Abschlussbericht erstellt wird.
4. Zeigen Sie den Abschlussbericht an: Der umfassende Bericht wird in der Ausgabe ausgegeben.

Warum OpenDeepResearcher wählen?

OpenDeepResearcher bietet einen einzigartigen Ansatz für die automatisierte Forschung, indem es die Leistung von Suchmaschinen, Web Content Extraction und LLMs kombiniert. Es ist besonders nützlich für:

• Forscher, die schnell und effizient Informationen sammeln müssen.
• Analysten, die große Datenmengen analysieren müssen.
• Jeder, der mehr über ein bestimmtes Thema erfahren möchte.

Für wen ist OpenDeepResearcher gedacht?

Dieses Tool ist ideal für:

• Forscher
• Datenanalysten
• Studenten
• Jeder, der eingehende Recherchen zu einem Thema durchführen muss.

Anforderungen

Um OpenDeepResearcher nutzen zu können, benötigen Sie API-Zugriff und Schlüssel für die folgenden Dienste:

• OpenRouter API
• SERPAPI API
• Jina API

Fehlerbehebung

• RuntimeError mit asyncio: Stellen Sie sicher, dass Sie nest_asyncio wie im Einrichtungsabschnitt gezeigt angewendet haben.
• API-Probleme: Stellen Sie sicher, dass Ihre API-Schlüssel korrekt sind und dass Sie keine Ratenbeschränkungen überschreiten.

OpenDeepResearcher wird unter der MIT-Lizenz veröffentlicht. Weitere Informationen finden Sie in der LICENSE-Datei.

Durch die Nutzung der Leistungsfähigkeit von KI und Automatisierung macht OpenDeepResearcher den Forschungsprozess effizienter und umfassender. Es ist ein wertvolles Werkzeug für alle, die detaillierte Informationen zu einer Vielzahl von Themen sammeln möchten.