Konkret verwenden wir einen technologischen Ansatz namens Retrieval Augmented Generation (RAG). Dieser ermöglicht es, Daten außerhalb eines Foundation Models wie GPT zu integrieren, indem die an das Foundation Model gesendeten Prompts um die firmen-spezifischen Daten erweitert werden. Um ein adaptives, RAG-basiertes Q&A-Tool zu implementieren, werden die folgenden vier Bausteine benötigt.

• Unternehmensspezifische Daten (PDFs, Confluence, Notion, Word-Dokumente, etc.)
• Vektor Datenbank
• Large Language Model
• Applikations-Framework

Wie die ersten drei Bausteine miteinander interagieren, ist in der Abbildung dargestellt.

Bei Formigas verwenden wir Notion als Werkzeug für kollaboratives Wissensmanagement. Dementsprechend haben wir für dieses Experiment unseren Notion Workspace als Datenbank verwendet. Dazu kann sowohl die Notion API als auch ein einfacher Notion-Export verwendet werden.

Liegen die Custom Data vor, können sie mit Hilfe eines Embedding-Models in Zahlen umgewandelt werden (Data Embedding). Warum ist das nötig? Computer können mit gespeicherten Zahlen wesentlich effizienter umgehen als mit gespeichertem Text. In unserem Experiment verwenden wir das Embedding-Model text-embedding-ada-002 von OpenAI und greifen über die OpenAI API darauf zu. Dieses Modell transformiert jeden Wissensblock unserer Custom Data in einen 1536-dimensionalen Vektor. Diese Sammlung von Vektoren repräsentiert nun unsere Custom Data in Form von Zahlen und wir schreiben sie in eine Vektor-Datenbank. Hierfür verwenden wir Pinecone, eine cloud-basierte Vektor-Datenbank. Pinecone ermöglicht es, schnelle Rechenoperationen auf den Vektoren durchzuführen, wie zum Beispiel das Similarity Matching.

Beim RAG-Ansatz werden alle Informationen in Embeddings umgewandelt, um performante Rechenoperationen auf den Daten ausführen zu können.

Um Prompt und Kontext einander zuordnen zu können, muss zunächst ein Prompt Embedding erzeugt werden, wofür das gleiche Embedding Model von OpenAI auf die User Prompt angewendet wird. Innerhalb der Vektordatenbank wird das Prompt Embedding gegen alle Data Embeddings über ein Similarity Matching anhand der berechneten Cosine Similarity getestet. Dabei wird das Data Embedding identifiziert, das dem Prompt Embedding semantisch am nächsten steht. Der Inhalt dieses Data Embeddings kann nun als Kontext zusammen mit der User Prompt als gemeinsame Completion Prompt an ein Completion Model gesendet werden, um die Frage innerhalb der Prompt zu beantworten. Als Completion Model wurde OpenAI’s gpt-3.5-turbo verwendet. Dieses Modell liefert die Antwort auf die vom Benutzer gestellte Frage und verfügt dafür über das notwendige Wissen in Form des richtigen Kontextes aus der Vektor-Datenbank. Um die RAG Technologie über das Deployment Nutzenden zur Verfügung zu stellen, verwenden wir Langchain als Framework. Langchain ist darauf spezialisiert LLM-basierte Applikationen zu bauen.

Unseren Eigenversuch haben wir auf formigas.ai online gestellt. Um die Cloud-Services von OpenAI und Pinecone anzubinden, haben wir Serverless-Functions verwendet.