Module: Gerd/rag_frontend.py by mouayadkarimeh · Pull Request #57 · caretech-owl/gerd

mouayadkarimeh · 2026-03-18T12:26:02Z

Overview

This PR introduces a new module rag_frontend.py, which provides a frontend interface for interacting with LLMs using a Retrieval-Augmented Generation (RAG) pipeline.

Features

LLM Interaction Interface – Enables users to submit queries and receive answers with relevant sources
RAG Integration – support RAG Concept, enhances response quality using external knowledge
difault-think-No-Think Mode Support – Adds /no_think parameter
**Model Switching:
- qwen2.5-0.5B-instruct
- qwen3-0.6B
- qwen3.5-0.8b
- qwen3.5-9b

Work in Progress

**reasining in qwen3.5 dosent work always proberly.

mouayadkarimeh

so much files mistakly lands on the same PR. trying to remove alle this but too much komplex . the main commit it the last one
create new module rag_frontend.py: b700c29 -2 hours ago

mouayadkarimeh

committed eliminated successfully. ready to review

costrau · 2026-03-26T14:11:36Z

+                minimum=1, maximum=10, step=1, value=3, label="Number of Sources"
+            )
+            strategy_dropdown = gr.Dropdown(
+                choices=["similarity", "mmr"],


I think there is another strategy in Faiss

…ce and update model handling in RAG frontend to synchronize the update of qa_service

…bility of the different models.

mouayadkarimeh · 2026-05-07T11:39:25Z

Aktueller Stand der Entwicklung

1. Lösung des LLM-Wechsel-Problems (qa_service.py): Das Problem beim Modellwechsel wurde durch die Funktion reinit_qa_service() in der qa_service.py gelöst. Sobald ein Modell gewechselt wird, wird der Dienst mit dem aktuellen qa_config-Objekt (welches die Konfigurationen für Modell, Prompts etc. enthält) neu initialisiert. In der rag_frontend.py (Ergebnis-Demonstrator) wird zudem der Thread-Zugriff überwacht und über einen MODEL_SWITCH_LOCK abgesichert.

2. Parameter-Steuerung in rag_frontend.pyI Steuerungselemente zur Manipulation zusätzlicher Parameter implementiert, insbesondere für die chunk_size (Segmentgröße) und den chunk_overlap (Überlappung der Segmente).

3. Visualisierung der Denkprozesse (Thoughts) In der rag_frontend.py wurde ein dediziertes Feld für „Thoughts“ hinzugefügt. Um eine bessere Übersicht zu gewährleisten. Die relevanten Quellen (Sources), der Denkprozess (Thoughts) und die finale Antwort (Final Answer)werden nun nebeneinander dargestellt.

4.. Integration von Qwen 3.5 und Reasoning-Problematik Aktuell wird untersucht, warum die Reasoning-Fähigkeiten (Denkprozesse) bei der Qwen3.5 -Serie unterschiedlich unterstützt werden:

-Hugging Face Dokumentation von qwen3.5: Laut Dokumentation arbeitet Qwen standardmäßig im „Non-Think“-Modus. Zudem Laut Huggingface Dokumentation wird kein Reasoning über Prompt-Präfixe unterstützt, sondern parameter_präfixe über ein spezifisches Parameter-Flag (enable_thinking).

-Architekturentscheidung: Für Qwen-Modelle kommt daher die Klasse remoteLLM aus der loader.py zum Einsatz, während Qwen3 weiterhin lokal über TransformerLLM laufen.

-Testumgebung (LM Studio): Obwohl das enable_thinking-Flag korrekt als API-Parameter übergeben wird und das „Think“-Flag in der Anfrage erscheint, bleibt das Problem bei der Version Qwen-0.8b bestehen. Bei der größeren Version Qwen-9b funktioniert das Reasoning hingegen einwandfrei.Erkenntnis: Das enable_thinking-Flag ist ein reiner API-/Server-Flag (für LM Studio, vLLM oder Ollama) und wird von der nativen Hugging Face transformers-Bibliothek nicht direkt als Modell-Parameter unterstützt.

-Prerequistes für den Entwicklungsmodus:Für den Remote-Modus (remoteLLM in loader.py) LM Studio soll installiert und das entsprechende Qwen-Modell (0.8b oder 9b) geladen sein. Hilfsfunktionen in der loader.py sorgen dafür, dass die Server-Antworten in der Python-Ausführung korrekt verarbeitet und visualisiert werden.

Beispiel:

costrau · 2026-05-15T10:21:07Z


-        model_kwargs = config.extra_kwargs or {}
+        model_kwargs = dict(config.extra_kwargs or {})
+        model_kwargs.pop("enable_thinking", None)


Why would you delete those entries? If you would left them here, these would trigger the Not Implemented error below instead of quietly being ignored...

costrau · 2026-05-15T10:30:40Z


-        import requests
+        For OpenAI-compatible endpoints, the request follows the OpenAI API format.
+        For llama.cpp endpoints, the request follows the llama.cpp server API format.


Have you tested both llama.cpp and other endpoints?

mouayadkarimeh

uv run ruff check gerd -> all passed

uv run mypy gerd -> Success: no issues found in 37 files

uv run poe test -> 1 Error: llama.cpp

uv run poe test_manuel -> 1 passed, 5 deselected, 1 warning

mouayadkarimeh

costrau · 2026-06-09T10:14:13Z

 from langchain_community.document_loaders import PyPDFLoader, TextLoader
 from langchain_text_splitters import RecursiveCharacterTextSplitter

+# from gerd.benchmark import make_prompt


Please remove comments like this

costrau · 2026-06-09T10:28:08Z

+        if "qwen3.5" in _CURRENT_MODEL.lower():
+            qa_config.model.endpoint = ModelEndpoint(
+                url="http://localhost:8000",
+                type="openai",
+                key=None,
+            )


Why would you manually override the config here?

costrau · 2026-06-09T10:35:28Z

+            qa_config.model.endpoint = None
+        qa_config.embedding.chunk_size = chunk_size
+        qa_config.embedding.chunk_overlap = chunk_overlap
+        TRANSPORTER.reinit_qa_service(qa_config)


Although you use the reinit_qa_service here, the parameters for the chunk_size and overlap are not set in the base class (just tested it). So recheck the implementation in QA_Service

mouayadkarimeh commented Mar 18, 2026

View reviewed changes

rag_frontend.py

4b5d952

mouayadkarimeh force-pushed the gerd/rag_frontend.py branch from b700c29 to 4b5d952 Compare March 19, 2026 17:16

mouayadkarimeh commented Mar 19, 2026

View reviewed changes

add /no_think parameter to frontends

8557f1b

costrau requested changes Mar 26, 2026

View reviewed changes

mouayadkarimeh and others added 4 commits April 14, 2026 14:08

feat: Implement reinitialization of QA service reinit reinit_qa_servi…

6da3218

…ce and update model handling in RAG frontend to synchronize the update of qa_service

Merge branch 'main' into gerd/rag_frontend.py

84ed357

feat: support switch between different models -working on reasining a…

6606249

…bility of the different models.

some linting work-add description for funktions and methodes

f4caea8

costrau reviewed May 15, 2026

View reviewed changes

Comment thread llama-cpp-python

costrau reviewed May 15, 2026

View reviewed changes

Comment thread gerd/frontends/qa_frontend.py

costrau reviewed May 15, 2026

View reviewed changes

Comment thread gerd/qa/qa_service.py Outdated

costrau reviewed May 15, 2026

View reviewed changes

Comment thread gerd/rag.py

costrau requested changes May 15, 2026

View reviewed changes

mouayadkarimeh added 3 commits May 15, 2026 17:49

Eliminate llama.cpp endpont- Noimplemetation error old_vectorestore.

3c411c6

mypy Test

6f390c7

linting/Testing Work

0839666

mouayadkarimeh commented May 22, 2026

View reviewed changes

Linting/Testing MockLLM

bdbbac8

mouayadkarimeh commented May 22, 2026

View reviewed changes

costrau reviewed Jun 9, 2026

View reviewed changes

Uh oh!

Conversation

mouayadkarimeh commented Mar 18, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Overview

Features

Work in Progress

Uh oh!

mouayadkarimeh left a comment

Choose a reason for hiding this comment

Uh oh!

mouayadkarimeh left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

costrau Mar 26, 2026

Choose a reason for hiding this comment

Uh oh!

Uh oh!

mouayadkarimeh commented May 7, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Aktueller Stand der Entwicklung

Uh oh!

Uh oh!

Uh oh!

Uh oh!

costrau May 15, 2026

Choose a reason for hiding this comment

Uh oh!

costrau May 15, 2026

Choose a reason for hiding this comment

Uh oh!

Uh oh!

mouayadkarimeh left a comment

Choose a reason for hiding this comment

Uh oh!

mouayadkarimeh left a comment

Choose a reason for hiding this comment

Uh oh!

costrau Jun 9, 2026

Choose a reason for hiding this comment

Uh oh!

costrau Jun 9, 2026

Choose a reason for hiding this comment

Uh oh!

costrau Jun 9, 2026

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants

mouayadkarimeh commented Mar 18, 2026 •

edited

Loading

mouayadkarimeh commented May 7, 2026 •

edited

Loading