Prüfbare Antworten in festem Rahmen
Forschungsfrage
Macht ein strukturierter Schritt vor der Suche (Retrieval) Antworten über die Systeme eines Unternehmens vollständiger, richtiger und effizienter?
Warum es schwer ist
Eine Frage wie „Welche offenen Aufträge über 10 kW gibt es, je Kunde?“ braucht jedes Element, genau einmal, in der richtigen Einheit und aktuell. Suche findet Textstellen, keine vollständigen Mengen, und Sprachmodelle zählen unzuverlässig. Zudem wird die Suche schwächer, je größer der Index wird.
Hypothesen
Wir prüfen, ob der kombinierte Weg:
- H1Fragen über Mengen vollständiger und richtiger beantwortet;
- H2Kosten und Zeit je brauchbarer Antwort senkt;
- H3seinen Vorsprung hält, wenn Quellen und Daten wachsen;
- H4bei anderen Fragen nicht schlechter abschneidet (Nicht-Unterlegenheit).
Was wir messen
Anteil brauchbarer Ergebnisse innerhalb des Budgets, Richtigkeit, Vollständigkeit (Element-F1, exakte Zählungen), richtige Zahlen und Einheiten, Kosten und Zeit je brauchbarer Antwort, Nachvollziehbarkeit sowie Skalierung, wenn Quellen und Daten wachsen.
Stützt sich auf
- Datenqualität und Vertrauen
- Verteilte Synchronisation
- Entitätsauflösung und typisierte Werte
- Quasi-deterministische Agenten und Evaluation
Studien R1 bis R5, R7, R8.
Zum Weiterlesen
- Wong, R.; Wang, J. et al. (2025): WideSearch: Benchmarking Agentic Broad Info-Seeking. Preprint, arXiv 2508.07999.
- Ravnik, J. et al. (2026): FinSheet-Bench. Preprint, arXiv 2603.07316.
- Reimers, N.; Gurevych, I. (2021): The Curse of Dense Low-Dimensional Information Retrieval for Large Index Sizes. ACL-IJCNLP 2021.
- Gao, L. et al. (2023): PAL: Program-aided Language Models. ICML 2023.




