Zum Inhalt springen

Forschung

ML Evaluation Engineer (m/w/d)

Exakt und nachvollziehbar ist unser Versprechen. Du baust die Evaluationen, die zeigen, ob wir es halten, für jedes Modell und jeden Anwendungsfall.

Alle Rollen
Offen · Start ab Q4 2027
Team
Forschung
Anstellung
Vollzeit
Ort
München · hybrid
Start
ab Q4 2027
Sprachen
Deutsch und Englisch

Was du machst

  • Evaluations-Datensätze aus echten Anwendungsfällen aufbauen und pflegen
  • Metriken für Richtigkeit, Quellentreue, Rechte und Kosten entwickeln
  • Automatische Evaluationen in die Entwicklung einbauen, für jede Änderung
  • Modelle verschiedener Anbieter vergleichen und Empfehlungen ableiten
  • Fehlerbilder analysieren und mit Engineering beheben

Was du mitbringst

  • Du denkst in Messungen: Du sagst offen, was eine Zahl nicht zeigt, und änderst deine Meinung, wenn die Daten es verlangen
  • Abschluss in Informatik, Statistik, Mathematik oder einem verwandten Fach
  • Erfahrung mit der Evaluation von ML- oder LLM-Systemen
  • Sehr gutes Python und sichere Statistik-Grundlagen
  • Kritischer Blick auf Benchmarks und Messfehler
  • Du arbeitest selbstverständlich mit KI-Werkzeugen

Pluspunkte

  • Erfahrung mit LLM-as-a-Judge, menschlicher Annotation oder Retrieval-Metriken
  • Veröffentlichungen oder eine Abschlussarbeit zum Thema Evaluation

Bewerbungsprozess

So stellen wir für diese Rolle ein

Sechs Schritte. In Schritt 4 und 5 zeigst du, wie du arbeitest: mit KI und in der Praxis deiner Rolle.

  1. Schritt 1Online-Formular

    Bewerbung

    Ein Link zu LinkedIn oder deinem Lebenslauf und ein paar Sätze, warum demi. Kein Upload, kein langes Anschreiben.

    Darauf achten wir

    • Was du gebaut, verkauft oder bewegt hast
    • Warum diese Rolle, warum jetzt
  2. Schritt 2Remote · mit einem GründerDein Zeitaufwand: 45 Min.

    Personal-Fit-Interview

    Ein Gespräch mit einem der Gründer. Beide Seiten lernen sich kennen: dein Hintergrund, unsere Mission, wie wir arbeiten.

    Darauf achten wir

    • Neugier und Antrieb
    • Eigenverantwortung
    • Passt unsere Arbeitsweise zu dir?
  3. Schritt 3Remote oder vor Ort

    Fachinterview

    Wir gehen in die Tiefe: dein Fachwissen, deine Erfahrung und wie du Probleme strukturierst und Entscheidungen begründest.

    Darauf achten wir

    • Fachliche Tiefe
    • Klare Kommunikation
    • Saubere Begründungen
  4. Schritt 4Aufgabe und Live-VorstellungFür jede Rolle

    KI-Challenge

    Du automatisierst eine echte Arbeitsaufgabe mit den aktuellen KI-Werkzeugen deiner Wahl und zeigst uns, wie du vorgegangen bist. Im Vertrieb genauso wie im Engineering.

    • Automatisieren

      Du baust einen Ablauf, der die Arbeit wiederholbar erledigt: mit Agenten, Skripten oder Workflows.

    • Neueste Werkzeuge

      Du nutzt aktuelle Modelle und Agenten-Tools und weißt, welches wofür taugt.

    • Linux und Terminal

      Du bewegst dich sicher in der Shell: Dateien, Skripte, Umgebungen, Automatisierung.

    • Selbstständig

      Du kommst allein voran: recherchieren, ausprobieren, prüfen und gezielt nachfragen.

    • Prüfen

      Du zeigst, wie du KI-Ergebnisse kontrollierst, bevor du ihnen vertraust.

  5. Schritt 5Live und als Aufgabe

    Rollen-Challenge

    Forschung: Wissenschaftlich denken, praktisch liefern.

    1. APaper-Gespräch

      Wir diskutieren ein aktuelles Paper aus deinem Gebiet: was hält, was nicht, was wir daraus bauen würden.

    2. BEvaluations-Case

      Du entwirfst, wie man die Antworten eines Agenten misst: Datensatz, Metriken, Fehlerbilder.

    3. CPrototyp mit KI

      Du setzt eine Idee mit KI-Werkzeugen als kleinen Prototyp um und prüfst das Ergebnis kritisch.

    Deine Aufgabe

    Ist die Antwort wirklich richtig?

    Du entwirfst für zwanzig Agenten-Antworten ein Bewertungsschema, setzt es mit KI um und zeigst, wo die automatische Bewertung vom menschlichen Urteil abweicht.

    Darauf achten wir

    • Handwerk
    • Tempo mit Qualität
    • Urteilsvermögen
  6. Schritt 6Vor Ort · München

    Vor Ort in München und Angebot

    Du besuchst uns im Münchner Technologiezentrum, triffst die Gründer und dein künftiges Team. Wenn es für alle passt, machen wir dir ein Angebot mit attraktivem Vergütungspaket.

    Darauf achten wir

    • Team und Büro kennenlernen
    • Offene Fragen klären
    • Dein Angebot

Was wir bieten

  • Tools und Tokens

    Die besten KI-Werkzeuge und die Tokens dazu. Ein neues Modell ausprobieren braucht keine Freigabe.

  • Verantwortung ab Tag eins

    Du stößt früh dazu und verantwortest Produkte, Kunden und Entscheidungen.

  • Wachsen in Führung

    Wer stark liefert, wächst mit dem Unternehmen in Führungsrollen hinein.

  • Direkt mit den Gründern

    Volle Transparenz bei Strategie-, Go-to-Market- und Produktentscheidungen.

  • Am Erfolg teilhaben

    Attraktive Vergütung mit der Möglichkeit, am langfristigen Erfolg von demi teilzuhaben.

  • Büro im MTZ

    Ein modernes Büro im Münchner Technologiezentrum nahe dem Olympiapark, mit Top-Ausstattung.

Bewerbung

Bewirb dich.

ML Evaluation Engineer (m/w/d)

Ein Link und ein paar Sätze. Kein Upload, kein langes Anschreiben.

Zum Beispiel dein LinkedIn-Profil oder ein freigegebener Ordner mit deinem Lebenslauf.

Drei bis fünf Sätze reichen.

Wir verwenden deine Angaben nur für deine Bewerbung und löschen sie spätestens sechs Monate nach Abschluss des Verfahrens, außer du stimmst dem Talent-Pool zu. Datenschutzerklärung

Dein Konfigurator

Noch keine Anwendungsfälle

Dein Konfigurator ist noch leer

Füge einen Anwendungsfall hinzu, auf jeder Karte und jeder Fallseite, und sieh, was er pro Jahr bringt, mit der Rechnung dazu. Kostenlos, ohne Anmeldung, unverbindlich: probier es aus und ändere jede Zahl.

Anwendungsfälle ansehen