Aller au contenu

Recherche

ML Evaluation Engineer (h/f/x)

Exact et traçable, c'est notre promesse. Vous construisez les évaluations qui montrent si nous la tenons, pour chaque modèle et chaque cas d'usage.

Tous les postes
Ouvert · début à partir du T4 2027
Équipe
Recherche
Contrat
Temps plein
Lieu
Munich · hybride
Début
à partir du T4 2027
Langues
Allemand et anglais

Ce que vous ferez

  • Construire et maintenir des jeux d'évaluation issus de cas d'usage réels
  • Développer des métriques d'exactitude, de fidélité aux sources, de droits et de coût
  • Intégrer des évaluations automatiques au développement, pour chaque changement
  • Comparer les modèles de différents fournisseurs et en tirer des recommandations
  • Analyser les types d'erreurs et les corriger avec l'ingénierie

Ce que vous apportez

  • Vous pensez en mesures : vous dites ouvertement ce qu'un chiffre ne montre pas et changez d'avis quand les données l'exigent
  • Un diplôme en informatique, statistiques, mathématiques ou domaine proche
  • Une expérience de l'évaluation de systèmes ML ou LLM
  • Excellent Python et de solides bases en statistiques
  • Un regard critique sur les benchmarks et les erreurs de mesure
  • Vous travaillez naturellement avec des outils d'IA

Atouts

  • Expérience du LLM-as-a-judge, de l'annotation humaine ou des métriques de retrieval
  • Publications ou mémoire sur l'évaluation

Processus de recrutement

Comment nous recrutons pour ce poste

Six étapes. Aux étapes 4 et 5, vous montrez comment vous travaillez : avec l'IA et dans la pratique de votre poste.

  1. Étape 1Formulaire en ligne

    Candidature

    Un lien vers LinkedIn ou votre CV et quelques phrases sur pourquoi demi. Pas de téléversement, pas de longue lettre de motivation.

    Ce que nous observons

    • Ce que vous avez construit, vendu ou fait avancer
    • Pourquoi ce poste, pourquoi maintenant
  2. Étape 2À distance · avec un fondateurVotre temps: 45 min

    Entretien personnel

    Un échange avec l'un des fondateurs. Chacun apprend à connaître l'autre : votre parcours, notre mission, notre façon de travailler.

    Ce que nous observons

    • Curiosité et énergie
    • Sens des responsabilités
    • Notre façon de travailler vous convient-elle ?
  3. Étape 3À distance ou sur site

    Entretien technique

    Nous allons en profondeur : votre expertise, votre expérience et la façon dont vous structurez les problèmes et justifiez vos décisions.

    Ce que nous observons

    • Profondeur dans votre domaine
    • Communication claire
    • Raisonnement solide
  4. Étape 4Tâche et présentation en directPour chaque poste

    Défi IA

    Vous automatisez une vraie tâche avec les outils d'IA actuels de votre choix et nous montrez votre démarche. Dans la vente comme dans l'ingénierie.

    • Automatiser

      Vous construisez un flux qui fait le travail de façon reproductible : avec des agents, des scripts ou des workflows.

    • Outils récents

      Vous utilisez des modèles et des outils d'agents actuels et savez lequel sert à quoi.

    • Linux et terminal

      Vous êtes à l'aise dans le shell : fichiers, scripts, environnements, automatisation.

    • Autonome

      Vous avancez seul : chercher, essayer, vérifier et poser des questions ciblées.

    • Vérifier

      Vous montrez comment vous contrôlez les résultats de l'IA avant de leur faire confiance.

  5. Étape 5En direct et en tâche

    Défi du poste

    Recherche: Penser en scientifique, livrer en ingénieur.

    1. ADiscussion d'un article

      Nous discutons d'un article récent de votre domaine : ce qui tient, ce qui ne tient pas, ce que nous en construirions.

    2. BCas d'évaluation

      Vous concevez la mesure des réponses d'un agent : jeu de données, métriques, types d'erreurs.

    3. CPrototype avec l'IA

      Vous transformez une idée en petit prototype avec des outils d'IA et examinez le résultat d'un œil critique.

    Votre tâche

    La réponse est-elle vraiment juste ?

    Vous concevez une grille d'évaluation pour vingt réponses d'agents, la mettez en œuvre avec l'IA et montrez où l'évaluation automatique s'écarte du jugement humain.

    Ce que nous observons

    • Savoir-faire
    • Rapidité et qualité
    • Discernement
  6. Étape 6Sur site · Munich

    Visite à Munich et offre

    Vous nous rendez visite au Centre technologique de Munich et rencontrez les fondateurs et votre future équipe. Si cela convient à tous, nous vous faisons une offre avec une rémunération attractive.

    Ce que nous observons

    • Découvrir l'équipe et le bureau
    • Répondre aux questions ouvertes
    • Votre offre

Ce que nous offrons

  • Outils et tokens

    Les meilleurs outils d'IA et les tokens qui vont avec. Essayer un nouveau modèle ne demande aucune validation.

  • Responsable dès le premier jour

    Vous arrivez tôt et êtes responsable de produits, de clients et de décisions.

  • Évoluer vers le management

    Les plus performants évoluent avec l'entreprise vers des rôles de direction.

  • Directement avec les fondateurs

    Transparence totale sur les décisions de stratégie, de go-to-market et de produit.

  • Participer au succès

    Une rémunération attractive avec la possibilité de participer au succès à long terme de demi.

  • Bureau au MTZ

    Un bureau moderne au Centre technologique de Munich, près du Parc olympique, avec un équipement haut de gamme.

Candidature

Postulez.

ML Evaluation Engineer (h/f/x)

Un lien et quelques phrases. Pas de téléversement, pas de longue lettre de motivation.

Par exemple votre profil LinkedIn ou un dossier partagé contenant votre CV.

Trois à cinq phrases suffisent.

Nous utilisons vos données uniquement pour votre candidature et les supprimons au plus tard six mois après la fin du processus, sauf si vous acceptez le vivier de talents. Politique de confidentialité

Votre configurateur

Aucun cas d'usage pour l'instant

Votre configurateur est encore vide

Ajoutez un cas d'usage depuis n'importe quelle carte ou page de cas et voyez ce qu'il rapporte par an, calcul à l'appui. Gratuit, sans inscription, sans engagement : essayez et modifiez chaque chiffre.

Voir les cas d'usage