Vai al contenuto

Ricerca

ML Evaluation Engineer (m/f/d)

Esatto e tracciabile è la nostra promessa. Tu costruisci le valutazioni che mostrano se la manteniamo, per ogni modello e ogni caso d'uso.

Tutti i ruoli
Aperto · inizio dal Q4 2027
Team
Ricerca
Contratto
Tempo pieno
Sede
Monaco · ibrido
Inizio
dal Q4 2027
Lingue
Tedesco e inglese

Cosa farai

  • Costruire e curare dataset di valutazione a partire da casi d'uso reali
  • Sviluppare metriche di correttezza, fedeltà alle fonti, permessi e costi
  • Integrare valutazioni automatiche nello sviluppo, per ogni modifica
  • Confrontare modelli di diversi fornitori e ricavarne raccomandazioni
  • Analizzare le tipologie di errore e correggerle con l'ingegneria

Cosa porti

  • Pensi per misure: dici apertamente cosa un numero non mostra e cambi idea quando i dati lo richiedono
  • Laurea in informatica, statistica, matematica o un campo affine
  • Esperienza nella valutazione di sistemi ML o LLM
  • Python eccellente e solide basi di statistica
  • Occhio critico su benchmark ed errori di misura
  • Lavori con strumenti di AI in modo naturale

Punti in più

  • Esperienza con LLM-as-a-judge, annotazione umana o metriche di retrieval
  • Pubblicazioni o una tesi sulla valutazione

Processo di selezione

Come assumiamo per questo ruolo

Sei passi. Nei passi 4 e 5 mostri come lavori: con l'IA e nella pratica del tuo ruolo.

  1. Passo 1Modulo online

    Candidatura

    Un link a LinkedIn o al tuo CV e qualche frase sul perché demi. Nessun upload, nessuna lunga lettera di presentazione.

    A cosa guardiamo

    • Cosa hai costruito, venduto o mosso
    • Perché questo ruolo, perché adesso
  2. Passo 2Da remoto · con un fondatoreIl tuo tempo: 45 min

    Colloquio personale

    Una conversazione con uno dei fondatori. Ci si conosce a vicenda: il tuo percorso, la nostra missione, come lavoriamo.

    A cosa guardiamo

    • Curiosità e grinta
    • Senso di responsabilità
    • Il nostro modo di lavorare fa per te?
  3. Passo 3Da remoto o in sede

    Colloquio tecnico

    Andiamo a fondo: le tue competenze, la tua esperienza e come strutturi i problemi e motivi le decisioni.

    A cosa guardiamo

    • Profondità nel tuo campo
    • Comunicazione chiara
    • Ragionamenti solidi
  4. Passo 4Compito e presentazione dal vivoPer ogni ruolo

    Sfida IA

    Automatizzi un vero compito con gli strumenti di IA attuali che preferisci e ci mostri come hai lavorato. Nelle vendite come nell'ingegneria.

    • Automatizzare

      Costruisci un flusso che svolge il lavoro in modo ripetibile: con agenti, script o workflow.

    • Strumenti recenti

      Usi modelli e strumenti di agenti attuali e sai quale serve a cosa.

    • Linux e terminale

      Ti muovi con sicurezza nella shell: file, script, ambienti, automazione.

    • Autonomia

      Vai avanti da solo: cercare, provare, verificare e chiedere in modo mirato.

    • Verificare

      Mostri come controlli i risultati dell'IA prima di fidarti.

  5. Passo 5Dal vivo e come compito

    Sfida del ruolo

    Ricerca: Pensare da scienziato, consegnare da ingegnere.

    1. ADiscussione di un paper

      Discutiamo un paper recente del tuo campo: cosa regge, cosa no, cosa ne costruiremmo.

    2. BCaso di valutazione

      Progetti come misurare le risposte di un agente: dataset, metriche, tipologie di errore.

    3. CPrototipo con l'IA

      Trasformi un'idea in un piccolo prototipo con strumenti di IA e ne esamini il risultato con occhio critico.

    Il tuo compito

    La risposta è davvero giusta?

    Progetti uno schema di valutazione per venti risposte di agenti, lo realizzi con l'AI e mostri dove la valutazione automatica si discosta dal giudizio umano.

    A cosa guardiamo

    • Mestiere
    • Velocità con qualità
    • Capacità di giudizio
  6. Passo 6In sede · Monaco

    In sede a Monaco e offerta

    Ci vieni a trovare nel Centro tecnologico di Monaco e incontri i fondatori e il tuo futuro team. Se va bene per tutti, ti facciamo un'offerta con un pacchetto retributivo interessante.

    A cosa guardiamo

    • Conoscere team e ufficio
    • Chiarire le domande aperte
    • La tua offerta

Cosa offriamo

  • Strumenti e token

    I migliori strumenti di IA e i token per usarli. Provare un nuovo modello non richiede approvazioni.

  • Responsabilità dal primo giorno

    Entri presto e sei responsabile di prodotti, clienti e decisioni.

  • Crescere verso la leadership

    Chi ottiene ottimi risultati cresce con l'azienda verso ruoli di guida.

  • Direttamente con i fondatori

    Piena trasparenza sulle decisioni di strategia, go-to-market e prodotto.

  • Partecipare al successo

    Retribuzione interessante con la possibilità di partecipare al successo a lungo termine di demi.

  • Ufficio al MTZ

    Un ufficio moderno nel Centro tecnologico di Monaco, vicino al Parco olimpico, con dotazioni di prim'ordine.

Candidatura

Candidati.

ML Evaluation Engineer (m/f/d)

Un link e qualche frase. Nessun upload, nessuna lunga lettera di presentazione.

Ad esempio il tuo profilo LinkedIn o una cartella condivisa con il tuo CV.

Bastano da tre a cinque frasi.

Usiamo i tuoi dati solo per la tua candidatura e li cancelliamo al più tardi sei mesi dopo la chiusura della selezione, salvo tuo consenso al talent pool. Informativa sulla privacy

Il tuo configuratore

Ancora nessun caso d'uso

Il tuo configuratore è ancora vuoto

Aggiungi un caso d'uso da qualsiasi scheda o pagina del caso e guarda quanto vale all'anno, con il calcolo. Gratis, senza registrazione, senza impegno: provalo e cambia ogni numero.

Vedi i casi d'uso