AI-Agent Quality & Ops Engineer (m/w/d)
Wolters Kluwer
DEU - Ludwigsburg, Kammererstr
Contract
Competitive
RemoteExecutive
Schon heute die Zukunft gestalten – mit Wolters Kluwer
Seit über 180 Jahren unterstützen wir Unternehmen weltweit dabei, Arbeitsprozesse einfacher, effizienter und zukunftssicher zu gestalten. Mit Niederlassungen in über 40 Ländern und Kunden in mehr als 180 Märkten sind wir ein globaler Partner für Fachwissen und Technologie.
Unsere Lösungen verbinden tiefgehendes Know-how mit innovativen Technologien – inklusive moderner KI-Funktionen – und helfen unseren Kunden, ihre größten Herausforderungen erfolgreich zu meistern. Mehr als 21.000 Kolleginnen und Kollegen weltweit arbeiten gemeinsam daran, Wissen nutzbar zu machen und Arbeitsprozesse neu zu denken.
Wolters Kluwer Tax & Accounting (TAA)
Die Wolters Kluwer Tax & Accounting Deutschland GmbH mit Hauptsitz in Ludwigsburg ist Teil der internationalen Wolters Kluwer Gruppe. Mit über 600 Mitarbeitenden an 10 Standorten in Deutschland entwickeln wir Softwarelösungen wie ADDISON, SBS-Software und AKTE, die Steuerberatungskanzleien und Unternehmen in ganz Europa unterstützen.
Allein in Europa vertrauen mehr als 46.000 Steuerberatungskanzleien sowie über 1,5 Millionen kleine und mittelständische Unternehmen auf unsere Lösungen.
Deine Mission
Du stellst die messbare Qualität, kontrollierte Weiterentwicklung und den zuverlässigen Betrieb unserer agentenbasierten KI-Systeme sicher. Du verantwortest die KI-spezifische Betriebsschicht: Evaluation, Qualitätsmetriken, Drift-Erkennung, kontrollierte Releases von Prompts, Modellen und Tools sowie Observability des Agentenverhaltens. Dein Erfolg zeigt sich darin, dass Qualitätsprobleme erkannt werden, bevor sie Nutzer erreichen.
Deine Aufgaben
Du definierst und pflegst Qualitätskriterien für agentenbasierte Workflows – von fachlicher Korrektheit über Compliance-Konformität bis hin zu UX-Vertrauenssignalen wie Stabilität und Nachvollziehbarkeit.
Du baust und betreibst Evaluationssuiten inklusive Golden Test Cases, Replay-basierter Evaluationen aus Produktionstraces und Failure-Scenario-Testing.
Du verantwortest das Lifecycle-Management von Prompts, Modellen und Agent Tools – mit klarer Versionierung, Regression Protection und kontrollierten Rollouts.
Du betreibst Agent-Observability mit Langfuse und überwachst Traces, Tool-Usage-Patterns, Latenzverteilungen und Kosten pro Workflow.
Du implementierst Anomaly Detection für Qualitätsdegradierung, Kosten-/Token-Anomalien und unerwartete Eskalationsmuster.
Du definierst KI-spezifische Release-Readiness-Kriterien und unterstützt Release-Entscheidungen mit Qualitäts-, Regressions- und Kostensignalen.
Du nutzt KI-gestützte Entwicklungsworkflows (z.B. AI Coding Agents, automatisierte Testgenerierung, Analyse-Assistenten) als festen Bestandteil deiner täglichen Arbeit.
Du unterstützt die Einhaltung von DSGVO, EU AI Act und interner AI Governance aus der Perspektive des KI-Verhaltens.
Damit begeisterst du uns
Du hast einen soliden Software-Engineering-Hintergrund mit Erfahrung in der Qualitätssicherung nicht-deterministischer Systeme.
Du bringst Erfahrung in der Gestaltung von Evaluationsstrategien für LLM- oder agentenbasierte Workflows mit – inklusive Regression Detection über Prompt-/Modellversionen hinweg.
Du arbeitest routiniert mit Kotlin/Java in JVM-Systemen und nutzt Python für Evaluation und Analyse.
Du hast Erfahrung mit Observability-Tools (idealerweise Langfuse) und kannst Signale auswerten, um KI-Verhalten zu beurteilen.
Du denkst metrisch und strukturiert, erkennst Drift- und Anomalie-Muster und kommunizierst Qualitätsrisiken klar an verschiedene Stakeholder.
Du bist bereit, dich in die Fachdomäne Tax & Accounting einzuarbeiten und auf Detailebene mit Fachexperten zu interagieren.
Du sprichst hervorragend Deutsch und gut Englisch.
Damit begeistern wir dich
Sichere Zukunft: Du bekommst eine unbefristete Festanstellung in einem internationalen Unternehmen sowie eine betriebliche Altersvorsorge mit persönlicher Beratung.
Work-Life-Balance: 30 Tage Urlaub, flexible Arbeitszeiten und die Möglichkeit, an dedizierten Tagen mobil zu arbeiten– so passt der Job zu Deinem Leben.
Arbeiten im Ausland: Du kannst bis zu 20 Tage innerhalb von zwölf Monaten flexibel im Ausland arbeiten.
Karriereentwicklung: Wir unterstützen Dich mit strukturiertem Onboarding, Learning on the Job, internationalen Karriereoptionen und internen sowie externen Weiterbildungen.
Gesundheit & Soziales Engagement: Unser Corporate Benefits Programm bietet Dir alles von JobRad über Lebens- und Rentenberatung. Zusätzlich bekommst Du einen zusätzlichen freien Tag, den Volunteer Day, um soziale Projekte zu unterstützen. Mit unserem Programm „Wolters Kluwer hilft“ unterstützen wir als Unternehmen ebenfalls soziale Projekte.
Moderne Arbeitsumgebung: Du arbeitest mit leistungsstarker IT-Ausstattung, an modernen Arbeitsplätzen mit einem shared desk System, kostenlosen Getränken und in gut angebundenen Bürogebäuden.
Teamspirit: Bei unseren Mitarbeiterevents und über unser Mitarbeiterempfehlungsprogramm erlebst Du echten Zusammenhalt. Kurze Entscheidungswege, flache Hierarchien und Raum für Deine Ideen sind bei uns selbstverständlich.
Wir wachsen - wachse mit uns
Hier kannst du deine Ideen verwirklichen, dich weiterentwickeln und wachsen. Wir haben viel zu bieten. Komm zu uns und gestalte mit uns gemeinsam die Zukunft.
Bewirb dich jetzt ganz einfach mit einem Klick auf den Button oben.
Willkommen sind bei uns alle Menschen – unabhängig von Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Behinderung, Religion, Alter sowie sexueller Orientierung und Identität.
Deine Ansprechpartnerin
Michele Kenmogne
Senior Recruiter – IT Talent Acquisition
To maintain a fair and genuine hiring process, we kindly ask that all candidates participate in interviews without the assistance of AI tools or external prompts. Our interview process is designed to assess your individual skills, experiences, and communication style. We value authenticity and want to ensure we’re getting to know you—not a digital assistant. To help maintain this integrity, we ask to remove virtual backgrounds and include in-person interviews in our hiring process. Please note that use of AI-generated responses or third-party support during interviews will be grounds for disqualification from the recruitment process.
Applicants may be required to appear onsite at a Wolters Kluwer office as part of the recruitment process.