Arbeitgeber: Bertrandt AG

Wir sind Bertrandt. Ein eigenständiger und internationaler
Engineering Dienstleister mit langjähriger Expertise. Mit
branchenübergreifendem Know-how und einem ganzheitlichen System- und
Produktverständnis schaffen wir technologische Lösungen entlang der
gesamten Wertschöpfungskette. Wir beschäftigen uns mit den
Trendthemen Digitalisierung, E-Mobilität und Autonome Systeme
hauptsächlich für die Branchen Automotive, Luftfahrt, Defence und
Maschinenbau und ermöglichen hier konsequent die Entstehung
passgenauer Lösungen. Unser Ziel: den technologischen Fortschritt
beschleunigen und einen relevanten Beitrag zu einer nachhaltigen
Zukunft leisten. Daran arbeiten wir jeden Tag – mit rund 12.000
Mitarbeiterinnen und Mitarbeitern an über 50 Standorten weltweit. Was
Sie erwartet Durchführung, Planung und Dokumentation von Tests für
Large Language Models (LLMs) Analyse, Bewertung und Optimierung der
Modellperformance (Qualität, Robustheit, Halluzinationen, Bias,
Antwortkonsistenz) Integration, Konfiguration und Validierung von
KI‑Tools innerhalb einer MCP‑Server‑Architektur Unterstützung
bei der Anbindung externer Services und Tools (z. B. Search,
Retrieval, APIs) an LLM‑basierte Systeme Mitarbeit bei der
Weiterentwicklung von KI‑Infrastrukturen, Toolchains und
Testframeworks Enge Zusammenarbeit mit Entwicklung, Architektur,
Produktmanagement und Qualitätssicherung Dokumentation von
Testergebnissen, Schnittstellen und technischen Konzepten
Identifikation von Optimierungs‑ und Automatisierungspotenzialen im
KI‑Umfeld Was Sie mitbringen Mehrjährige praktische Erfahrung im
Umgang mit Large Language Models (z. B. GPT‑basierte Modelle,
Open‑Source‑LLMs) Fundierte Erfahrung in LLM‑Tests, insbesondere
in den Bereichen Functional Testing, Prompt‑Evaluation,
Regression‑ und Performance‑Tests Nachweisliche Erfahrung in der
Integration von Tools in MCP‑Server‑Umgebungen oder vergleichbaren
KI‑/Agenten‑Architekturen Sehr gutes Verständnis von
API‑Schnittstellen, Service‑Integration und
Client‑Server‑Architekturen Erfahrung im Umgang mit
KI‑Pipeline‑ oder Orchestrierungs‑Ansätzen Kenntnisse in
Testmethoden, Qualitätssicherung und technischer Dokumentation im
KI‑Kontext Sehr gute Programmierkenntnisse (z. B. Python) Erfahrung
mit Tool‑Anbindung, Plugin‑ oder Agent‑Mechanismen für LLMs
Idealerweise Kenntnisse in Prompt Engineering, Retrieval‑Augmented
Generation (RAG) und Evaluationstechniken Sicherer Umgang mit
Entwicklungs‑ und Kollaborationstools Verständnis moderner
KI‑Infrastrukturen (Cloud‑, Container‑ oder Server‑basierte
Umgebungen von Vorteil) Analytische und strukturierte Arbeitsweise
Hohe Lösungs‑ und Ergebnisorientierung Selbstständiges Arbeiten
sowie ausgeprägte Teamfähigkeit Technische Neugier und hohe
Lernbereitschaft im dynamischen KI‑Umfeld Sehr gute
Kommunikationsfähigkeit gegenüber technischen und
nicht‑technischen Stakeholdern Sehr gute Deutschkenntnisse
Christophe Klein 07034-65612448