Seminar Nevergrad Simulationsbasierte Optimierung und Reinforcement Learning

Zielsetzung

Simulationen und RL-nahe Szenarien stellen besondere Anforderungen an Budget, Parallelität, Stabilität und Auswertungsdauer. Dieses Seminar zeigt, wie Nevergrad in solche Umgebungen integriert wird und wie teure Black-Box-Probleme methodisch sauber aufgebaut werden.

Zielgruppe

Das Format richtet sich an Fachkräfte aus Simulation, Forschung und Machine Learning, die Policies, Steuerparameter oder Systemkonfigurationen mit Nevergrad optimieren möchten. Ebenso eignet es sich für Teams mit externen Bewertungsprogrammen und langen Laufzeiten.

Voraussetzungen

Vorausgesetzt werden sehr gute Python-Kenntnisse, Erfahrung mit Nevergrad-Grundlagen sowie Verständnis für asynchrone Auswertungsprozesse. Praktische Kenntnisse in Simulation oder RL sind vorteilhaft.

Inhalte

• Entwurf und Anbindung externer Simulationen als Optimierungsziele
• Modellierung teurer Evaluierungen mit klarer Budget- und Worker-Strategie
• Ask-and-Tell-Muster für lange, schwankende oder fehlertolerante Auswertungen
• Suche in kontinuierlichen, diskreten und gemischten Steuerparametern
• Reinforcement-Learning-nahe Parametrierung und Optimierung von Policy-Komponenten
• Robuste Bewertung über Szenarien, Seeds, Störungen und Unsicherheiten
• Benchmarking und Absicherung produktionsnaher Simulations-Workflows

Praxisanteil

Im Mittelpunkt stehen Integrationslabore, in denen externe Bewertungsfunktionen, Worker-Modelle und robuste Auswertungsroutinen aufgebaut werden. Die Übungen verbinden Nevergrad mit realitätsnahen Simulations- und RL-nahen Anwendungsmustern.