Seminarprofil
Betrieb, Konfiguration und Zusammenspiel der zentralen Inferenz- und Routing-Komponenten in SUSE AI.
Zielsetzung
Das Seminar zeigt, wie Modelle in SUSE AI performant und kontrolliert bereitgestellt werden. Es erklärt die jeweiligen Rollen von Ollama, vLLM und LiteLLM, deren Stärken im Betrieb und die Integration in konsistente API- und Benutzerzugriffe.
Zielgruppe
Angesprochen sind technische Teams, die eine produktionsfähige Inferenzschicht aufbauen oder bestehende SUSE-AI-Umgebungen hinsichtlich Performance, Standardisierung und Modellzugriff weiterentwickeln wollen.
Inhalte
- Rollenverteilung von Ollama, vLLM und LiteLLM innerhalb einer SUSE-AI-Plattform
- Bereitstellung und Verwaltung von Basismodellen sowie OpenAI-kompatiblen Endpunkten
- GPU-Zuordnung, Kapazitätsplanung, Performance und Latenzbetrachtung
- Integration der Inferenzdienste in Open WebUI und weitere Anwendungen
- Routing, Modellabstraktion und Zugriffskonsolidierung mit LiteLLM
- Skalierungsstrategien, Betriebsgrenzen, Validierung und Fehlersuche
- Entscheidungskriterien für Laufzeitwahl in unterschiedlichen Workload-Szenarien
Praxis
Die praktischen Übungen umfassen die Bereitstellung mehrerer Modellpfade, die Anbindung an Open WebUI sowie den Vergleich unterschiedlicher Betriebsmodelle hinsichtlich Durchsatz, Latenz und administrativem Aufwand.
Fachbereichsleiter / Leiter der Trainer / Ihre Ansprechpartner
-
Lucas Beich
Telefon: + 49 (221) 74740055
E-Mail: lucas.beich@seminar-experts.de -
Paul Goldschmidt
Telefon: + 49 (221) 74740055
E-Mail: paul.goldschmidt@seminar-experts.de
Seminardetails
| Dauer: | 2 Tage ca. 6 h/Tag, Beginn 1. Tag: 10:00 Uhr, weiterer Tag 09:00 Uhr |
| Preis: |
Öffentlich oder Live Stream: € 1.198 zzgl. MwSt. Inhaus: € 3.400 zzgl. MwSt. |
| Teilnehmeranzahl: | min. 2 - max. 8 |
| Teilnehmer: | Plattformingenieure, MLOps-Teams, DevOps-Verantwortliche, KI-Plattformbetreiber |
| Voraussetzungen: | Grundkenntnisse zu SUSE AI und Kubernetes; Erfahrung mit Containern und GPU-basierten Workloads ist hilfreich |
| Standorte: | Stream Live, Inhaus/Firmenseminar, Berlin, Bremen, Darmstadt, Dresden, Erfurt, Essen, Flensburg, Frankfurt, Freiburg, Friedrichshafen, Hamburg, Hamm, Hannover, Jena, Kassel, Köln, Konstanz, Leipzig, Luxemburg, Magdeburg, Mainz, München, Münster, Nürnberg, Paderborn, Potsdam, Regensburg, Rostock, Stuttgart, Trier, Ulm, Wuppertal, Würzburg |
| Methoden: | Vortrag, Demonstrationen, praktische Übungen am System, Architektur- und Betriebsworkshops |
| Seminararten: | Öffentlich, Webinar, Inhouse, Workshop - Alle Seminare mit Trainer vor Ort, Webinar nur wenn ausdrücklich gewünscht |
| Durchführungsgarantie: | ja, ab 2 Teilnehmern |
| Sprache: | Deutsch - bei Firmenseminaren ist auch Englisch möglich |
| Seminarunterlage: | Dokumentation auf Datenträger oder als Download |
| Teilnahmezertifikat: | ja, selbstverständlich |
| Verpflegung: | Kalt- / Warmgetränke, Mittagessen (wahlweise vegetarisch) |
| Support: | 3 Anrufe im Seminarpreis enthalten |
| Barrierefreier Zugang: | an den meisten Standorten verfügbar |
| Weitere Informationen unter + 49 (221) 74740055 |
Seminartermine
Die Ergebnissliste kann durch Anklicken der Überschrift neu sortiert werden.
