Seminar AI-Infrastruktur für Administratoren: Grundlagen, Architektur und Betriebsmodelle

AI-Workloads stellen andere Anforderungen an eine Infrastruktur als klassische Fachanwendungen. Große Modellartefakte, knapper Beschleunigerspeicher, hohe Datenraten, lange Startzeiten und stark schwankende Lasten verändern Dimensionierung, Überwachung und Störungsbehandlung. Gleichzeitig müssen vorhandene Betriebsstandards für Identitäten, Netze, Sicherung und Änderungen erhalten bleiben.

Das Seminar schafft ein gemeinsames technisches Begriffs- und Entscheidungsmodell für Administratoren. Es trennt Anwendungsanforderungen von Produktwerbung, ordnet die wesentlichen Infrastrukturbausteine ein und zeigt, welche Informationen vor Beschaffung, Installation und Übergabe in den Regelbetrieb tatsächlich benötigt werden.

Zielgruppe

System- und Netzwerkadministratoren, IT-Architekten, Plattformteams, Rechenzentrumsverantwortliche, technische Projektleiter und IT-Leitungen, die AI-Systeme planen oder betreiben.

Voraussetzungen

Allgemeine Kenntnisse der Server-, Netzwerk- und Speicheradministration. Programmierkenntnisse oder mathematische Kenntnisse zu AI-Verfahren sind nicht erforderlich.

Seminarinhalte

AI-Workloads technisch einordnen

• Unterschiede zwischen Training, Fine-Tuning, Batch-Inferenz, Online-Inferenz und Retrieval-Augmented Generation
• Modelle, Tokenizer, Embeddings, Vektordaten, Artefakte und Caches aus Sicht des Betriebs
• Dichte und Mixture-of-Experts-Modelle sowie CPU-, GPU- und alternative Beschleunigerpfade einordnen
• Latenz, Durchsatz, Parallelität, Verfügbarkeit und Datenklassifikation als Infrastrukturvorgaben

Plattform- und Bereitstellungsmodelle

• Arbeitsstation, Einzelserver, Cluster und getrennte Entwicklungs-, Test- und Produktionsumgebungen
• Bare Metal, virtuelle Maschinen, KubeVirt, Container und Kubernetes mit ihren Betriebsfolgen
• On-Premises-, Colocation-, Cloud- und Hybridmodelle einschließlich Exit- und Portabilitätsaspekten
• Internetverbundene, eingeschränkte und vollständig abgeschottete Plattformen betrieblich unterscheiden

Bausteine einer AI-Plattform

• Compute-Knoten, Beschleuniger, Managementknoten, Registries, Modellablagen und Inferenzdienste
• Datei-, Objekt- und Blockspeicher, lokale Caches sowie Datenpfade vom Modellarchiv zum Beschleuniger
• Management-, Storage-, Service- und Beschleunigernetze mit geeigneter Segmentierung
• Scheduler, Warteschlangen, Quoten und Prioritäten für die Verteilung knapper Ressourcen

Dimensionierung und Wirtschaftlichkeit

• Arbeitsspeicher- und VRAM-Bedarf aus Modelltyp, Zahlenformat, Kontext, Cache und Parallelität ableiten
• Kapazitätsreserven, Spitzenlast, Wartungsreserve und Wachstum getrennt betrachten
• Auslastung, Energie, Kühlung, Lizenzierung, Support und Personalaufwand in die Gesamtkosten einbeziehen
• Pilot, Lasttest und Abnahmekriterien vor einer größeren Beschaffung definieren

Betriebsorganisation und Sicherheit

• Verantwortlichkeiten zwischen Infrastruktur, Plattformteam, Data Science, Entwicklung und Informationssicherheit
• Änderungs-, Patch-, Release- und Konfigurationsmanagement für Treiber, Laufzeiten und Modelle
• Identitäten, Geheimnisse, Netzwerkzonen, Protokollierung und Schutz von Modellartefakten
• Betriebsdokumentation, Servicegüten, Eskalationswege und Mindestanforderungen an Notfallverfahren

Entscheidungs- und Einführungsplanung

• Anforderungskatalog mit messbaren Last-, Sicherheits- und Verfügbarkeitswerten erstellen
• Referenzarchitektur und Betriebsgrenzen für einen ersten produktiven Anwendungsfall festlegen
• Stabile, freigegebene, Vorschau- und experimentelle Funktionen in der Zielarchitektur kennzeichnen
• Stufenweise Einführung von Labor über Pilot bis Produktion mit klaren Abnahmepunkten planen

Praktische Übungen

• Ein Lastprofil für einen lokalen Inferenzdienst aus unvollständigen Fachanforderungen ableiten
• Eine einfache Zielarchitektur für Compute, Speicher, Netzwerk und Management entwerfen
• VRAM-, Arbeitsspeicher- und Kapazitätsannahmen dokumentieren und mit Reserven versehen
• Bare Metal, Virtualisierung und Kubernetes anhand eines gewichteten Kriterienkatalogs vergleichen
• Eine Betriebsbereitschafts-Checkliste für den Übergang eines AI-Piloten in die Produktion erstellen

Methodik

Technische Erläuterungen, Architekturskizzen und Rechenbeispiele werden mit einem durchgehenden Planungsszenario verbunden. Die Übungen konzentrieren sich auf administrative Entscheidungen, prüfbare Anforderungen und einen realistischen Betriebsrahmen.