CAS AI Model Engineering

Bei der Auswahl geeigneter Modellarchitekturen besteht oft die Problematik, dass die verschiedenen Modelle unzureichend bewertet oder verglichen werden. Zudem fehlt es nicht selten an Modelldaten und Experiment-Versionierung sowie an Strategien zur modellseitigen Optimierung vor und im Betrieb. Auch gibt es häufig Schwierigkeiten im Umgang mit Daten- und Modell-Drift, insbesondere bei sich ändernden Datenquellen, Nutzungskontexten oder Anforderungen.

Der CAS AI Model Engineering fokussiert auf AI-Modelle als zentrale Intelligenzkomponente moderner AI-Systeme. Ein besonderer Schwerpunkt liegt auf Methoden zur Modellanpassung, Optimierung und Spezialisierung. Dazu gehören Fine-Tuning-Ansätze, Parameter-Efficient Adaptation, Quantisierung sowie Knowledge Distillation. Ergänzend werden Verfahren zur Modellausrichtung und -steuerung behandelt, insbesondere Reinforcement Learning from Human Feedback (RLHF) sowie moderne Alternativen wie Direct Preference Optimization (DPO) und GRPO.

Darüber hinaus vermittelt der CAS ein vertieftes Verständnis für multimodale Modellarchitekturen, die Text, Bild, Sprache sowie weitere Modalitäten wie Video und Audio integrieren. Themen wie Vision-Language-Modelle, Contrastive Learning und generative Modelle erweitern den Blick auf moderne AI-Systeme jenseits reiner Sprachmodelle. Ziel ist es, dass Sie in der Lage sind, AI-Modelle nicht nur anzuwenden, sondern deren Verhalten zu verstehen, gezielt zu beeinflussen und für spezifische Anwendungsdomänen technisch zu optimieren.

Dieser CAS behandelt AI-Modelle als zentrale Intelligenzkomponente moderner AI-Systeme und fokussiert auf deren Entwicklung, Anpassung und systematische Bewertung. Im Zentrum stehen sowohl die theoretischen Grundlagen als auch die praktische Anwendung moderner Modellarchitekturen und Lernverfahren.

Foundations of Model Intelligence

• Introduction to AI models and their role in AI systems
• From data to learned representations
• Generative vs. discriminative models
• Supervised (SL), Self-Supervised (SSL), and Unsupervised Learning (UL)
• Overview of model families and learning paradigms
• Deep Neural Network (DNN) fundamentals
• Training loop: forward pass, loss computation, backpropagation
• Optimization methods (gradient-based learning) 

Classical Neural Architectures

• Convolutional Neural Networks (CNNs)
  • AlexNet
  • ResNet
  • GoogLeNet
• Recurrent Neural Networks (RNNs)
• Long Short-Term Memory (LSTM) networks 

Transformer Architecture (Core of Modern AI)

• Tokenization strategies
• Embeddings and positional encoding
• Attention mechanisms
  • Self-attention
  • Cross-attention
• Feed-forward networks (FFN)  
• Layer normalization and architectural blocks
• Loss functions for sequence modeling
• Transformer as universal model architecture 

Foundation Models & LLM Training

• Large Language Models (LLMs): architecture and scaling
• Model types: base models, instruction-tuned models, chat models
• Pretraining vs. fine-tuning paradigms
• Hugging Face ecosystem: model selection and usage
• Training strategies for large models (overview level) 

Model Adaptation & Alignment

• Fine-tuning strategies (full, partial, parameter-efficient methods)
• Reinforcement Learning (RL) for model alignment
  • Reinforcement Learning from Human Feedback (RLHF)
• Direct Preference Optimization (DPO)
• Group Relative Policy Optimization (GRPO)
• Instruction tuning and behavior shaping
• Alignment vs. capability trade-offs 

Model Efficiency & Compression

• Quantization (FP16, INT8, INT4, etc.)
• Knowledge Distillation
• Model compression strategies
• Trade-offs: accuracy vs. efficiency vs. deployability
• Lightweight model design for constrained environments 

Beyond Text

• Vision Transformers (ViT)
• Representation learning via contrastive learning approaches like CLIP, SigLIP, DINO
• Multimodal representation learning
• Generative multimodal model concepts
• Integration of vision, language, and structured representations 

Generative Models Beyond LLMs

• Diffusion models (DDM)
• Latent Diffusion Models (LDM)
• Stable Diffusion
• ControlNet architectures
• Emerging generative model families (e.g. FLUX-style systems) 

Model Evaluation & Behavioral Analysis

• Evaluation of model performance and robustness
• Generalization and out-of-distribution behavior
• BenchmarAIng strategies
• Error analysis and failure mode understanding
• Behavioral evaluation of generative models 

Specialized Model Domains

• Time series models (forecasting and structured prediction)
• Speech and audio models
• Vision-language models (VLMs)
• Domain-specific model adaptation strategies

Im Zentrum dieses Kurses stehen moderne, aktivierende Lehr- und Lernformen, die gezielt auf die Anforderungen der Modellentwicklung, -optimierung und Qualitätssicherung in realen KI-Systemen ausgerichtet sind.

• Projekt- und problemorientiertes Lernen anhand realitätsnaher Fragestellungen zur Entwicklung, Evaluation und Optimierung von KI-Modellen
• Arbeit an konkreten Modellen, Datensätzen und Experimenten inklusive Training, Fine-Tuning, Evaluation und Vergleich unterschiedlicher Modellvarianten
• Iteratives Vorgehen entlang des Modell-Lebenszyklus (Train – Evaluate – Optimize – Validate), mit gezielten Feedback- und Reflexionsphasen
• Hands-on-Sessions zu Modell- und Experiment-Engineering (z.B. Experiment-Tracking, Versionierung, Reproduzierbarkeit, Drift-Analyse)
• Analyse realer Modell-Probleme aus der Praxis wie Overfitting, mangelnde Generalisierung, Bias, Performance-Einbrüche oder instabiles Verhalten im Betrieb
• Einbindung visueller und multimodaler Modelle insbesondere zur Optimierung und Anpassung von Vision-Modellen (z.B. DINO und verwandte selbstüberwachte Ansätze),
• Arbeit an vorgegebenen realitätsnahen Szenarien oder Einbindung eigener beruflicher Fragestellungen der Teilnehmenden zur direkten Übertragbarkeit der vermittelten Methoden auf reale Projekte

Der Fokus liegt auf aktiver Kompetenzentwicklung und einem engineering-gerechten Umgang mit KI-Modellen – nicht auf rein theoretischer Wissensvermittlung oder isolierten Modell-Demos.

Zielgruppe

Dieser CAS richtet sich an technische Fachpersonen, die bereits über fundierte Software-, Daten- oder KI-Grundlagen verfügen und ihre Kompetenzen gezielt im Bereich Modellentwicklung, -optimierung und Qualitätssicherung von KI-Systemen vertiefen möchten. Insbesondere an:

• Informatik-Ingenieurinnen und -Ingenieure, Data Scientists sowie Machine-Learning-Engineers
• Software-Entwicklerinnen und -Entwickler mit vertieftem Bezug zu KI-Modellen und datengetriebenen Systemen
• Absolventinnen und Absolventen des BSc Informatik, des MSE Computer Science oder vergleichbarer Studiengänge
• Teilnehmende aus weiterführenden Weiterbildungen (z.B. MAS Software Engineering, CAS mit KI-Bezug)
• Technische Fachpersonen, die in ihrer beruflichen Praxis Modelle entwickeln, evaluieren, optimieren oder weiterentwickeln – einschliesslich visueller und multimodaler Modelle

Zulassung

Zugelassen sind Personen

• mit anerkanntem Tertiärabschluss (Universität, Fachhochschule, Höhere Fachschule oder vergleichbarer Abschluss)
• mit mehrjähriger qualifizierter Berufserfahrung im Software-, Daten- oder KI-Umfeld
• mit einer Tätigkeit in einem Arbeitsfeld, in dem sie das Gelernte umsetzen können (Prinzip Transferorientierung);
• mit Programmiererfahrung (z.B. in Python oder Java)
• mit einem fundierten Verständnis für die Grundlagen der KI

Bewerberinnen und Bewerber, die über vergleichbare Abschlüsse und entsprechende Berufserfahrung verfügen, können auf Basis einer individuellen Prüfung des Dossiers aufgenommen werden. 

Nach Abschluss dieses Kurses

• können Sie geeignete Modellarchitekturen auswählen, Trainings- und Validierungsstrategien festlegen sowie Modelle nachvollziehbar evaluieren und vergleichen;
• sind Sie befähigt, Modelle, Daten und Experimente reproduzierbar zu versionieren und Modellentscheidungen transparent zu dokumentieren;
• können Sie Modellqualität, Generalisierungsfähigkeit und Stabilität beurteilen und gezielt verbessern, auch unter Berücksichtigung von Edge-Cases und veränderten Einsatzbedingungen;
• sind Sie in der Lage, Drifts zu erkennen, deren Auswirkungen zu bewerten und geeignete Massnahmen zur Anpassung und Weiterentwicklung von Modellen abzuleiten;
• können Sie Modelle durch Fine-Tuning, Re-Training, Adaptation oder Continual-Learning-Ansätze gezielt weiterentwickeln;
• verfügen Sie über Kompetenzen zur Analyse, Anpassung und Optimierung visueller Modelle, insbesondere auf Basis selbstüberwachter Lernverfahren (z.B. DINO und
  verwandte Ansätze), sowie zur Bewertung ihrer Übertragbarkeit und Robustheit;
• können Sie als AI Model Engineer oder modellverantwortliche Fachperson agieren und die Verantwortung für Qualität, Weiterentwicklung und Einsatzfähigkeit von KI-Modellen im Systemkontext übernehmen.