Projektpraktikum Maschinelles Lernen (Master)

Einführungsveranstaltung
FZI und AIFB Teams

KIT – The Research University in the Helmholtz Association www.kit.edu

Termine
Heute
Einführungsveranstaltung
Vorstellung der Themen
Organisatorisches

Nächste Woche
Erstes Teamtreffen im TAA-Labor (FZI)
Selbstorganisation in Gruppen (3 Personen)
Alternativtermin möglich (muss mit Gruppe und Betreuern abgestimmt werden)

Wöchentlich
„Fragestunde“ mit den Betreuern

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Wer sind wir?

Angewandte Technisch-Kognitive Systeme

https://www.aifb.kit.edu/web/Angewandte_Technisch-Kognitive_Systeme

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Themen
Thema Anzahl Status
T1 Real Time Emotion Recognition in Passengers of Autonomous 3 offen
Vehicles
T2 Real-world adversarial attacks on DNNs for traffic sign 3 offen
recognition
T3 Pixel-Based Robotic Arm Control and Task Training through 3 offen
Reinforcement Learning

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Computer Vision - Real Time Emotion Recognition
in Passengers of Autonomous Vehicles
Tasks:
🎥 Implement live video emotion recognition based on tutorial
👩‍💻 Adapt code to recognize emotions from multiple faces at Happy Neutral Worried
the same time and the seat they are sitting in
✉️ Send timestamp, passenger seat and recognized emotion

😊😐 🤕

Seat 3
Seat 2
Seat 1
to the vehicle
🧪 Live test emotion recognition on persons watching a video
🔎 Research methods for validating and improving results 2023-05-23 10:20:31 2023-05-23 10:20:31 2023-05-23 10:20:31
Research Question: How can live video emotion recognition be
leveraged for automated labeling of user experience in
autonomous vehicles?
Literature:
Live Video Emotion Recognition Tutorial:
https://towardsdatascience.com/the-ultimate-guide-to-emotion-
recognition-from-facial-expressions-using-python-64e58d4324ff
Xia et al. (2022): Local and Global Perception GAN for Facial Expression
Synthesis
Happy et al. (2015): Automatic Facial Expression recognition using
features of salient facial patches
Chiranjeevi et al. (2015): Neutral Face Classification Using Personalized
Appearance Models for Fast and Robust Emotion Detection

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Real-world adversarial attacks on DNNs for traffic
sign recognition
Adversarial inputs – patterns intentionally generated to fool
deep neural networks (DNNs)

Tasks:
Run and extend existing PyTorch implementation of attacks on
several DNNs for traffic sign recognition
Generate adversarial patches with different attack settings and of
various sizes
Live testing of printed adversarial patches in the lab

Research Question:
To what extent can DNNs for traffic sign recognition be compromised
with a printed patch?
What are the best settings for a real-world attack?

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Pixel-Based Robotic Arm Control and Task Training
through Reinforcement Learning (RL)
Tasks:
Get familiar with the Isaac-Orbit framework.
Develop a RL algorithm for controlling a robotic arm
based on pixel inputs.
Train the Franka Panda robot in simulation using the
developed RL algorithm.
Transfer the learned task from simulation to the real
Franka Panda robot.
Research Questions:
Can RL be used to control a robotic arm through pixel
inputs?
How does the learned policy in simulation transfer to the
real robot?
Literature:
Julian Ibarz, "How to train your robot with deep
reinforcement learning: lessons we have learned" https://isaac-orbit.github.io/

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Anmeldung
Anmeldung der Teilnehmer/innen
Name
Matrikelnummer
Geburtsdatum
Privatanschrift
Studiengang mit Fachsemester
E-Mail Adresse
Telefonnummer
Staatsangehörigkeit
Postanschrift
Thema

Formulare (Gastvereinbarungen)

Codekarten (Erst ab Vertragsbeginn)

KIT-Card über https://my.fzi.de freischalten. Hierfür ist ein gültiger Account notwendig. Die Freischaltung kann
über „Persönliche Daten“ → „Allgemeine Infos“ → „KIT-Card“ beantragt werden.

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Allgemeines
Praktikum mit 4,5 ECTS (LV-Nr. 2512500)
Wirtschaftswissenschaftler: Anrechnung in Informatik-Modul
Maschinenbauer, Elektrotechniker etc. Anrechnung via Schein
Informatiker: Anrechnung mit Betreuer im Anschluss besprechen

Individuelle Benotung
Engagement
Abschlussvortrag
Schriftlicher Ausarbeitung
(Ergebnis)

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Ziele
Einblick in Themengebiete
Automatisiertes Fahren
Maschinelles Lernen
Sammeln praktischer Erfahrung
Implementierung von Algorithmen
Koordination von Softwareprojekten
Wissenschaftliches Arbeiten

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Aufgaben
Literaturrecherche
Implementierung
Zwischenvortrag des Konzeptes und erster Ergebnisse (Vortrag, ggf.
Demo; nicht bewertet)
Abschlussvortrag des Konzeptes und der Ergebnisse (Vortrag, Demo)
Praktikumsbericht mit ca. 5-7 Seiten, bzw. IEEE Paper Format

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Literaturrecherche
Quellen und Tools
https://arxiv.org/
https://ieeexplore.ieee.org/Xplore/home.jsp
https://www.researchgate.net
https://scholar.google.com
https://www.mendeley.com
https://www.overleaf.com

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Selbstorganisation
Gruppenfindung
Projektmanagement
Planung
Aufteilung
Durchführung
Dokumentation

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Zeitplan

Ab heute
Gruppenfindung, 15.06.2023
Literaturrecherche, etc. (~8 Wochen) ~.09.2023
… Zwischenpräsentation Abschlusspräsentation

~ Mitte Mai 29.07.2023 30.09.2023

Zugang zum FZI Vorlesungsende Abgabe schriftliche
Ausarbeitung

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Termine
Heute
Einführungsveranstaltung
Vorstellung der Themen
Organisatorisches
Nächste Woche
Erstes Teamtreffen online
Selbstorganisation in Gruppen (1-3 Personen)
Alternativtermin möglich (muss mit Gruppe und Betreuern abgestimmt
werden)
Anmeldung für die Prüfung (7900086) Anmeldezeitraum 17.04.-27.06.2023
Wöchentlich
„Fragestunde“ mit den Betreuern

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems

Fragen?

21.04.2023 Projektpraktikum Maschinelles Lernen 2023 AIFB, Applied Technical-Cognitive Systems