Veranstaltungsbeschreibung

113449a Natural Language Processing

Zuletzt geändert:	12.07.2024 / Maucher
EDV-Nr:	113449a
Studiengänge:	Medieninformatik (Bachelor, 7 Semester), Prüfungsleistung im Modul Natural Language Processing in Semester 3 4 6 7 Häufigkeit: nur WS
Dozent:	Prof. Dr. Johannes Maucher
Sprache:	Deutsch
Art:	-
Umfang:	2 SWS
ECTS-Punkte:	3
Workload:	Lecture: 15 x 2 SWS = 22.5 hours Pre- and Postprocessing: 15 x 2 SWS = 22.5 hours Exam preparation: 5 days, 8 hours/day = 40 hours Overall Workload =85 hours
Prüfungsform:
Beschreibung:	Large Language Models (LLMs) wie chatGPT oder Llama3 fallen in den Fachbereich Natural Language Processing (NLP). Allgemein entwickelt NLP Verfahren mit denen Computer (Maschinen) befähigt werden Texte in natürlicher Sprache zu verstehen und zu generieren. Bekannte NLP Anwendungen sind Chatbots, Information Retrieval (Suchmaschinen), Retrieval Augmented Generation (RAG), automatische Übersetzung, Textzusammenfassung, Textklassifikation, Textgenerierung, Named Entity Recognition, Entity Relation Extraction, Syntaktische und Semantische Analyse u.v.m. Die Vorlesungsinhalte sind: Einführung:Was ist NLP, NLP Anwendungen, Konzepte und Herangehensweisen Zugriff auf Texte:Zugriff auf Textdateien, Webseiten, Pdf-Dokumente u.s.w. Text Preprocessing:Segmentierung, Normalisierung, Korrektur Repräsentationen von Wörtern und Texten:Bag-of-Word Modell und Vektor Embeddings Textklassifikation:Herkömmlich mit BoW und herkömmlichen Machine Learning Verfahren Neuronale NetzeMulti-Layer Perceptron (kurzes Recap der KI-Vorlesung), Rekurrente Neuronale Netze, LSTMs, 1D-CNNs TransformerAttention, Self-Attention, Encoder-Decoder Architekturen, Transformer Large Language Models (LLMS):BERT, chatGPT, etc. LLM Anwendungen:Retrieval Augemented Generation (RAG), LLM Finetuning Die Vorlesung behandelt sowohl die theoretischen Grundlagen, als auch die Implementierung in Python.
Internet:	Homepage der Vorlesung