|
Beschreibung:
|
Large Language Models (LLMs) wie chatGPT oder Llama3 fallen in den Fachbereich Natural Language Processing (NLP). Allgemein entwickelt NLP Verfahren mit denen Computer (Maschinen) befähigt werden Texte in natürlicher Sprache zu verstehen und zu generieren. Bekannte NLP Anwendungen sind Chatbots, Information Retrieval (Suchmaschinen), Retrieval Augmented Generation (RAG), automatische Übersetzung, Textzusammenfassung, Textklassifikation, Textgenerierung, Named Entity Recognition, Entity Relation Extraction, Syntaktische und Semantische Analyse u.v.m.
Die Vorlesungsinhalte sind:
- Einführung:Was ist NLP, NLP Anwendungen, Konzepte und Herangehensweisen
- Zugriff auf Texte:Zugriff auf Textdateien, Webseiten, Pdf-Dokumente u.s.w.
- Text Preprocessing:Segmentierung, Normalisierung, Korrektur
- Repräsentationen von Wörtern und Texten:Bag-of-Word Modell und Vektor Embeddings
- Textklassifikation:Herkömmlich mit BoW und herkömmlichen Machine Learning Verfahren
- Neuronale NetzeMulti-Layer Perceptron (kurzes Recap der KI-Vorlesung), Rekurrente Neuronale Netze, LSTMs, 1D-CNNs
- TransformerAttention, Self-Attention, Encoder-Decoder Architekturen, Transformer
- Large Language Models (LLMS):BERT, chatGPT, etc.
- LLM Anwendungen:Retrieval Augemented Generation (RAG), LLM Finetuning
Die Vorlesung behandelt sowohl die theoretischen Grundlagen, als auch die Implementierung in Python.
|
