הקורס מציג את היסודות התיאורטיים והמעשיים של עיבוד שפה טבעית מודרני. נתחיל בייצוג טקסט, tokenization, מודלי שפה, embeddings ושיטות קלאסיות לסיווג וחיפוש טקסטים. בהמשך נלמד מודלים נוירוניים לשפה, Attention וארכיטקטורת Transformer, המהווה בסיס למודלי שפה גדולים כגון GPT ו־BERT.

הקורס שם דגש על שימושים עכשוויים במודלי שפה גדולים: prompting, instruction following, התאמת מודלים באמצעות PEFT/LoRA, בניית מערכות Retrieval Augmented Generation (RAG), ושימוש ב־Agents המפעילים כלים חיצוניים. בנוסף נעסוק בהערכת מערכות NLP ו־LLM באמצעות מטריקות שונות, כולל BLEU, ROUGE, Perplexity, BERTScore, Precision@k, Faithfulness ו־Task Success.