מהפכת ה-AI כבר כאן, ואנו לומדים על מודלים גנרטיביים ועל טרנספורמרים (בקורס המתקדם) כבר משנת 2019. ראייה ממוחשבת היא אחד מתחומי הבינה המלאכותית, והיא אחד התחומים הצומחים ביותר בהנדסה, ומאפשרת ניתוח והבנה אוטומטית של תמונות ווידאו, המהווים כ-80% מתעבורת האינטרנט העולמית. דוגמאות לשימושים בראייה ממוחשבת כוללות זיהוי טקסט בתמונה, זיהוי חפצים, אנשים, מקומות, תרחישים ופעילויות, סיווג מחלות בתמונות רפואיות, חילוץ מבנה תלת-ממדי מתוך תמונות דו-ממדיות או וידאו, תיאור תוכן של תמונות, ויצירת תמונות וקטעי וידאו מתמונה, טקסט או שילובם. שימושים אלו מסייעים לבני אדם לבצע משימות בצורה טובה יותר, כגון נהיגה, התראות ומניעת תאונות, נהיגה אוטונומית, סיווג ומיון אוטומטי של תוכן תמונות או סרטוני וידאו, ושיפור ממשקי אדם-מכונה.

קורס זה מהווה מבוא לתחום הראייה הממוחשבת והוא בסיס לקורס ההמשך המתקדם, רשתות נוירונים לשימושי ראייה ממוחשבת. הקורס יכול להוות קורס עצמאי, להרחיב את קורסי המבוא בעיבוד תמונה או בגרפיקה ממוחשבת, ולהרחיב את קורסי למידת המכונה לתחום הראייה הממוחשבת (הבסיס הנדרש לקורס יינתן במהלכו). הקורס מתאים לסטודנטים בכל מסלולי התוכנה, ומדעי הנתונים, בעלי רקע בתכנות מונחה עצמים בסביבת פייתון, ובפרט למסלול למידת מכונה. הוא כולל התייחסות לטכנולוגיות עדכניות בחזית התעשייה והמחקר.

נושאי הקורס כוללים: מבוא ושימושי ראייה ממוחשבת, ייצור וייצוג תמונות; עיבוד תמונה במרחב ובתדר כולל קונבולוציה וקורלציה; שימושי עיבוד מקדים לאוגמנטציות וגיוון ושיפור ה-dataset; מאפיינים ומבוא לזיהוי תמונה, מבוא לרשתות קונבולוציה; שימושי רשתות קונבולוציה לצרכי סיווג, גילוי וסגמנטציה, אימון רשתות בשימושי ראייה ממוחשבת; ויזואליזציה והבנה. הקורס כולל הרצאה שבועית פרונטלית (בהיקף של 2 ש"ש), ומעבדה/תרגול שבועי (בהיקף של 2 ש"ש) המשלימים את ההרצאה.

במעבדה יתרגלו ויתנסו הסטודנטים בהיבטים מעשיים של ראייה ממוחשבת תוך חשיפה למאמרים ומקורות מדעיים בתחום, שיקולים מעשיים, ועד גישה והגשה לתחרויות בתחום (אופציונלי). תחומי הלמידה העמוקה בכלל, והראייה הממוחשבת בפרט, עתירי שינויים תכופים, כאשר טכנולוגיות בנות חמש שנים נחשבות לעתים קרובות ללא עדכניות. לכן לימוד עצמי בתחום מהווה אבן בניין חשובה לעוסקים בתחום, והמעבדות דורשות עבודה עצמית, ונבנו כדי להקנות בין השאר גם מיומנויות כאלו.

חלק מהמעבדות בקורס בנויות בשיטת "כיתה הפוכה", הדורשת לימוד עצמי, וכוללות התנסות מעשית בראייה ממוחשבת תוך שימוש בכלי תוכנה ומודלים מתאימים (ספריות ייעודיות לראייה ממוחשבת כמו OpenCV, עיבוד נומרי ולמידת מכונה, וסביבות כמו PyTorch תוך למידה ותרגול ארכיטקטורות רשת שונות ושימושים כמו סיווג, עם טעימות מגילוי וסגמנטציה). תינתן התייחסות בעיקר לסביבת PyTorch, אך יוזכרו גם סביבות אחרות כמו TensorFlow ו-Keras.

מהפכת ה-AI כבר כאן, ואנו לומדים על טרנספורמרים משנת 2019. ראייה ממוחשבת היא מהתחומים הצומחים ביותר בהנדסה, ומאפשרת ניתוח והבנה אוטומטית של תמונות ושל וידאו, שמהווים חלק מהותי, כ-80%, מתעבורת האינטרנט העולמית. מודלי שפה גדולים (Large Language Models – LLMs) מהווים נדבך חשוב בבינה מלאכותית יוצרת, ומשמשים למשל בתיאור תוכן תמונה, בהפיכת טקסט לתמונה, ועריכה סמנטית של תמונות. מודלים אלו הם חלק מתהליך שהואץ בשנים האחרונות והמשפיע על סביבות שונות. הקורס נותן כלים בהבנת הטכנולוגיה הזו והאפשרויות הנובעות משימוש בה.

קורס זה מהווה המשך ישיר לקורס המבוא לראייה ממוחשבת והוא מתרכז כמובן בשיטות מבוססות רשתות נוירונים לשימושי ראייה ממוחשבת ומודלי שפה גדולים. הקורס מתאים לסטודנטים בכל מסלולי התוכנה בעלי רקע מתאים, ובפרט למסלול למידת מכונה. הוא כולל התייחסות לטכנולוגיות עדכניות בחזית התעשייה והמחקר. הקורס יהיה במתכונת דומה לקורס המבוא, אם כי אינטנסיבי פחות מבחינת כמות העבודות, אך מעמיק ומתקדם לא פחות מבחינת התוכן המקצועי.

נושאי הקורס העיקריים כוללים: חזרה והרחבה של דטקציה (גילוי), סגמנטציה, רשתות זמניות (Recurrent Neural Networks, RNN); מבוא למודלי שפה (Language Models), attention, טרנספורמרים ו-GPT, רשתות ליצירת תמונות (כמו Auto encoders, GAN ורשתות דיפוזיה); (נושאים מתקדמים ייבחרו מתוך: רשתות יוצרות נוספות, Alignment and Ethics, ראייה תלת מימדית ורשתות לניתוח וידאו, Reinforcement Learning). הקורס כולל הרצאה שבועית פרונטלית (בהיקף של 2 ש"ש),ומעבדה \ תרגול שבועית (בהיקף של 2 ש"ש).

במעבדה יתרגלו ויתנסו הסטודנטים בהיבטים מעשיים של ראייה ממוחשבת מבוססי למידה עמוקה, תוך חשיפה למאמרים ומקורות מדעיים בתחום מצד אחד, ולקוד ושיקולים מעשיים מצד שני. תרגילי המחשב יבוצעו בסביבת python עם Jupyter, (לוקאלית או בסביבת Google-Colab) תוך שימוש בספריות מתאימות. יתבצעו פעולות תוך שימוש בכלים עדכניים של Generative AI.

חלק מהמעבדות יתבצעו במשך שתי פגישות: הנושא יוצג ויוסבר בפגישה הראשונה, ויורחב בעבודה עצמית של הסטודנטים בשנייה. חלק מפעילות המעבדה משלבת הכנה עצמית ועבודה מקדימה בשיטת "כיתה הפוכה", בהן המעבדות משמשות לעזרה בפתרון בעיות בהן נתקלתם. ובכך מאפשרת הפנמת העבודה העצמית, והפקת המירב תוך פתרון הבעיות במהלך הפעילות במעבדה. העבודה בשיטת כיתה הפוכה תיערך באופן מדורג, כדי לעזור לכולם לעמוד בקצב. בסיום הקורס תהיו מסוגלים לכתוב קוד שיפתור בעיה הנדסית בתחום. כלומר יידרש מאמץ אך הוא בעל ערך מעשי ותרומה ליכולות המשתתפים.

מהפכת ה-AI כבר כאן, ואנו לומדים באפקה על מודלים גנרטיביים ועל טרנספורמרים (בקורס המתקדם) כבר משנת 2019. ראייה ממוחשבת היא אחד מהתחומים הצומחים ביותר בהנדסה, ומאפשרת ניתוח והבנה אוטומטית של מדיה ויזואלית, כמו תמונות ווידאו. מדיה ויזואלית מהווה חלק מהותי, כ-80% מתעבורת האינטרנט העולמית, ולכן קיימת דרישה גוברת לעיבוד וניתוח של תמונות ווידאו. דוגמאות לראייה ממוחשבת קיימות במנעד רחב של תחומים, וכוללות בין היתר סיווג תמונות, זיהוי טקסט בתמונה, זיהוי חפצים, אנשים, מקומות, תרחישים ופעילויות, סיווג מחלות בתמונות רפואיות, ועד לחילוץ מבנה תלת ממדי מתוך מספר תמונות דו ממדיות או מסרט וידאו וייצור תמונות מלאכותיות באיכות צילום. שימושי ראייה ממוחשבת מאפשרים לסייע לבני אדם לבצע משימות בצורה טובה יותר, למשל ברכב, מהתראות ומניעת תאונות, ועד נהיגה אוטונומית; דרך סיווג ומיון אוטומטי של אובייקטים ותוכן תמונות או סרטוני וידאו; המשך בשיפור ממשקי אדם מכונה, ולמעשה כמעט בכל מקום ותחום. כיום שימוש בכלים גנרטיביים הופך לנפוץ, והקורס מהווה בסיס להבנת התחום (במסגרת הנושאים המתקדמים) אשר מורחב בקורס עוקב.

קורס זה עוסק בראייה הממוחשבת. הקורס יכול להוות קורס עצמאי, להרחיב את קורסי המבוא בעיבוד תמונה ואות או בלמידת מכונה ועמוקה, וכמובן להרחיב את קורסי ההתמחות בנושאי הראייה הממוחשבת (הבסיס הנדרש לקורס יינתן במהלכו). הקורס מתאים לסטודנטים בהתמחות עיבוד אות, תמונה ווידאו , בעלי רקע בתכנות מונחה עצמים בסביבת פיתון, או במעבדה מתקדמת בעיבוד תמונה. הוא כולל התייחסות לטכנולוגיות עדכניות בחזית התעשייה והמחקר. בגלל קצב השינויים בתחום, הקורס מפנה למקורות ומאמרים עדכניים ומפתח יכולות של למידה עצמית, כמפורט בהמשך.

נושאי הקורס כוללים:

- מבוא ושימושי ראייה ממוחשבת, תזכורת והרחבה לעיבודי תמונה בסיסיים רלוונטיים לקורס.

- ראייה ממחשבת מבוססת מודל (קלאסית): קונבולוציה וקורלציה, ושימושיהם במציאת תבניות; שימושי עיבוד מקדים לאוגמטציות וגיוון ושיפור ה-dataset; מאפיינים ומבוא לזיהוי תמונה.

- ראייה ממוחשבת מבוססת דאטה ורשתות עמוקות: מבוא לרשתות נוירונים ולרשתות קונבולוציה; שימושי רשתות לצרכי סיווג (וסקירת גילוי וסגמנטציה), אימון רשתות בשימושי ראייה ממוחשבת; ויזואליזציה והבנה.

הקורס כולל הרצאה שבועית פרונטלית (בהיקף של 2 ש"ש), ומעבדה \ תרגול שבועית (בהיקף של 2 ש"ש) המשלימים את ההרצאה.

במעבדה יתרגלו ויתנסו הסטודנטים בהיבטים מעשיים של ראייה ממוחשבת תוך חשיפה למאמרים ומקורות מדעיים בתחום מצד אחד, המשך בשיקולים מעשיים, ועד גישה והגשה לתחרויות בתחום (אופציה), או לחלופין הצגת מאמר מתקדם. תחומי הלמידה העמוקה בכלל, והראייה הממוחשבת בפרט עתירי שינויים תכופים, כאשר טכנולוגיות בנות חמש שנים נחשבות לעתים קרובות ללא עדכניות. לכן רכישת יכולת לימוד עצמי מהווה אבן בניין חשובה לעוסקים בתחום. חלק מהמעבדות דורשות עבודה עצמית, ונבנו כדי להקנות בין השאר גם מיומנויות כאלו. הן בנויות בשיטת "כיתה הפוכה": יש להכין דוח מכין לפני המעבדה (ללא ניקוד, אך נותן הדרכה ללימוד עצמי לקראת המעבדה). ובסיומה יש להגיש בד"כ דוח מסכם המיישם את הנלמד במעבדה, או להכין תרגיל בית המתבסס על מספר מעבדות. המעבדות ותרגילי המחשב יבוצעו בסביבת python עם Jupyter (או סביבות אחרת כמו google colab, או לחלופין VScode לפי בחירת המרצה, יציבות הסביבה והתאמתה). ייעשה שימוש בספריות OpenCV, וספריות ראייה ממוחשבת אחרות. כן יינתנו דוגמאות בסיסיות בספריות למידת מכונה כמו pytorch ו\או tensorflow ו-keras. תינתן גם התייחסות כללית לסביבות אחרות. כאמור, בשנת תשפ"ד, מומלצת היכרות מוקדמת טובה עם פייתון, אך תינתן הדרכה מתאימה שתאפשר לימוד עצמי מעמיק של השפה והסביבה.

קורס זה מהווה המשך טבעי לקורס המבוא בהתמחות: "מבוא לעיבוד תמונה", ומשלים לקורס ראייה ממוחשבת, עם דגש על מודלים מתקדמים יותר ועדכניים. נתייחס ונבין גם רשתות רגנרטיביות בהקשרי עיבוד וידאו, תמונה, טקסט ואודיו.

אות מולטימדיה בנוי מאותות חוזי (וידאו) ושמע. אות הוידאו מכיל רצף של תמונות בודדות, בעלות קשר ביניהן.

הקורס מציג עקרונות ושיטות בדחיסה ועיבוד של אותות וידאו ומולטימדיה, החל מדגימת סדרות זמניות של תמונות, דרך טכניקות עיבוד וכלה באלגוריתמים מפורטים הנמצאים בדחיסות וידאו כמו MPEG, H.265 ו-MP3. בשנת תשפ"ד, במקום התייחסות לאודיו (MP3), ייסקר נושא ראייה ממוחשבת עם דגש על תמונה ווידאו, וייסקר נושא רשתות בינה מלאכותית יוצרת (Generative AI).

הקורס דן בהיבטים התיאורטיים והמעשיים של עיבוד אותות וידאו ומולטימדיה ובכלל זה השפעות מערכת הראיה האנושית על דחיסת ווידאו, שערוכי תנועה בסיסיים ומתקדמים, דחיסות מבוססות צורת גל, דחיסות מבוססות טרנספורם, חיזוי ושערוכי תנועה.

תנותח חשיבות דחיסה סקאלאבילית, והשפעה על הפרמטרים הנובעים מהשוני באיכויות התצוגה, בקצבי הדחיסה ובאיכויות וסוגי הערוץ שונים.

ייסקרו מושגי יסוד בניתוח אותות וידאו. ייסקר נושא ראייה ממוחשבת עם התייחסות לתמונה ווידאו כולל רשתות בינה מלאכותית יוצרת (Generative AI). לחלופין, כאמור, נבין את השפעת מערכת השמיעה האנושית על דחיסת אודיו. ונטפל בדחיסת אודיו באיכות גבוהה, מודלים פסיכו אקוסטיים, ועקרונות ומימוש דחיסת MP3.

לסיכום ייסקרו חלקים נבחרים בתקני MPEG ו-H.26x , כולל שילובי CODECs שונים בעטיפות סטנדרטיות,

נושא תיוג והבנת מולטימדיה, ודחיסה והצגה בתלת מימד ובמציאות מוגברת (augmented reality), או נושא מתקדם חלופי, כמו רשתות בינה מלאכותית יוצרת (Generative AI), ו\או כלים עדכניים לייצור וידאו מטקסט או מתמונות בודדות.

הסטודנטים ישתמשו בכלים לקריאה והבנת מאמרים מדעיים ויציגו מאמר נבחר מהתחום בפני שאר הסטודנטים.

לחלופין, במסגרת פרויקטון הקורס תהיה אפשרות להשתתף בתחרות ראייה ממוחשבת (בהתאם להחלטת המרצה, וזמינות תחרויות רלוונטיות – החלטה תינתן בתחילת המחצית השנייה של הקורס).

הקורס כולל הרצאה פרונטלית (בהיקף של 2 שעות שבועיות), ומעבדה ו\או תרגול פרונטאלי (בהיקף של 2 שעות שבועיות).

המעבדה המתקדמת לעיבוד תמונה ניתנת במקביל ומהווה השלמה והרחבה לקורס המבוא בעיבוד תמונה, והיא פותחת צוהר לתת ההתמחות בעיבוד תמונה ווידאו על ידי התנסות מעשית בעיבוד תמונה.

המעבדה גם מהווה תנאי קדם לקורסים כמו ראייה ממוחשבת ועיבוד וידאו בהם עוסקים בלמידה עמוקה ומודלי AI/

המעבדה משלבת הכנה עצמית ועבודה מקדימה בשיטת "כיתה הפוכה", ובכך מאפשרת הפנמת העבודה העצמית, והפקת המירב תוך פתרון הבעיות במהלך השהייה במעבדה. העבודה בשיטת כיתה הפוכה תיערך באופן מדורג, כדי לעזור לכולם לעמוד בקצב. בסיום הקורס תהיו מסוגלים לכתוב קוד שיפתור בעייה הנדסית בתחום. כלומר יידרש מאמץ אך הוא בעל ערך מעשי ותרומה ליכולות המשתתפים.

המעבדה כוללת שני חלקים (שאינם שווים באורכם). בחלק הראשון של המעבדה (11 מפגשים) תתקיים מעבדת היכרות ומבוא (ללא דו"ח), וביצוע 5 ניסויים, שכל אחד נמשך 2 מפגשים. בחלק השני של המעבדה – (הכנה החל מאמצע הסמסטר, וכן בשני המפגשים האחרונים של המעבדה) הסטודנטים יכינו ויציגו פרויקטון (מיני-פרויקט).

בחלק הראשון (החל משבוע 2), יתקיימו הניסויים. במפגש הראשון בכל ניסוי ייסקר הנושא, יוצגו הדגמות וייבנה מתווה הניסוי. למפגש הראשון יידרש דו"ח מכין ראשוני הכולל בין השאר: קריאה מראש של הניסוי המתוכנן, הכנת "קוד חימום" המתבסס על ידע קודם (באותות חד ממדיים או בנושאים שכבר כוסו במעבדה), ועל תכני הקורס במבוא לעיבוד תמונה שנלמדו עד כה. במהלך המפגש הראשון נסקור את הניסוי המלא ונדגים חלקים ממנו, ונתחיל את ביצועו בעבודה בצוותים במעבדה. עד למפגש השני יש לנסות ולהשלים את ביצוע הניסוי ככל שניתן. למפגש השני יגיע תמיד כל צוות עם דו"ח מכין מלא (הכולל את הראשון ושאלות נוספות שלא נדרשו למפגש הראשון), קוד חימום נוסף אם נדרש, ואת תכנון הניסוי אותו הוא יבצע במפגש השני.

לאחר שני מפגשי הניסוי והשלמת ביצוע הניסוי יוגש דו"ח מסכם, שאליו יצורפו הדו"חות המכינים וכל הקוד שהוכן. סה"כ 5 דוחות מסכמים בהיקף דו-שבועי.

בחלק השני של המעבדה – (הכנה החל מאמצע הסמסטר, וכן במהלך המפגשים האחרונים של המעבדה) הסטודנטים יכינו ויציגו פרויקטון (מיני-פרויקט), בנושא שייבחר ויאושר במהלך הסמסטר. בפרויקטון ישלבו או ישתמשו הסטודנטים בידע שרכשו במהלך המעבדה, ובכך יקבלו ניסיון מעשי בכלי עיבוד תמונה. התייעצות בהכנת הפרויקטון וקבלת משוב מהמרצה יהיה בהיקף ניסוי של מפגש אחד, ויסתיים לפני המפגש האחרון של הסמסטר. במפגש האחרון תתבצע הצגה של הפרויקטונים בפני הכיתה, ובחינה עליהם. בתיאום מראש עם המרצה \ מדריך המעבדה ובאחריות הסטודנט (כל עוד אינו סותר דרישה אקדמית אחרת), תתאפשר בחירת נושא שישלים וירחיב (אך לא "ישכפל") פעילות מחוץ למעבדה, כמו חלק בפרויקט הגמר של הסטודנט, או פרויקטון בקורס "מבוא לעיבוד תמונה", (האחרון יהיה בתיאום משותף מראש של האחראי האקדמי על המעבדה ושל מרצה הקורס).