מהפכת ה-AI כבר כאן, ואנו לומדים על מודלים גנרטיביים ועל טרנספורמרים (בקורס המתקדם) כבר משנת 2019. ראייה ממוחשבת היא אחד מתחומי הבינה המלאכותית, והיא אחד התחומים הצומחים ביותר בהנדסה, ומאפשרת ניתוח והבנה אוטומטית של תמונות ווידאו, המהווים כ-80% מתעבורת האינטרנט העולמית. דוגמאות לשימושים בראייה ממוחשבת כוללות זיהוי טקסט בתמונה, זיהוי חפצים, אנשים, מקומות, תרחישים ופעילויות, סיווג מחלות בתמונות רפואיות, חילוץ מבנה תלת-ממדי מתוך תמונות דו-ממדיות או וידאו, תיאור תוכן של תמונות, ויצירת תמונות וקטעי וידאו מתמונה, טקסט או שילובם. שימושים אלו מסייעים לבני אדם לבצע משימות בצורה טובה יותר, כגון נהיגה, התראות ומניעת תאונות, נהיגה אוטונומית, סיווג ומיון אוטומטי של תוכן תמונות או סרטוני וידאו, ושיפור ממשקי אדם-מכונה.

קורס זה מהווה מבוא לתחום הראייה הממוחשבת והוא בסיס לקורס ההמשך המתקדם, רשתות נוירונים לשימושי ראייה ממוחשבת. הקורס יכול להוות קורס עצמאי, להרחיב את קורסי המבוא בעיבוד תמונה או בגרפיקה ממוחשבת, ולהרחיב את קורסי למידת המכונה לתחום הראייה הממוחשבת (הבסיס הנדרש לקורס יינתן במהלכו). הקורס מתאים לסטודנטים בכל מסלולי התוכנה, ומדעי הנתונים, בעלי רקע בתכנות מונחה עצמים בסביבת פייתון, ובפרט למסלול למידת מכונה. הוא כולל התייחסות לטכנולוגיות עדכניות בחזית התעשייה והמחקר.

נושאי הקורס כוללים: מבוא ושימושי ראייה ממוחשבת, ייצור וייצוג תמונות; עיבוד תמונה במרחב ובתדר כולל קונבולוציה וקורלציה; שימושי עיבוד מקדים לאוגמנטציות וגיוון ושיפור ה-dataset; מאפיינים ומבוא לזיהוי תמונה, מבוא לרשתות קונבולוציה; שימושי רשתות קונבולוציה לצרכי סיווג, גילוי וסגמנטציה, אימון רשתות בשימושי ראייה ממוחשבת; ויזואליזציה והבנה. הקורס כולל הרצאה שבועית פרונטלית (בהיקף של 2 ש"ש), ומעבדה/תרגול שבועי (בהיקף של 2 ש"ש) המשלימים את ההרצאה.

במעבדה יתרגלו ויתנסו הסטודנטים בהיבטים מעשיים של ראייה ממוחשבת תוך חשיפה למאמרים ומקורות מדעיים בתחום, שיקולים מעשיים, ועד גישה והגשה לתחרויות בתחום (אופציונלי). תחומי הלמידה העמוקה בכלל, והראייה הממוחשבת בפרט, עתירי שינויים תכופים, כאשר טכנולוגיות בנות חמש שנים נחשבות לעתים קרובות ללא עדכניות. לכן לימוד עצמי בתחום מהווה אבן בניין חשובה לעוסקים בתחום, והמעבדות דורשות עבודה עצמית, ונבנו כדי להקנות בין השאר גם מיומנויות כאלו.

חלק מהמעבדות בקורס בנויות בשיטת "כיתה הפוכה", הדורשת לימוד עצמי, וכוללות התנסות מעשית בראייה ממוחשבת תוך שימוש בכלי תוכנה ומודלים מתאימים (ספריות ייעודיות לראייה ממוחשבת כמו OpenCV, עיבוד נומרי ולמידת מכונה, וסביבות כמו PyTorch תוך למידה ותרגול ארכיטקטורות רשת שונות ושימושים כמו סיווג, עם טעימות מגילוי וסגמנטציה). תינתן התייחסות בעיקר לסביבת PyTorch, אך יוזכרו גם סביבות אחרות כמו TensorFlow ו-Keras.

מהפכת ה-AI כבר כאן, ואנו לומדים באפקה על מודלים גנרטיביים ועל טרנספורמרים (בקורס המתקדם) כבר משנת 2019. ראייה ממוחשבת היא אחד מהתחומים הצומחים ביותר בהנדסה, ומאפשרת ניתוח והבנה אוטומטית של מדיה ויזואלית, כמו תמונות ווידאו. מדיה ויזואלית מהווה חלק מהותי, כ-80% מתעבורת האינטרנט העולמית, ולכן קיימת דרישה גוברת לעיבוד וניתוח של תמונות ווידאו. דוגמאות לראייה ממוחשבת קיימות במנעד רחב של תחומים, וכוללות בין היתר סיווג תמונות, זיהוי טקסט בתמונה, זיהוי חפצים, אנשים, מקומות, תרחישים ופעילויות, סיווג מחלות בתמונות רפואיות, ועד לחילוץ מבנה תלת ממדי מתוך מספר תמונות דו ממדיות או מסרט וידאו וייצור תמונות מלאכותיות באיכות צילום. שימושי ראייה ממוחשבת מאפשרים לסייע לבני אדם לבצע משימות בצורה טובה יותר, למשל ברכב, מהתראות ומניעת תאונות, ועד נהיגה אוטונומית; דרך סיווג ומיון אוטומטי של אובייקטים ותוכן תמונות או סרטוני וידאו; המשך בשיפור ממשקי אדם מכונה, ולמעשה כמעט בכל מקום ותחום. כיום שימוש בכלים גנרטיביים הופך לנפוץ, והקורס מהווה בסיס להבנת התחום (במסגרת הנושאים המתקדמים) אשר מורחב בקורס עוקב.

קורס זה עוסק בראייה הממוחשבת. הקורס יכול להוות קורס עצמאי, להרחיב את קורסי המבוא בעיבוד תמונה ואות או בלמידת מכונה ועמוקה, וכמובן להרחיב את קורסי ההתמחות בנושאי הראייה הממוחשבת (הבסיס הנדרש לקורס יינתן במהלכו). הקורס מתאים לסטודנטים בהתמחות עיבוד אות, תמונה ווידאו , בעלי רקע בתכנות מונחה עצמים בסביבת פיתון, או במעבדה מתקדמת בעיבוד תמונה. הוא כולל התייחסות לטכנולוגיות עדכניות בחזית התעשייה והמחקר. בגלל קצב השינויים בתחום, הקורס מפנה למקורות ומאמרים עדכניים ומפתח יכולות של למידה עצמית, כמפורט בהמשך.

נושאי הקורס כוללים:

- מבוא ושימושי ראייה ממוחשבת, תזכורת והרחבה לעיבודי תמונה בסיסיים רלוונטיים לקורס.

- ראייה ממחשבת מבוססת מודל (קלאסית): קונבולוציה וקורלציה, ושימושיהם במציאת תבניות; שימושי עיבוד מקדים לאוגמטציות וגיוון ושיפור ה-dataset; מאפיינים ומבוא לזיהוי תמונה.

- ראייה ממוחשבת מבוססת דאטה ורשתות עמוקות: מבוא לרשתות נוירונים ולרשתות קונבולוציה; שימושי רשתות לצרכי סיווג (וסקירת גילוי וסגמנטציה), אימון רשתות בשימושי ראייה ממוחשבת; ויזואליזציה והבנה.

הקורס כולל הרצאה שבועית פרונטלית (בהיקף של 2 ש"ש), ומעבדה \ תרגול שבועית (בהיקף של 2 ש"ש) המשלימים את ההרצאה.

במעבדה יתרגלו ויתנסו הסטודנטים בהיבטים מעשיים של ראייה ממוחשבת תוך חשיפה למאמרים ומקורות מדעיים בתחום מצד אחד, המשך בשיקולים מעשיים, ועד גישה והגשה לתחרויות בתחום (אופציה), או לחלופין הצגת מאמר מתקדם. תחומי הלמידה העמוקה בכלל, והראייה הממוחשבת בפרט עתירי שינויים תכופים, כאשר טכנולוגיות בנות חמש שנים נחשבות לעתים קרובות ללא עדכניות. לכן רכישת יכולת לימוד עצמי מהווה אבן בניין חשובה לעוסקים בתחום. חלק מהמעבדות דורשות עבודה עצמית, ונבנו כדי להקנות בין השאר גם מיומנויות כאלו. הן בנויות בשיטת "כיתה הפוכה": יש להכין דוח מכין לפני המעבדה (ללא ניקוד, אך נותן הדרכה ללימוד עצמי לקראת המעבדה). ובסיומה יש להגיש בד"כ דוח מסכם המיישם את הנלמד במעבדה, או להכין תרגיל בית המתבסס על מספר מעבדות. המעבדות ותרגילי המחשב יבוצעו בסביבת python עם Jupyter (או סביבות אחרת כמו google colab, או לחלופין VScode לפי בחירת המרצה, יציבות הסביבה והתאמתה). ייעשה שימוש בספריות OpenCV, וספריות ראייה ממוחשבת אחרות. כן יינתנו דוגמאות בסיסיות בספריות למידת מכונה כמו pytorch ו\או tensorflow ו-keras. תינתן גם התייחסות כללית לסביבות אחרות. כאמור, בשנת תשפ"ד, מומלצת היכרות מוקדמת טובה עם פייתון, אך תינתן הדרכה מתאימה שתאפשר לימוד עצמי מעמיק של השפה והסביבה.

המעבדה המתקדמת לעיבוד תמונה ניתנת במקביל ומהווה השלמה והרחבה לקורס המבוא בעיבוד תמונה, והיא פותחת צוהר לתת ההתמחות בעיבוד תמונה ווידאו על ידי התנסות מעשית בעיבוד תמונה.

המעבדה גם מהווה תנאי קדם לקורסים כמו ראייה ממוחשבת ועיבוד וידאו בהם עוסקים בלמידה עמוקה ומודלי AI/

המעבדה משלבת הכנה עצמית ועבודה מקדימה בשיטת "כיתה הפוכה", ובכך מאפשרת הפנמת העבודה העצמית, והפקת המירב תוך פתרון הבעיות במהלך השהייה במעבדה. העבודה בשיטת כיתה הפוכה תיערך באופן מדורג, כדי לעזור לכולם לעמוד בקצב. בסיום הקורס תהיו מסוגלים לכתוב קוד שיפתור בעייה הנדסית בתחום. כלומר יידרש מאמץ אך הוא בעל ערך מעשי ותרומה ליכולות המשתתפים.

המעבדה כוללת שני חלקים (שאינם שווים באורכם). בחלק הראשון של המעבדה (11 מפגשים) תתקיים מעבדת היכרות ומבוא (ללא דו"ח), וביצוע 5 ניסויים, שכל אחד נמשך 2 מפגשים. בחלק השני של המעבדה – (הכנה החל מאמצע הסמסטר, וכן בשני המפגשים האחרונים של המעבדה) הסטודנטים יכינו ויציגו פרויקטון (מיני-פרויקט).

בחלק הראשון (החל משבוע 2), יתקיימו הניסויים. במפגש הראשון בכל ניסוי ייסקר הנושא, יוצגו הדגמות וייבנה מתווה הניסוי. למפגש הראשון יידרש דו"ח מכין ראשוני הכולל בין השאר: קריאה מראש של הניסוי המתוכנן, הכנת "קוד חימום" המתבסס על ידע קודם (באותות חד ממדיים או בנושאים שכבר כוסו במעבדה), ועל תכני הקורס במבוא לעיבוד תמונה שנלמדו עד כה. במהלך המפגש הראשון נסקור את הניסוי המלא ונדגים חלקים ממנו, ונתחיל את ביצועו בעבודה בצוותים במעבדה. עד למפגש השני יש לנסות ולהשלים את ביצוע הניסוי ככל שניתן. למפגש השני יגיע תמיד כל צוות עם דו"ח מכין מלא (הכולל את הראשון ושאלות נוספות שלא נדרשו למפגש הראשון), קוד חימום נוסף אם נדרש, ואת תכנון הניסוי אותו הוא יבצע במפגש השני.

לאחר שני מפגשי הניסוי והשלמת ביצוע הניסוי יוגש דו"ח מסכם, שאליו יצורפו הדו"חות המכינים וכל הקוד שהוכן. סה"כ 5 דוחות מסכמים בהיקף דו-שבועי.

בחלק השני של המעבדה – (הכנה החל מאמצע הסמסטר, וכן במהלך המפגשים האחרונים של המעבדה) הסטודנטים יכינו ויציגו פרויקטון (מיני-פרויקט), בנושא שייבחר ויאושר במהלך הסמסטר. בפרויקטון ישלבו או ישתמשו הסטודנטים בידע שרכשו במהלך המעבדה, ובכך יקבלו ניסיון מעשי בכלי עיבוד תמונה. התייעצות בהכנת הפרויקטון וקבלת משוב מהמרצה יהיה בהיקף ניסוי של מפגש אחד, ויסתיים לפני המפגש האחרון של הסמסטר. במפגש האחרון תתבצע הצגה של הפרויקטונים בפני הכיתה, ובחינה עליהם. בתיאום מראש עם המרצה \ מדריך המעבדה ובאחריות הסטודנט (כל עוד אינו סותר דרישה אקדמית אחרת), תתאפשר בחירת נושא שישלים וירחיב (אך לא "ישכפל") פעילות מחוץ למעבדה, כמו חלק בפרויקט הגמר של הסטודנט, או פרויקטון בקורס "מבוא לעיבוד תמונה", (האחרון יהיה בתיאום משותף מראש של האחראי האקדמי על המעבדה ושל מרצה הקורס).