ראייה ממוחשבת היא מהתחומים הצומחים ביותר בהנדסה, ומאפשרת ניתוח והבנה אוטומטית של תמונות ושל וידאו, שמהווים חלק מהותי כ-80% מתעבורת האינטרנט העולמית. דוגמאות לראייה ממוחשבת נעות במנעד רחב וכוללות בין היתר זיהוי טקסט בתמונה, זיהוי חפצים, אנשים, מקומות, תרחישים ופעילויות, סיווג מחלות בתמונות רפואיות, חילוץ מבנה תלת ממדי מתוך מספר תמונות דו ממדיות או מסרט וידאו, תיאור תוכן של תמונות, ועד יצירת תמונות וקטעי וידאו מתמונה, טקסט או שילובם. שימושי ראייה ממוחשבת מאפשרים לסייע לבני אדם לבצע משימות בצורה טובה יותר, למשל בנהיגה, מהתראות ומניעת תאונות, ועד נהיגה אוטונומית; סיווג ומיון אוטומטי של תוכן תמונות או סרטוני וידאו, שיפור ממשקי אדם מכונה ועוד.

קורס זה מהווה מבוא לתחום הראייה הממוחשבת והוא בסיס לקורס ההמשך המתקדם, רשתות נוירונים לשימושי ראייה ממוחשבת. הקורס יכול להוות קורס עצמאי, להרחיב את קורסי המבוא בעיבוד תמונה או בגרפיקה ממוחשבת, וכמובן להרחיב את קורסי למידת המכונה לתחום הראייה הממוחשבת (הבסיס הנדרש לקורס יינתן במהלכו). הקורס מתאים לסטודנטים בכל מסלולי התוכנה, בעלי רקע בתכנות מונחה עצמים בסביבת פיתון, ובפרט למסלול למידת מכונה. הוא כולל התייחסות לטכנולוגיות עדכניות בחזית התעשייה והמחקר.

נושאי הקורס כוללים: מבוא ושימושי ראייה ממוחשבת, ייצור וייצוג תמונות; עיבוד תמונה במרחב ובתדר כולל קונבולוציה וקורלציה; שימושי עיבוד מקדים לאוגמטציות וגיוון ושיפור ה-dataset; מאפיינים ומבוא לזיהוי תמונה, מבוא לרשתות קונבולוציה; שימושי רשתות קונבולוציה לצרכי סיווג גילוי וסגמנטציה, אימון רשתות בשימושי ראייה ממוחשבת; ויזואליזציה והבנה. הקורס כולל הרצאה שבועית פרונטלית (בהיקף של 2 ש"ש), ומעבדה \ תרגול שבועית (בהיקף של 2 ש"ש) המשלימים את ההרצאה.

במעבדה יתרגלו ויתנסו הסטודנטים בהיבטים מעשיים של ראייה ממוחשבת תוך חשיפה למאמרים ומקורות מדעיים בתחום מצד אחד, המשך בשיקולים מעשיים, ועד גישה והגשה לתחרויות בתחום (אופציה). תחומי הלמידה העמוקה בכלל, והראייה הממוחשבת בפרט עתירי שינויים תכופים, כאשר טכנולוגיות בנות חמש שנים נחשבות לעתים קרובות ללא עדכניות. לכן לימוד עצמי בתחום מהווה אבן בניין חשובה לעוסקים בתחום, והמעבדות דורשות עבודה עצמית, ונבנו כדי להקנות בין השאר גם מיומנויות כאלו. חלק מהמעבדות בקורס בנויות בשיטת "כיתה הפוכה": יש להכין דוח מכין לפני המעבדה (דוחות מכינים, במידה שנדרשים, מוגשים ללא ציון, אך מומלצים כדי לעקוב אחר החומר – פירוט בהמשך). במהלך המעבדה עוסקים בין השאר בפתרון בעיות שצצו בהכנה. תרגילי הבית מבוססים בחלקם על תוכן המעבדות. המעבדות ותרגילי המחשב יבוצעו בסביבת python עם Jupyter, תוך שימוש בספריות OpenCV, וספריות ראייה ממוחשבת אחרות. כן יינתנו דוגמאות בסיסיות בספריות למידת מכונה כמו pytorch ו\או tensorflow ו-keras. תינתן גם התייחסות כללית לסביבות אחרות. מומלצת הכירות מוקדמת עם פייתון. תינתן הדרכה מתאימה שתאפשר לימוד עצמי של השפה והסביבה.

ראייה ממוחשבת היא מהתחומים הצומחים ביותר בהנדסה, ומאפשרת ניתוח והבנה אוטומטית של תמונות ושל וידאו, שמהווים חלק מהותי, כ-80%, מתעבורת האינטרנט העולמית. מודלי שפה גדולים (Large Language Models – LLMs) מהווים נדבך חשוב בבינה מלאכותית יוצרת, ומשמשים למשל בתיאור תוכן תמונה, בהפיכת טקסט לתמונה, ועריכה סמנטית של תמונות. מודלים אלו הם חלק מתהליך שהואץ בשנה האחרונה והמשפיע על סביבות שונות. הקורס נותן כלים בהבנת הטכנולוגיה הזו והאפשרויות הנובעות משימוש בה.

קורס זה מהווה המשך ישיר לקורס המבוא לראייה ממוחשבת והוא מתרכז כמובן בשיטות מבוססות רשתות נוירונים לשימושי ראייה ממוחשבת ומודלי שפה גדולים. הקורס מתאים לסטודנטים בכל מסלולי התוכנה בעלי רקע מתאים, ובפרט למסלול למידת מכונה. הוא כולל התייחסות לטכנולוגיות עדכניות בחזית התעשייה והמחקר. הקורס יהיה במתכונת דומה לקורס המבוא, אם כי אינטנסיבי פחות מבחינת כמות העבודות, אך מעמיק ומתקדם לא פחות מבחינת התוכן המקצועי.

נושאי הקורס העיקריים כוללים: חזרה והרחבה של דטקציה (גילוי), סגמנטציה, רשתות זמניות (Recurrent Neural Networks, RNN); מבוא למודלי שפה (Language Models), attention, טרנספורמרים ו-GPT, רשתות ליצירת תמונות (כמו Auto encoders, GAN ורשתות דיפוזיה); (נושאים מתקדמים ייבחרו מתוך: רשתות יוצרות נוספות, Alignment and Ethics, ראייה תלת מימדית ורשתות לניתוח וידאו, Reinforcement Learning). הקורס כולל הרצאה שבועית פרונטלית (בהיקף של 2 ש"ש),ומעבדה \ תרגול שבועית (בהיקף של 2 ש"ש).

במעבדה יתרגלו ויתנסו הסטודנטים בהיבטים מעשיים של ראייה ממוחשבת מבוססי למידה עמוקה, תוך חשיפה למאמרים ומקורות מדעיים בתחום מצד אחד, ולקוד ושיקולים מעשיים מצד שני. תרגילי המחשב יבוצעו בסביבת python עם Jupyter, (לוקאלית או בסביבת Google-Colab) תוך שימוש בספריות מתאימות. יתבצעו פעולות תוך שימוש בכלים עדכניים של Generative AI.

חלק מהמעבדות יתבצעו במשך שתי פגישות: הנושא יוצג ויוסבר בפגישה הראשונה, ויורחב בעבודה עצמית של הסטודנטים בשנייה. חלק מפעילות המעבדה משלבת הכנה עצמית ועבודה מקדימה בשיטת "כיתה הפוכה", בהן המעבדות משמשות לעזרה בפתרון בעיות בהן נתקלתם. ובכך מאפשרת הפנמת העבודה העצמית, והפקת המירב תוך פתרון הבעיות במהלך הפעילות במעבדה. העבודה בשיטת כיתה הפוכה תיערך באופן מדורג, כדי לעזור לכולם לעמוד בקצב. בסיום הקורס תהיו מסוגלים לכתוב קוד שיפתור בעיה הנדסית בתחום. כלומר יידרש מאמץ אך הוא בעל ערך מעשי ותרומה ליכולות המשתתפים.