מהפכת ה-AI כבר כאן, ואנו לומדים על מודלים גנרטיביים ועל טרנספורמרים (בקורס המתקדם) כבר משנת 2019. ראייה ממוחשבת היא אחד מתחומי הבינה המלאכותית, והיא אחד התחומים הצומחים ביותר בהנדסה, ומאפשרת ניתוח והבנה אוטומטית של תמונות ווידאו, המהווים כ-80% מתעבורת האינטרנט העולמית. דוגמאות לשימושים בראייה ממוחשבת כוללות זיהוי טקסט בתמונה, זיהוי חפצים, אנשים, מקומות, תרחישים ופעילויות, סיווג מחלות בתמונות רפואיות, חילוץ מבנה תלת-ממדי מתוך תמונות דו-ממדיות או וידאו, תיאור תוכן של תמונות, ויצירת תמונות וקטעי וידאו מתמונה, טקסט או שילובם. שימושים אלו מסייעים לבני אדם לבצע משימות בצורה טובה יותר, כגון נהיגה, התראות ומניעת תאונות, נהיגה אוטונומית, סיווג ומיון אוטומטי של תוכן תמונות או סרטוני וידאו, ושיפור ממשקי אדם-מכונה.

קורס זה מהווה מבוא לתחום הראייה הממוחשבת והוא בסיס לקורס ההמשך המתקדם, רשתות נוירונים לשימושי ראייה ממוחשבת. הקורס יכול להוות קורס עצמאי, להרחיב את קורסי המבוא בעיבוד תמונה או בגרפיקה ממוחשבת, ולהרחיב את קורסי למידת המכונה לתחום הראייה הממוחשבת (הבסיס הנדרש לקורס יינתן במהלכו). הקורס מתאים לסטודנטים בכל מסלולי התוכנה, ומדעי הנתונים, בעלי רקע בתכנות מונחה עצמים בסביבת פייתון, ובפרט למסלול למידת מכונה. הוא כולל התייחסות לטכנולוגיות עדכניות בחזית התעשייה והמחקר.

נושאי הקורס כוללים: מבוא ושימושי ראייה ממוחשבת, ייצור וייצוג תמונות; עיבוד תמונה במרחב ובתדר כולל קונבולוציה וקורלציה; שימושי עיבוד מקדים לאוגמנטציות וגיוון ושיפור ה-dataset; מאפיינים ומבוא לזיהוי תמונה, מבוא לרשתות קונבולוציה; שימושי רשתות קונבולוציה לצרכי סיווג, גילוי וסגמנטציה, אימון רשתות בשימושי ראייה ממוחשבת; ויזואליזציה והבנה. הקורס כולל הרצאה שבועית פרונטלית (בהיקף של 2 ש"ש), ומעבדה/תרגול שבועי (בהיקף של 2 ש"ש) המשלימים את ההרצאה.

במעבדה יתרגלו ויתנסו הסטודנטים בהיבטים מעשיים של ראייה ממוחשבת תוך חשיפה למאמרים ומקורות מדעיים בתחום, שיקולים מעשיים, ועד גישה והגשה לתחרויות בתחום (אופציונלי). תחומי הלמידה העמוקה בכלל, והראייה הממוחשבת בפרט, עתירי שינויים תכופים, כאשר טכנולוגיות בנות חמש שנים נחשבות לעתים קרובות ללא עדכניות. לכן לימוד עצמי בתחום מהווה אבן בניין חשובה לעוסקים בתחום, והמעבדות דורשות עבודה עצמית, ונבנו כדי להקנות בין השאר גם מיומנויות כאלו.

חלק מהמעבדות בקורס בנויות בשיטת "כיתה הפוכה", הדורשת לימוד עצמי, וכוללות התנסות מעשית בראייה ממוחשבת תוך שימוש בכלי תוכנה ומודלים מתאימים (ספריות ייעודיות לראייה ממוחשבת כמו OpenCV, עיבוד נומרי ולמידת מכונה, וסביבות כמו PyTorch תוך למידה ותרגול ארכיטקטורות רשת שונות ושימושים כמו סיווג, עם טעימות מגילוי וסגמנטציה). תינתן התייחסות בעיקר לסביבת PyTorch, אך יוזכרו גם סביבות אחרות כמו TensorFlow ו-Keras.

ראייה ממוחשבת היא מהתחומים הצומחים ביותר בהנדסה, ומאפשרת ניתוח והבנה אוטומטית של תמונות ושל וידאו, שמהווים חלק מהותי, כ-80%, מתעבורת האינטרנט העולמית. מודלי שפה גדולים (Large Language Models – LLMs) מהווים נדבך חשוב בבינה מלאכותית יוצרת, ומשמשים למשל בתיאור תוכן תמונה, בהפיכת טקסט לתמונה, ועריכה סמנטית של תמונות. מודלים אלו הם חלק מתהליך שהואץ בשנה האחרונה והמשפיע על סביבות שונות. הקורס נותן כלים בהבנת הטכנולוגיה הזו והאפשרויות הנובעות משימוש בה.

קורס זה מהווה המשך ישיר לקורס המבוא לראייה ממוחשבת והוא מתרכז כמובן בשיטות מבוססות רשתות נוירונים לשימושי ראייה ממוחשבת ומודלי שפה גדולים. הקורס מתאים לסטודנטים בכל מסלולי התוכנה בעלי רקע מתאים, ובפרט למסלול למידת מכונה. הוא כולל התייחסות לטכנולוגיות עדכניות בחזית התעשייה והמחקר. הקורס יהיה במתכונת דומה לקורס המבוא, אם כי אינטנסיבי פחות מבחינת כמות העבודות, אך מעמיק ומתקדם לא פחות מבחינת התוכן המקצועי.

נושאי הקורס העיקריים כוללים: חזרה והרחבה של דטקציה (גילוי), סגמנטציה, רשתות זמניות (Recurrent Neural Networks, RNN); מבוא למודלי שפה (Language Models), attention, טרנספורמרים ו-GPT, רשתות ליצירת תמונות (כמו Auto encoders, GAN ורשתות דיפוזיה); (נושאים מתקדמים ייבחרו מתוך: רשתות יוצרות נוספות, Alignment and Ethics, ראייה תלת מימדית ורשתות לניתוח וידאו, Reinforcement Learning). הקורס כולל הרצאה שבועית פרונטלית (בהיקף של 2 ש"ש),ומעבדה \ תרגול שבועית (בהיקף של 2 ש"ש).

במעבדה יתרגלו ויתנסו הסטודנטים בהיבטים מעשיים של ראייה ממוחשבת מבוססי למידה עמוקה, תוך חשיפה למאמרים ומקורות מדעיים בתחום מצד אחד, ולקוד ושיקולים מעשיים מצד שני. תרגילי המחשב יבוצעו בסביבת python עם Jupyter, (לוקאלית או בסביבת Google-Colab) תוך שימוש בספריות מתאימות. יתבצעו פעולות תוך שימוש בכלים עדכניים של Generative AI.

חלק מהמעבדות יתבצעו במשך שתי פגישות: הנושא יוצג ויוסבר בפגישה הראשונה, ויורחב בעבודה עצמית של הסטודנטים בשנייה. חלק מפעילות המעבדה משלבת הכנה עצמית ועבודה מקדימה בשיטת "כיתה הפוכה", בהן המעבדות משמשות לעזרה בפתרון בעיות בהן נתקלתם. ובכך מאפשרת הפנמת העבודה העצמית, והפקת המירב תוך פתרון הבעיות במהלך הפעילות במעבדה. העבודה בשיטת כיתה הפוכה תיערך באופן מדורג, כדי לעזור לכולם לעמוד בקצב. בסיום הקורס תהיו מסוגלים לכתוב קוד שיפתור בעיה הנדסית בתחום. כלומר יידרש מאמץ אך הוא בעל ערך מעשי ותרומה ליכולות המשתתפים.