ExplAInable

בינה מלאכותית ללא קוד עם גל פרץ Nov 04, 2024

היום בפרק נדבר עם גל פרץ, מהפודקאסט "LangTalks" ומומחה בתחום הבינה המלאכותית. נשוחח על נושאים כמו התפתחות השימוש במודלים של בינה מלאכותית, תפקידם של כלי No-Code בעולם הטכנולוגי, ואיך בינה מלאכותית משפיעה על הגישה ההנדסית והמחקרית של פיתוח מערכות היום. נבחנן גם את האתגרים וההזדמנויות שהתחום מציב עבור אנשי מוצר, מהנדסים וחוקרים, ועל חשיבותם של כלי Prompt Engineering ככלי שימושי בעבודה עם מודלים מתקדמים.

Policy Diffusion: המהפיכה הבאה? עם מייק ותמיר Oct 28, 2024

בפרק זה דיברנו על מאמר פורץ דרך בתחום הרובוטיקה: Diffusion Policy: Visuomotor Policy Learning via Action Diffusion

המאמר טוען לשיפור של 46.9% במשימות מוטוריות של רובוטים.

הם מראים תוצאות על סימולציות ועל רובוטים פיסיים. פעולות כמו מזיגה, עירבוב, הנחת ספל והסביבה המפורסמת push-T.

בגדול הם לקחו את מה שכבר סקרנו בעבר stable diffusion לעולם הרובוטיקה, כאשר כאן נכנסת סדרת תמונות (המתקבלות ממצלמת הרובוט) ויש להחזיר סדרת פעולות מוטוריות לרובוט.

וגם כאן יש איטרציות של denoising אבל לא מתמונות אלא מסדרת פעולות מוטוריות.

האם זו המהפיכה הבאה ?

מוזמנים להגיב בדעתכם…

קישורים:

https://arxiv.org/pdf/2303.04137v5

https://diffusion-policy.cs.columbia.edu/

https://mobile-aloha.github.io/

https://wuphilipp.github.io/gello_site/

https://umi-gripper.github.io/

https://dobb-e.com/

הפרק שמייק התארח בו

הבלוג של יאנג סונג

שיפור וודאות במודלים: הצצה לעולם של ניבוי קונפורמי Oct 20, 2024

אחרת הטכניקות הקלאסיות (משנות ה80) שזוכה לאחרונה לפופולאריות מחודשת היא Conformal Prediction.

ברוב משימות הניבוי, לא מספיק לחזות רק מה התוצאה הכי סבירה - אלא מה הן מגוון האפשרויות, ומה הסבירות.

ניקח למשל רופא שצריך לאבחן מטופל על סמך הסימפטומים, תוצאת הדיאגנוזה שלו תגרור את הטיפול המתאים. לכל אבחנה מתוך סט האבחנות יש סיכוי, וייתכן שיידרשו בדיקות נוספות כדי לאסוף עוד נתונים.

ניבוי קונפורמי מנסה לקשור בין רמת הביטחון החזויה, לגודל הקבוצה החזויה.

אורי יסביר כיצד שיטה זו מספקת מסגרת מתמטית שמאפשרת לבצע ניבויים מדויקים יותר עבור מודלים של למידת מכונה, תוך התאמת רמת הוודאות של הניבוי בהתאם לקושי המשימה.
נספר על שלושת שלבי הניבוי, שמתאימים לכל מודל קלאסיפיקציה, ונדבר על ספרית MAPIE שהנגישה את המודל לקהילת הפייתון.

GPT-4o1: האם אנחנו קרובים להבנה אמיתית? Oct 14, 2024

בפרק הבא נדבר על הגרסה החדשה

GPT-4o1,

שמבטיחה יכולות מתקדמות של הסקת מסקנות. מייק יסביר כיצד המודל מנסה להתמודד עם בעיות מורכבות שדורשות יכולת לוגית מרובה, ומעלה את השאלה האם המודל באמת מצליח להתמודד עם משימות הסקה מורכבות או שמא הוא "מגזים" בהערכותיו. נבדוק גם את ההבדלים בין גרסאות קודמות, כמו GPT-3 ו-GPT-4, ונבחן את האתגרים וההזדמנויות שהגרסה החדשה מביאה.

נדבר על איך אנחנו כבני חושבים ולמה הגרסה החדשה אמנם בכיוון הנכון אבל עוד רחוקה מלחשוב כמונו.

Mechanistic Interpretability עם מייק ארליכסון Oct 08, 2024

בפרק הבא, נצלול לנושא המורכב של מכניסטית אינטרפרטביליות (Mechanistic Interpretability) במודלים של שפה, וננסה לפשט את הדרך בה ניתן להבין מה מתרחש בתוך מודלים אלה. נסביר כיצד מודלים בשימוש רחב כמו טרנספורמרים ומבנים מתמטיים אחרים מנסים לפענח את מנגנוני השפה, אבל נדבר גם על הקושי להבין מה באמת קורה "מאחורי הקלעים" של רשתות נוירונים עמוקות. נבין את השיטות השונות לפרש את פעולת המודל תוך התמקדות בניתוח המכניסטי של שכבות ותהליכים פנימיים.

הבלוג ששווה שתכירו

להגדיר מחדש את החיפוש: חידושים ב - RAG עם ניר דיאנט Oct 01, 2024

בפרק הבא, נארח את ניר דיאנט, יועץ בתחום הבינה המלאכותית הגנרטיבית (GenAI)

שיספר לנו על המסע המקצועי שלו והתפתחויות חדשניות בתחום. ניר מצטרף אלינו בעקבות תרומתו המשמעותית לשיטות

RAG (Retrieval-Augmented Generation)

כולל פיתוחים כמו GenAI Agents ו-Controlable RAG, שזכו להכרה רחבה

ואף פורסמו על ידי מנכ״ל LangChain, האריסון צ׳ייס, כתכנים הפופולריים ביותר שלהם. בפרק נדון בפתרונות לשיפור החיפושים והשליפות, סידור מתקדם של דאטא, התאמות מולטימודל, ו-RAG עם לולאות פידבק להתאמת המידע לסוגי שאילתות שונים.

מדע הנתונים – איך הוא השתנה לאורך השנים עם דניאל אהרונוביץ' Sep 23, 2024

בפרק הזה דניאל ארונוביץ', מדען נתונים ותיק, מספר על המסע האישי שלו בתעשיית הטכנולוגיה לאורך 15 שנים. ניגע בהבדלים הבולטים בין העבר להווה, בכלים שהשתמשו בעבר לעומת הכלים שמשתמשים בהם היום שמחברים את המדע ישר לפרודקשן.

דניאל מתאר את השינויים במיומנויות הנדרשות ממדעני נתונים, מיכולת ניתוח בלבד להכרח להבין תהליכי פיתוח וניהול גרסאות. נשוחח על האתגרים הטכניים, השינויים בפרקטיקות העבודה, וכיצד התפתח התחום מימי האלגוריתמים הקלאסיים ועד לתפקידי הדאטה המודרניים בעולם התוכנה.

Dataflint/Spark

לינקדאין של דניאל

NotebookLM - הפרק שלא אנחנו הקלטנו Sep 16, 2024

החודש גוגל פרסמו את NotebookLM, שירות AI שמייצר שיחת עומק מוקלטת בין שני דוברים לא אמיתיים. כדי לבדוק את העניין, העלנו תמלול של "רק לא RAG" פרק הטיפים של אורי גורן מארגמקס על נסיונו עם ארכיטקטורת הRAG. והתוצאה, הפילה אותנו מהרגליים.
נשמח לשמוע מה דעתכם? האם אפשר למכור את המיקרופון והציוד הקלטה ביד2?

Data Science בעולם הביטוח עם דוד שוקרון Sep 15, 2024

בפרק הזה, דוד שוקרון,

Head of DS & AI

בביטוח ישיר, מספק הצצה לעולם מדעי הנתונים בתעשיית הביטוח. נשמע ממנו על ההבדלים בין אקטואריה ל-Data Science,

ועל איך משלבים DS במערכות ותיקות של חברות ביטוח

דוד יסביר על יישומי DS בתעשייה עתירת נתונים כמו ביטוח, בשימוש בכלים ומודלים שונים, כולל השאלה אם יש צורך בכלים ייחודיים או שניתן להסתפק במוצרי מדף קיימים. בנוסף, נבין איך מודלי שפה משפיעים על תעשיית הביטוח, ומה הכיוונים העתידיים שמעצבים את התחום בעקבות החידושים האחרונים.

.

LLM לייעוץ השקעות עם אלעד נחמיאס Sep 01, 2024

בפרק זה, אנחנו נשוחח עם אלעד נחמיאס

CTO של Bridgewise,

על השימוש במודלי שפה גדולים (LLMs) בתחום ההשקעות. אלעד יסביר לנו איך משלבים טכנולוגיות מתקדמות כדי לשפר תהליכי הייעוץ והאנליזה, תוך התמודדות עם אתגרים כמו דיוק הנתונים, הטיות פוטנציאליות ושמירה על פרטיות המידע.

נשמע על האתגרים הטכניים והאתיים של יישום

LLMs, איך Bridgewise מוודאת שהפתרונות שלה נשארים שקופים ואחראיים, ומה החזון העתידי שלה לשימוש בטכנולוגיה זו בתעשיית ההשקעות.

Adaptive-RAG עם לירון יצחקי אלרהנד Aug 25, 2024

בפרק הזה, נצלול יחד עם לירון יצחקי אלרהנד ל

Interleaving Retrieval with Chain of Thought (IRCoT)

שיטה לשיפור מערכות שאלה ותשובה על ידי הרחבה איטרטיבית של תהליך חשיבה ואחזור מידע רלוונטי. נדבר על טכניקות שונות של אחזור אדפטיבי, נשווה את יעילותן על סמך מורכבות השאלה, ונדגיש את החשיבות של בחירת הגישה הנכונה לתרחישים שונים

המלצות של לירון למי שמועניין ללמוד עוד:

https://arxiv.org/abs/2212.10509

https://github.com/StonyBrookNLP/ircot/tree/main

https://colab.research.google.com/github/pathwaycom/pathway/blob/main/examples/notebooks/showcases/mistral_adaptive_rag_question_answering.ipynb

https://arxiv.org/abs/2403.14403

Task Aware Embedding עם ענבל חורב Aug 18, 2024

לא רק היופי הוא בעיניי המתבונן, מסתבר שגם הדימיון הסמנטי

בפרק הזה ענבל תספר לנו איך התגלגלה מטוקיו ל

בגונג senior staff researcher

כשחושבים על אמבדינגז, הרבה פעמים חושבים על חיפוש וקטורי ו
RAG

נדבר על החשיבות של אמבדינג טוב דווקא בשלב הכרת הדאטא ובחירת דוגמאות מעניינות לאימון.

נסקור את ההיסטוריה של אמבדינג, ללא הקשר, עם הקשר, ועד
Task aware embedding
שהוא צעד ביניים למודל שפה מלא

לינקדאין של ענבל

E5

MTEB

מלימודים הומניסטים למדעי הנתונים - פרק בשיתוף עם YData Aug 10, 2024

בפרק זה ריאיינו את אורי גוטליב ונטע בר על המעבר שלהם לעולם ה data science במסגרת ההכשרה שלהם ב YData. על הפער העצום בין התאוריה לעבודה מעשית ועל הפרויקט שעשו שהביא אותם לעבודה הנוכחית שלהם.

קישורים:

בינה מלאכותית וצ'יפים - עם ד"ר אמיתי ערמון Aug 05, 2024

אינטל העולמית נמצאת השבוע בכותרות בעקבות ההצהרה על הצמצומים, וזו הזדמנות מעולה להזכיר על הפעילות המדהימה של קבוצת הדאטא סיינס של אינטל ישראל.
החודש פורסם כי הקבוצה

AI Solutions Group

זכתה בפרס הארגון המצטיין העולמי של אינטל.

בפרק זה ד"ר אמיתי ערמון יספר לנו על התפקיד שלו בתור ה

Chief Data Scientist

של הקבוצה, מה היא עושה? מה האתגרים היחודיים שלהם? ואיך מתנהלת העבודה של 250 עובדים שבונים ביחד מוצרים מבוססי בינה מלאכותית?

נדבר על פרוייקטים לדוגמא, על ללמים ועל המאמר שכתב

Tabular Data: Deep Learning is Not All You Need

שהגיע השבוע לאלף ציטוטים.

Tabular Data: Deep Learning is Not All You Need

עמוד הלינקדאין של אמיתי

על מודלים פתוחים, רשיונות ורגולציה עם עופר חרמוני Jul 28, 2024

קוד פתוח זה נושא מורכב, יש כמה סוגים של רשיונות כמו GPL, Apache, MIT וכו׳. העניינים מסתבכים עוד יותר כשמדברים על מודלים פתוחים, האם קוד המודל פתוח? אולי רק המאמר? אולי רק המשקולות פתוחות? ומה לגבי הדאטא? בפרק זה עופר חרמוני, יועץ בתחום הAI וחבר ב Linux foundation יספר על הקריטריונים של הארגון למודלים פתוחים, ונמנה מספר מודלים כאלו.
עולם הAI מתקדם בקצב מסחרר, והמחוקק לא תמיד מצליח לעקוב - בשיחה עם עופר דיברנו על המירוץ וההשלכות החוקיות על שימוש במודלים פתוחים, והתוצרים שלהם.

LF AI & Data website: https://lfaidata.foundation/
AI Open Source landscape: https://landscape.lfai.foundation/
Generative AI Commons website: https://genaicommons.org/
Generative AI Commons - Get Involved guide: https://docs.google.com/presentation/d/1Ie0NKJ4N5u3UINUdiwoA7pBYtaRrUdH0gEcMUo9M9Y0/edit?pli=1#slide=id.g2c0160abebd_0_72
OSI - open source AI initiative - latest definition: https://opensource.org/deepdive/drafts/the-open-source-ai-definition-draft-v-0-0-8
OSI - Open Source AI initiative discussion forum: https://discuss.opensource.org/
Connect with me on LinkedIn: https://www.linkedin.com/in/ofer-hermoni/

על סימולציה בתעשייה עם גיא אדלר Jul 20, 2024

גיא אדלר מחברת אקסיליון יחלוק איתנו מנסיונו בפיתוח ושימוש במערכות סימולציה לעולם התחבורה. אקסיליון מפתחת מוצר לעיריות לצורך אופטימיזציה של רמזורים ותנועה, כדי שכולנו נבלה כמה שפחות זמן בפקקים.
נדבר על האתגרים בתחזית של אירועים נדירים כגון מזג אוויר, הופעות, ושיבושי תנועה. ועל החשיבות של עבודה משותפת עם מומחי תוכן ואינטגרציה עם מערכות אמיתיות של עיריות כבר בתהליך הסימולציה. סימולציה היא דבר יקר, וגיא חולק איתנו מאתגריו בפיתוח מערכות יעילות בc++ כדי שהמערכת תוכל לרוץ בזמנים סבירים.

ניסויים מדעיים באמצעות סימולציות - עם רותם רוזנבלום Jul 13, 2024

פרק פיצוץ על איך סימולציות יכולות לעזור לנו לחזות תגובה של חומרי נפץ במתחים שונים. בפרק זה רותם תספר לנו על המחקר האקדמי שלה בשיתוף עם רפאל, ועל איך סימולציות עזרו לחסוך המון כסף וזמן על ניסוי שטח. נדבר על ההבדלים בין סימולציות סדרתיות, ובין סימולציות אגרגטיביות. ומדוע סימולציות הם הכלי הנכון לבדוק את המודל שלנו בכל מיני מקרי קצה נדירים, או שטרם קרו. קישור ללינקדין של רותם

על ההיסטוריה של סימולציות עם יניב טננבאום קטן Jul 06, 2024

סימולציות היו פעם כלי הניבוי המרכזי, והיום הוחלפו על ידי מודלי למידת מכונה. האם מדובר בכלי מיושן ולא רלוונטי, או באומנות עתיקה שנשכחה. בפרק זה נדבר על המוטיבציות לסימולציות אל מול הרצת ניסויים על דאטא אמיתי, ונדבר על החוזקות והחולשות מול מודלי למידת מכונה. קורס חינמי של אוניברסיטת חיפה על סימולציות

המלצות, סימולציות, שינוי העדפות ודילמות טווח ארוך - טווח קצר - עם פרופ׳ עומר בן פורת Jun 29, 2024

מערכות המלצה נתפסות לרוב כבעיית רגרסיה או קלאסיפיקציה, בפרק זה פרופסור עומר בן פורת מהטכניון ואורי ינהלו דיון טכני על האתגרים במידול סטטי כזה. נדבר על יצירת העדפות, ועל האחריות המשפטית של מערכת ההמלצה. מערכת המלצה אמורה למדל אנשים, ואנשים הם לא יצור רציונאלי או עקבי - כיצד מערכת ההמלצה אמורה להתמודד עם זה?
ונדבר על החשיבות של סימולציה למדידה ואימון מערכות המלצה, גם כאשר יש הרבה דאטא. קישורים:

Consistency Large Language Models עם מייק ארליכסון Jun 23, 2024

למודלי שפה (גדולים) יש שלושה תת-מודלים: הטוקנייזר, הטרנספורמר, ואלגוריתם הפענוח.
אלגוריתם הפיענוח בדרך כלל אינו נלמד, אלא הוא איזה שהיא יוריסטיקה סדרתית של חיפוש בעץ על סמך ההסתברויות של הטרנספורמר. אבל מי מבטיח שהיוריסטיקה הזו היא הדבר האידיאלי לעשות בהנתן הפלט של הטרנספורמר. Consistency LLMs מנסים לקשור את שתי הקצוות, ולהתאים את ההטרנספורמר לאלגוריתם הפענוח. מרוויחים מזה מודלים יעילות יותר, ואפשרות למיקבול. מייק יספר לנו איך הקסם הזה קורה

Predictive mean matching and imputation - השלמת ערכים חסרים איטרטיבית Jun 14, 2024

ערכים חסרים הם נחלתו של כל מי שעוסק בעיבוד מידע טבלאי, הפעם נתמקד בהשלמת ערכים רציפים עם Predictive mean matching. אחת השיטות הנפוצות MICE, לא היתה זמינה עד לאחרונה למשתמש פייתון - וכעת נמצאת במודול הexperimental של scikit learn.
נעשה סקירה קצרה על מתי כדאי להשלים ערכים חסרים ומתי לא, ונדבר על השיטות הנפוצות להשלמה.

כאן - Kolmogorov Arnold network Jun 09, 2024

הרבה מאיתנו שמעו בכותרות על KAN פה, KAN שם - ולא היה ברור מה המהומה.
Kolmogorov Arnold network
זו ארכיטקטורה שמאיימת לשנות את איך שאנחנו חושבים על רשתות נוירונים, החל במבנה של נוירון ועד יכולת ההסבר. בנוסף, לרשתות כאן יש פי עשר פחות פרמטרים והן דלילות יותר - נשמע מדהים. אבל, הפוטנציאל הוא גדול אבל המציאות היא בפרטים הקטנים - אותם נכסה בפרק הזה

רק לא ראג RAG Jun 03, 2024

מי לא שמע על RAG, נראה שכולם מדברים, מממשים ומאפטמים ראגים לכל שימוש. בפרק זה אורי שוטח את משנתו על ראגים, וטוען שהם בשימוש יתר בתעשייה (יש יגידו הייפ), ואלו הן הסיבות 1. אתם אחראיים (משפטית) על הפלט שלהם - אם אין בן אדם בלופ - יש בעיה 2. שאילתות סמנטיות לא מתאימות להמון מקרים, חיפוש וקטורי הוא לא התשובה לretrieval 3. זה נראה כאילו חיפוש וקטורי נועד לחסוך עלויות, אבל האם באמת LLM עדיין כ״כ יקרים שצריך אותו? 4. האם זו בעיית איחזור או בעית שאלה-תשובה? בהרבה מהמקרים פשוט לא צריך LLM בקצה 5. הסיבה ההנדסית - בראג יש שני מודלים שונים, שלא בטוח מדברים זה עם זה, צריך לוודא שיש תרומה הדדית

חיפוש וקטורי עם מירב גרימברג May 27, 2024

מירב גרימברג עוסקת למחייתה בפיתוח מנוע החיפוש הוקטורי של רדיס, הגיעה לספר לנו תובנות מבפנים. לאחרונה רואים שיותר ויותר דאטאבייסים ״מסורתיים״ מוסיפים פונקציונאליות של חיפוש וקטורי, רדיס הוא אחד מהם.
רדיס, הוא היום שירות ברירת המחדל לחיפוש key-value מהיר בזמן אמת. וגם מנוע חיפוש וקטורי המממש את אלגוריתם הhnsw לחיפוש וקטורי מקורב.
מירב תספר לנו על האילוצים מעולם התוכנה כדי לגרום למנוע חיפוש וקטורי לעבוד ממש מהר, יחד עם יכולות פילטור ועדכון.
על הטריידוף בין זכרון, מחיר ומהירות - וכמובן על שימושים בretrieval augmented generation יחד עם מודלי שפה.

טרנספורמרים וסדרות עיתיות - ש.ח May 21, 2024

עכשיו כשהעולם רועש סביב מודלי שפה גדולים וחזקים שאינם טרנספורמרים (מאמבה, rwkv) - הגיע הזמן להיזכר מה הוא הטרנספורמר ומה היו המוטיבציות ליצירתו.
פרק זה הינו שידור חוזר של פרק מ2020, האזנה מרתקת לאזניים של 2024.

כישורים רכים למדעני נתונים - עם בוריס גורליק May 13, 2024

בוריס גורליק, יועץ דאטא מנוסה עם רקע ניכר בדאטא טבלאי, ויזואליזציה וסדרות זמן - ידבר איתנו על דווקא על נושא אחר: Soft skills. מדעני נתונים, הם לא רק אנשים טכניים שיודעים להריץ פייתון ולאפטם מודלים - הכוונה ב״כישורים רכים״ זה לכל יכולת התקשורת בארגון ובצוות, ובעבודה במשותף כחלק מאתגר גדול יותר.
נדבר על אתגרים נפוצים בחיי הDS ועל איך נכון לבנות מצגת בצורה לא תשעמם את המאזינים. בוריס הוא גם המנחה של הפודקאסט הפופולארי ״השבוע במזרח התיכון״, שם תוכלו להיווכח איך בוריס מיישם את התאוריה בפועל. קישור לספר שבוריס הזכיר

על למידה מונחית עצמית עם מייק ארליכסון Self Supervised May 06, 2024

בפרק זה אירחנו את מיכאל ארליכסון לדבר על self supervised learning.
דיברנו על בעיית דלילות הסיגנל, ועלות התיוג.
למידה self supervised מתמקדת בלמידת היצוג הוקטורי על ידי משימות שלא דורשות תיוג.
לדוגמא, אם לקחנו תמונה ו הרעשנו אותה (או סיבוב, שיקוף, זום) נצפה שוקטור היצוג יהיה דומה.
דיברנו על טכניקות שונות ללמידת יצוגים, כגון רשתות סיאמיות, למידה ניגודית ואוגמנטציות.
וכמובן, האתגר הגדול ביותר של התחום - מציאת דוגמאות שליליות חזקות.

על פרטיות דיפרנציאלית עם משה שנפלד Apr 27, 2024

יש הרבה עיסוק בסכנות הכרוכות בהדלפה של פרטים מזהים בדאטאסטים או בתוך משקולות של מודלים מאומנים.
בפרק זה משה שנפלד, חוקר בתחום, יספר לנו כמה זה מורכב להפוך דאטאסט אנונימי ונדבר על כמה פדיחות שקרו בתחום.
נדבר על האתגרים של אימון מודלים בצורה פרטית, והאם מדובר בסוג חדש של רגולרזיציה.
נכסה אלגוריתמים כמו k-annonimity ונדבר על Differential privacy שהיא הסטנדרט היום בתחום.
הרעיון המרכזי בפרטיות דיפרנציאלית הוא הכנסת רעש מבוקר, כזה שיפריע לזהות אינדיבידואלית אבל לא יפריע למודל להתאמן.
נדבר על שיטות כמו DP-SGD שמכניסים את הרעיון הזה לתוך צעדי הגרדיאנט באימון רשתות.
קישורים:

איך ללמד מודל שפה לדבר כמו ערס עם חן מרגלית מ LSports Apr 21, 2024

בפרק זה חן מרגלית סיפר על פיתוח
SEC by LSports הבוט שמתמצת ועונה על שאלות על משחקי ספורט. הבעיה העיקרית היא שרוב מודלי השפה אומנו על ויקיפדיה, כתבות ואתרי שאלות ותשובות - ולא שפה השגורה במגרשי הכדורגל.
חן יספר על התהליך של יצירת הדאטא, פיינטון וכמובן שרשרת המודלים ליצירת התחזיות שקדמה למענה של הצ׳טבוט.

AlgoGen - שילוב של אלגוריתמים ומודלי שפה גנרטיביים, עם אמיר שחר Apr 13, 2024

בפרק זה אמיר שחר יספר על שיטה חדשנית שפרסם לשילוב מודלי שפה יחד עם אלגוריתמים.

לפני 20 שנים, כנראה שאם הייתם אומרים AI הייתם מתכוונים לאלגוריתמי חיפוש בעצים.

אלגוריתמי חיפוש כמו

A Star

מנצחים מסטרים בשח מט, ואפילו עוזרים לנו להתמצא בעיר עם Waze.

למעשה, אם מסתכלים עמוק בתוך LLM מגלים גם בו שימושים באלגוריתמי חיפוש.

אמיר יספר מנסיונו איך אפשר לשפר אלגוריתמים, ובפרט אלגוריתמי חיפוש, על ידי שילובם עם מודלי שפה גדולים.

מערכות המלצה כמשק כלכלי - עם ד״ר עומר בן פורת Apr 07, 2024

נהוג להסתכל על מערכת המלצה כאל בעיית אופטימיזציה, איזה סרטון לנגן כך שיהיו הכי הרבה צפיות בהתחשב בהיסטוריית הלקוח. אבל אם לוקחים צעד אחורה, מגלים שאנחנו בשוק מסחר תלת צדדי. לסרטונים יש יוצרים, ולפלטפורמה יש בעלי מניות, וכמובן - אנחנו הצופים.
כמובן שאם הפלטפורמה לא תהיה רווחית, תהיה בעיה בטווח המיידי - אבל גם אם יוצרי התוכן לא יזכו לחשיפה הם ינטשו את הפלטפורמה ותהיה בעיה בטווח הרחוק. דרך אחרת להסתכל על מערכת המלצה, היא בעיניים של תורת המשחקים. בפרק עומר סיפר על סוגים של שיווי משקל, ועל תמריצי השחקנים. ודיברנו על הסוגיה של יצירת העדפות, ויציבות המערכת כשיש הרבה נישות

עושים כבוד לעצים Mar 18, 2024

רשתות נוירונים על שלל סוגיהן זוכות להרבה אטנשן - אבל בפועל, הרבה פרויקטים לא זקוקים לרשתות נוירונים. מודליים עציים הם בדרך כלל הפתרון הפשוט והיעיל לדאטא טבלאי. בפרק קצרצר זה, נסקור את עצי החלטה, תהליך אימונם ובעיית הOverfit. נדבר על שתי ההרחבות הנפוצות: Random Forest & Gradient Boosted Trees
והיתרונות שיש בשימוש במודלים ותיקים בסביבת פרודקשן

אימות פורמלי של רשתות נוירונים עם איתי בוחניק וד״ר גיא אמיר Mar 12, 2024

נדירים המקרים בהם שני תחומים כ״כ רחוקים במדעי המחשב נפגשים, ועוד זוכים להגיע לפרודקשן.
אימות פורמלי הוא תחום העוסק בוידוא מתמטי שתוכנית אמורה לרוץ בלי תקלות, והוכחה שהתוכנית מקיימת תכונות מסוימות.
בדרך כלל רואים אימות פורמלי בתחומים כמו קומפילציה או לוגיקה, ולכן היה מרתק לשמוע איך שיטות תאורטיות כאלו מצאו את עצמן בישום אצל חברת אלביט המפתחת רשתות נוירונים.
בפרק זה איתי (מאלישרא) וגיא (אוניברסיטה העברית) יספרו על שיתוף הפעולה, והישום בשטח.

Mamba סיכום מנהלים ותחזיות לעתיד,עם מייק ארליכסון Feb 29, 2024

עולם מודלי השפה מושתת על ארכיטקטורת הטרנספורמר שמכילה בעיה מובנית בתוכה - סיבוכיות ריבועית בקלט, ולאחרונה אלטרנטיבות מעניינות לטרנספורמר הגיחו לחיינו.
פרק זה הינו פרק שני בסדרה, והוא סיכום מנהלים על עקרון הדואליות, מוטיבציה ותחזיות להמשך.
מייק ואני נדבר על איך דואליות משפיעה על אימון יעיל והוזלה של עלויות, על ארכיטקטורות חומרה והתאמתן לטרנספורמרים.

Mamba סקירה טכנית עם מייק ארליכסון Feb 29, 2024

יש הרבה התרחשויות סביב ארכיטקטורות חדשות (שאינן טרנספורמר) שיכולות להיות המנוע מאחורי הLLM הבא.
פרק זה הינו פרק ראשון מתוך שניים, על Mamba ו State Space Models שנראים אלטרנטיבה מבטיחה.
נצלול טכנית למוטיבציה ולאלגוריתמים המתמטיים, ואיך פולינומי לג׳נדר קשורים לעניין.
הפרק טיפה טכני מהרגיל, בפרק הבא נעלה רמה ונסקור את ההשלכות ותחזיות לדעתנו.

עולם ללא עוגיות - פרק הפוך עם דין פלבן Feb 10, 2024

פרק משותף עם דין פלבן מ
The MLOps Podcast על הנושא שמעסיק את עולם הפרסום היום.
ברוח חקיקה אירופאית ואמריקאית, נהיה קשה יותר ויותר מבחינה חוקית לעקוב אחרי התנהגות משתמשים עם קוקיז (עוגיות). לשמירה על הפרטיות יש גם צד שנוגע לנו, אנשי הדאטא בכל הקשור למדידת איכות אלגוריתמים ולמידה.
בפרק זה דין ייארח את אורי ונדון על מה אפשר לעשות.

למידה מולטי מודאלית עם ד״ר חן חג׳ג׳ Jan 14, 2024

מודלים מולטי-מודאלים הגיעו לקידמת הבמה לאחרונה עם מודלים כמו chatGPT, Whisper, Midjourney. נדבר על האתגרים בשילוש מודלים חזותיים, טקסטואלים וגרפיים - כאשר המימדים שונים, המימדים שונים, ואיך מרוויחים מהשילוב הזה. נדבר על cross modal learning - איך אפשר ללמד מודל אחד על סמך מודאליות של מודל אחר.

ניהול פרויקטי דאטא סיינס עם חן קרני Dec 29, 2023

ניהול אנשים זה אתגר, ניהול מחקר עם תוצר לא-וודאי - זה אתגר, וניהול ממשקים עם פרודקט,תוכנה והנהלה בכירה זה בכלל מורכב.
בפרק זה אירחנו את חן קרני, מנהלת מנוסה בתחום הדאטא לדבר על איך עושים את זה נכון, וללמד מה עבד עבורה. איך לפרק פרויקטים גדולים למשימות קטנות (בשיטת הסלאמי) שאפשר לתקשר, איך למדוד ולהגדיר יעדים (שגם אפשר לעמוד בהם), ומה הם השלבים בפרויקט חדש.

טרנספורמרים בעיבוד תמונה Visual Transformers Dec 19, 2023

טרנספורמרים הם ללא ספק המודל המועדף בעיבוד שפה - אבל האם גם בתמונות? אז... מסתבר שהתמונה לא כל כך ברורה בעיבוד תמונה. בפרק זה נדבר על היתרונות הגדולים של טרנספורמרים בתמונות - ועל הסיטואציות שבהן CNN מנצחות אותם.

קישורים

Attention is All You Need

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

End-to-End Object Detection with Transformers

Vision-Transformer-papers

https://medium.com/@monocosmo77/best-research-papers-on-vision-transformers-784e48a3593a

https://paperswithcode.com/methods/category/vision-transformer

על אינטלגנציה מלאכותית בעולם המשפט - עם עומר חיון Dec 03, 2023

לפני כשש שנים עומר חיון ואורי גורן התחילו הרפתקאה בעולם הLegal tech והקימו את BestPractix
בסט פרקטיקס התמקדה בשלב הטיוטות של החוזים, והיוותה כלי עזר לעורכי דין לזהות ״אנומליות״ בחוזים (שבדרך כלל די סטנדרטים), והצעה של אלטרנטיבות מקובלות יותר. בשנת 2020 בסט פרקטיקס נמכרה לLitera Systems האמריקאית, ועומר הועבר להמשך הפיתוח. הרבה השתנה בעולם הAI מאז, ולרשותנו היום כלים חזקים כמו ChatGPT שמקצרים את תהליך העבודה המשפטית. פרק זה הינו שיחה פתוחה בין אורי לעומר על האתגרים בעולם המשפט, והעתיד לאור היכולות החדשות בעולם הNLP.

AI Junk - איך עושים למידת מכונה עם קרטון ביצים Nov 23, 2023

דיברנו הפעם על פרויקט ai-junk המאפשר לכל אחד ליצור רובוטים מגרוטאות וליצור ולאמן מודלי reinforcement learning שישלטו ברובוטים. ובכך ליצור עולם משחק מרובה רובוטים על הריצפה בסלון. דיברנו על מה זה RL, על הקשיים להפוך RL שעובד טוב בוירטואלי לעולם הפיסי, על כמה נחמד ללמוד על התחום דרך רובוטים :) הפרק הוקלט לפני המלחמה ששיבשה לנו הכל וארועים שתוכננו בוטלו. אם מעניין אתכם להצטרף לסדנה או האקטון הרשמו כאן ונעדכן אתכם.

קישורים

מה עושים כשיש מעט נתונים - עם נתנאל דוידוביץ Nov 05, 2023

נתנאל, דאטא סיינטינסט ותיק שמוביל היום את המחקר בדאבל וריפיי ידבר איתנו על בעיה כואבת אך נפוצה.

גייסנו תקציבים, כוח אדם, ועם הרבה רצון ומוטיבציה ניגשנו לפרויקט חדש - פתחנו את מכסה המנוע, וגילינו לצערינו שאין מספיק נתונים- מה הלאה ?

נדבר על שלוש טקטיקות שאפשר לנקוט, בין אם זה תיוג עצמאי ורכישת דאטא, שימוש במודלים כגון

Label spreading, transfer learning, kde

או שימוש במודלים אנליטיים יותר, כגון שיטות בייסיאניות או מודלים פיסיקלים.

מודלי שפה ופלט רצוי Oct 24, 2023

יצא לנו הרבה לדבר על מודלי שפה גדולים לאחרונה, ועל השימושים שלהם.

למעט שימוש בצ׳אטבוט או כעזר לכתיבה, לרוב אנחנו רוצים לקבל את הפלט של המודל בפורמט כלשהו כמו

Json / Data Class

נדבר על שלושת השלבים ביצירת הפלט, הטוקנייזר, הטרנספורמר, והמפענח.

ונסביר איך אפשר להתערב במפענח כדי לאלץ את המודל כדי לקבל תשובות במבנה מסוים, להכריח את מודל לענות ״כן״ או ״לא״, לאלץ את התשובה להיות מספרית, מתוך רשימה סגורה וכדומה.
ספריות שימושיות:

JSONFormer - https://github.com/1rgs/jsonformer

OpenAI Function calls - https://openai.com/blog/function-calling-and-other-api-updates

O

על מודלי שפה גדולים בפרודקשן עם איתי ציטבר Oct 02, 2023

בפרק זה אירחנו את איתי ציטבר רש"צ מהיירו - לדבר על מודלי שפה בפרודקשן.
המודלי צ'אט כ"כ חזקים - האם בכלל נשאר מה לעשות חוץ מאשר לחבר את הAPI לאתר ? מצד שני, זה נראה כאילו כולם משתמשים בLLM, גם כאשר קיימים מודלים פשוטים יותר. נדבר על מה קורה כשהמלצת המודל מתנגשת עם נהלים רפואיים, מה קורה שהמודל נותן הנחיות שגויות למטופל, ואין אפשר לצמצם את התופעה עם Retrieval augmented generation.

איך נולדים נתונים מתויגים עם דניאל מנוחין Sep 17, 2023

בפרק זה אירחנו את דניאל מנוחין, מנהלת קהילת data-ops המובילה את התיוג וטקסונומיה ב ebay בסופו של דבר, מודלים טובים ככל שיהיו - חסומים על ידי איכות הדאטא עליהם הם אומנו. דניאל תספר על החוויות שלה בebay, על נקודות כשל קלאסיות בתהליך התיוג ועל איך בונים פרוטוקול אנוטציה אחיד. נדון בהבדל בין מתייגים in-house שהם ממש חלק מהארגון, לעומת מתייגים חיצוניים (כדוגמת mechnical turk) ועל ההשפעה על איכות התיוגים ותהליכי הפיקוח.

Data Operations IL

https://www.linkedin.com/groups/9236026/

על GLM ו AGLM עם לובה אורלובסקי Aug 29, 2023

זה מרגיש כאילו עולם הלמידה מחולק ל2 מחנות, הסטטיסטיקאים ואנשי מדעי המחשב. ולאחרונה יצא מודל AGLM שהוא רעידת אדמה בעולם האקטואריה (ביטוח, פיננסים), וכנראה שרובנו לא שמענו עליו. בפרק זה נסקור מה אלו מודלי GLM, ספוילר - אחד מהם - הרגרסיה הלוגיסטית, אתם מכירים היטב. נדבר על השימושים שלהם, היתרונות שלהם בתחום הפיננסים בעקבות יכולת ההסבר שלהם, ונדבר גם על המגבלות שלהם. נסקור בקצרה את החידושים בAGLM שמשתמש במודלים מבוססי עצים על מנת להביא חזרה לLogistic Regression את הנקודות שהוא חלש בהם ומביא אותו לרמה של XGBoost.

Links:

https://www.institutdesactuaires.com/global/gene/link.php?doc_id=16273#:~:text=AGLM1%20is%20defined%20as,coding%20methodologies%20of%20dummy%20variables.

https://github.com/kkondo1981/aglm

GAM - Generalized additive models

https://medium.com/just-another-data-scientist/building-interpretable-models-with-generalized-additive-models-in-python-c4404eaf5515

עם שוקי ויואל על מאחורי הקלעים של One Shot Learning Aug 14, 2023

מי לא מכיר את שוקי ויואל - הגאונים מאחורי ערוץ היוטיוב האדיר שמביא את תרבות הלייב קודינג בעולמות למידת המכונה לארץ הקודש. וואן שוט לרנינג התחיל לפני כשנתיים כרעיון, ומאז הפך לקאלט של ממש. אבל מאחורי כל סרטון של חצי שעה, מסתתרת עבודה רבה, מחקר, באגים, והמון נסיונות שהלכו לפח. בפרק זה אורי ראיין את שוקי ויואל על מאחורי הקלעים של ההפקה, ושואל שאלות קשות. איך הכל התחיל ולמה? איזה פרק הכי אהבתם? איזה פדיחה קרתה בצילומים? ומה התוכניות להמשך ? קישורים:
1. One Shot Learning

תורת המשחקים עם מורן קורן Aug 02, 2023

בפרק זה אירחנו את מורן קורן, חוקר ומרצה לתורת המשחקים מאוניברסיטת בן גוריון.
דיברנו בעבר שימוש בערכי שייפלי לפרשנות מודלים, ערכי שייפלי הם נושא מחקר פעיל בתורת המשחקים והחלטנו להעמיק ולשפוך אור על תורת המשחקים ואיך הרעיונות משלימים את הנחקר בלמידת מכונה.

דיברנו על המונחים, מהו שיווי משקל ? איך מגדירים משחקים לפי ידיעה שלמה או גורל, על אסטרטגיה אופטימלית, ואיפה תורת המשחקים פוגשת אותנו כאנשי דאטא.

איך אפשר להשתמש בתורת המשחקים לצורך איסוף דאטא של מודלים כדי למנוע הטייה באיסוף הנתונים.

ונדבר על רעיונות מתורת המשחקים שהשפיעו על תחום המכרזים שמעסיק דאטא סיינטיסטים רבים.

קישורים:

שייפלי: https://christophm.github.io/interpretable-ml-book/shapley.html
https://research.ibm.com/publications/strategic-classification
On learning optimal contracts: https://www.cs.cornell.edu/home/kleinber/aer18-fairness.pdf

על מערכות חיפוש - סיכום ביקור בכנס הייסטאק 2023 עם אמיר לבנטל Jul 07, 2023

אמיר ואורי נסעו במסגרת עבודתם בארגמקס לכנס הייסטאק
HayStack2023

המתמקד בחיפוש, ואימלקו לכם את הפרק לעשרים דקות צפופות על החידושים בתחום החיפוש בעידן ה

Language models

דיברנו על ארכיטקטורות חיפוש ובנוסף כוסו האלגוריתמים הבאים

מעבר לדאטא אנליסט לדאטא סיינס - בחסות YDATA Jun 25, 2023

בפרק זה אירחנו את רותם דמבו ועומר דודי, שסיפרו לנו על המעבר שעשו בשנה האחרונה, מתפקיד של אנליסט לתפקיד של מדען נתונים.
דיברנו על הפערים "התרבותיים" בין המקצועות, אילו יתרונות יש לאנליסט שמחפש להכנס לתחום מדעי הנתונים, אילו השלמות כדאי לעשות ואיזה טיפים יש להם לתת למי שנכנס לתחום.
הם יספרו על ההחלטה לעשות את המעבר, על הלימודים בתוכנית Y-DATA, על איך התוכנית סייעה להם במעבר ועל מה הם עושים כיום.

על למידה חיזוקית באימון מודלי שפה RLHF עם מייק Jun 13, 2023

קשה לעבור ברחוב היום בלי לשמוע מישהו מספר לחברו על צ'אט ג'י פי טי או
LLM

אחד החידושים באימון שלו, למעשה ב
InstructGPT
היו השימוש בלמידה חיזוקית על בסיס דאטא מתויג אנושי בתהליך הדגימה

נספר על אלגוריתם ה
RLHF
ושילובו בתוך מודלי השפה
LLM

סיבתיות עם אוהד לוינקרון פיש May 28, 2023

בפרק זה נדבר עם אוהד מדילטייל, העוסק בניתוח סיבתיות.

אנחנו כולנו למדנו בטירונות דאטא סיינס ש

Correlation does not imply causation

אבל מה כן ? האם חייבים לבצע ניסויים מדוקדקים? והאם זה רלוונטי רק לעולם הרפואה או לכולנו ?

קישורים:

מאמר של אוהד https://arxiv.org/abs/2207.01722

מאמר Ascarza

חיפוש וקטורי מקורב May 14, 2023

וקטורים, וקטורים בכל מקום ! דיברנו על מילים שהופכות לוקטורים, מסמכים שהופכים לוקטורים, תמונות שהופכות לוקטורים.

אבל ברוב המקרים, נדרש חיפוש של וקטורים דומים למשימות של קלאסיפיקציה, דירוג ואפילו זיהוי אנומליות.

חיפוש וקטורי בקנה מידה גדול זו בעיה הנדסית לא פשוטה, עם אילוצי זמן ריצה וזכרון.

בפרק קצרצר זה, נסקור שלושה אלגוריתמים לחיפוש מקורב ונדבר על סוגי הוקטורים המתאימים.

על התאוריה של Replay Buffer עם שירלי די קסטרו שעשוע Apr 16, 2023

פרק נוסף בתחום הלמידה החיזוקית, הפעם צוללים לפרטים הטכניים עם התאוריה מאחורי
Replay Buffer
סוכן, יכול ללמוד רק מהפעולות שלו - מה שנקרא

On Policy
או למידה גם מפעולות של סוכנים אחרים, מה שנקרא

Off Policy
בגישת הריפליי באפר, שומרים "הקלטה" של פעולות עבר ותוצאות עבר - ודוגמים מתוכן לצרכי הלמידה.

שירלי תספר לנו על המחקר שלה לגבי השפעת גודל הבאפר, והשיפור בתוצאות של אימוני מודלי
RL

העבודה הראשונה בדאטא שלי Mar 15, 2023

פרק זה הוא חסות מיוחד בשיתוף אנבידיה, שמוקדש לג'וניורים.

אנבידיה הפיקה את כנס ה
GTC
עם דגש מיוחד השנה של גנרטיב - להרשמה לחצו פה

בפרק ראיינו חמישה דאטא סיינטיסטים טריים: צחי מורד, טלחיים דמארי, נתי מגור, דין עזרא ואבי חביב.

על קורסטים עם איתן נצר Mar 06, 2023

בפרק זה אירחנו את איתן נצר, מ

data heroes

לדבר על בחירה חכמה של דגימות לצורך אימון מודלים.

אנחנו בעידן הדאטא, נאספים טרות של אירועים מדי יום - אבל המודל שלנו לאו דווקא מרוויח מכל השפע הזה.
האם אפשר להגיע לביצועים דומים עם שבריר הדאטא ובחירה חכמה של הדגימה ?

איתן יספר לנו על גישת ה

core set

שחקר, והחליט לימים להקים את דאטאהירוז על מנת להנגיש את הטכנולוגיה.

מבין המשקיעים בחברה, נמצא גם
Andrew Ng

שהוא מאמין גדול ב

Data Centric AI

קישורים:

אתגר הלווינות של מפא”ת Feb 20, 2023

בפרק זה נציג את אתגר הלווינות החדש בסדרת MAFAT Challenge.

אירחנו את ליאל ממפא"ת ואת שי ועידן מ-Webiks.

דיברנו על מהפכת החלל, האתגר בזיהוי אובייקטים מתצלומי לוויין במאפיינים שונים וההבדלים ביחס לגילוי אובייקטים קלאסיים.

קישור לתחרות:
https://codalab.lisn.upsaclay.fr/competitions/9603

זיהוי הונאות על ידי אנומליות עם אנדרס מRiskified Feb 09, 2023

זיהוי אנומליות הוא נושא שימושי למגוון בעיות, זיהוי סנסורים דפוקים, אאוטליירים בדאטא או התנהגות חשודה.

הבעיה היא שזיהוי אנמליות בפני עצמו הא לא תמיד שימושי, אם אין פעולה שאפשר לבצע בעקבות החריגה.

נדבר על הגישות הקלאסיות לאנומלי, כגון

* Density estimation

* Auto regressive

* Distance based measures

ועל הבעייתיות שנובעת מחישוב מרחקים במימדים גבוהים.

אנדרס יציג את הגישה ההירכית שעבדה להם בריסקיפייד, המבוססת על אימון מספר גדול (6000) של מודלים ברמות שונות, והפעלת לוגיקה סטטיסטית על החריגות של כל מודל בפני עצמו.

הגישה שונה מגישות קודמות, שכן כל מודל משויך למטריקה - אזי אפשר לא רק לחזות אנומליות , אלא גם להסביר מדוע זו אנומליה ולסנן אך ורק לאנומליות עבורן יש פעולה שאפשר לנקוט.

קישורים:

problems and challenges related to anomaly detection on big data

The Curse of Dimensionality

Andres’ talk about their "new approach"

איך לא להעסיק ג’וניורים במקצועות הדאטא Jan 22, 2023

פרק זה הוא פרק סולו של אורי, בוא הוא יספר על החוויה שלו בפתיחת משרת ג'וניור בארגמקס.

המשרה זכתה לחשיפה גבוהה ברשתות החברתיות והגיעה ל40 אלף איש בעקבות שיטת הגיוס הלא שגרתית.

אורי יספר על מבחן הבית, ההיענות המפתיעה של מועמדים והביקורות שקיבל מקולגות לתחום.

באם יש לכם נסיון או מומחיות בתחום גיוס הג'וניורים, נשמח לפידבק בקבוצת הטלגרם שלנו

https://t.me/explainablepodcast

לעיון במבחן הבית:

https://argmax.ml/jr

רשתות נוירונים על גרפים עם חגי מרון Jan 09, 2023

בפרק זה אירחנו את חי מרון מ

nvidia

לדבר על עיבוד גרפים עם רשתות נוירונים.

נדבר על ישומים של גרפים בחיים האמיתיים, ועל ההבדל האינהרנטי שבין גרף לבין "תמונה" או מטריצה כללית.

נדבר על 4 הגישות הרווחות למידול

שיטות ספקטרליות
מודלי העברת הודעות
רשתות אקוויורינטיות
וכמובן, טרנספורמרים

לקריאה נוספת:

https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf

הרצאה של חגי על יצוג גרפים כסימטריות

https://www.youtube.com/watch?v=k3E3XyMtQcA&list=PL7VfmMOOwNlJ5PndlhiMwjvqDTA6m1Z9i&index=2&t=120s

יצירה אוטומטית של קוד עם פרופ ערן יהב וד”ר אורי אלון Dec 19, 2022

בפרק קודם דיברנו על קודקס, מודל השפה שמאחורי

Github Co-Pilot

בפרק זה, החלטנו להעמיק ולראיין את ערן יהב, חוקר באקדמיה והמוח מאחורי

TabNine

ואורי אלון, פוסט דוקטורט בתחום שחוקר את הנושא הרבה לפני שזה היה מגניב.

נדבר על ההיסטוריה של התחום, גישות מבוססות גרפים, דקדוק ומה הקשר בין שפת התכנות ליכולת החיזוי.

כמו כן נדבר על אתגרים מוצריים ב

TabNine

ועל המעטפת הנדרשת להפיכת מודל למוצר שאנשים משתמשים בו ומרוצים ממנו.

Data Centric AI עם סיגל שקד Dec 06, 2022

נראה שעולם המודלים הגיעה לבשלות, לא פעם יוצא לנסות כמה מודלים שונים ולהגיע לאותן מטריקות.

הטרנד של

data centric ai

שמוביל
Andrew Ng

דוגל בגישה שהפוקוס צריך לעבור לבחירה נכונה של הדאטא, ויצירה חכמה של דאטא סינטתי יותר מאשר אופטימיזציה של מודלים.

סיגל שקד תספר לנו על הגישה החדשה וההבדלי מונחים אל מול גישות קלאסיות של

resampling / augmentation

קישורים רלוונטים:

Commercial: gretel, datomize

על חינוך בתחום הבינה המלאכותית עם שי פרח Nov 22, 2022

בפרק זה אירחנו את שי פרח ממכון וייצמן, מומחה להוראת המדעים.

בעידן שלנו, ללמוד לתכנת זה כישור יסוד כמו קריאה וכתיבה בעידן המחשב.

האם הגיע המקום לחשיבה בשיטת

ai4all

על משקל תנועת ה

coding4all

הפופולארי.

דיברנו על הכשרות בתחום הבינה המלאכותית בתוכנית הלימודים.

מה ההבדל בין "מדעי המחשב הקלאסי" לבין אפיון בעיה כ"למידת מכונה" מנקודת המבט של המהנדס.

זרימות מנורמלות עם מייק ארליכסון Nov 03, 2022

מייק, אורח קבוע של הפודקאסט ידבר איתנו על

Normalized Flows

מודל חדש ליצירת תמונה מטקסט, או תמונה מתמונה בדומה ל

Diffusion model, GANS and VAE

נדבר על ההבדלים בין המודלים, על היתרון ב

density estimations

ונבחן לעומק את הבניה המיוחדת של ההמרה המתמטית שמאפשרת חישוב יעיל ומדויק של ההתפלגות

אנומליות בתמונות עם ערן אילת Oct 18, 2022

בפרק זה אירחנו את ערן אילת האנומליה, לדבר על חיזוי אנומליות בתמונות..

חיזוי של חריגות הוא קריטי לתחומים רבים כמו סייבר, הונאה פיננסית ובקרה על מודלים.

בעולמות התמונה, נדבר על שלושת הסוגים של חריגות, חריגה מההתפלגות

OOD

חריגה סמנטית, אובייקט לא מוכר.

ולבסוף חריגה כזיהוי של פגם (למשל בעולם היצור)

נדבר איך מודלים מתחום התמונה כמו קונטרסטיב, גאנ וטרנספורמרים משמשים גם לזיהוי חריגות

קרדיט למחקר משותף: מתן טור פז

איך פרילנסר ניגש לפרויקט AI Oct 03, 2022

תמיר ואורי, שניהם עוסקים כיועצים בתחום למידת המכונה - ועשו הרבה טעויות שניתן ללמוד מהם כשניגשים לפרויקט חדש.

בפרק זה, נדבר על שלושה פרויקטים לדוגמא - ומה הן השאלות והסוגיות שצריך להעלות לפני שמתחילים.

נדבר על מטריקות - איך מודדים פרויקט, על אתגרים טכניים.

איך בוחנים האם הדאטא מספק, והאם הארגון בכלל בשל ל

AI

והכי חשוב - תיאום ציפיות לתוצרים של הפרויקט.

Co-Pilot - Codex ויצירה של קוד עם מודלי שפה Sep 14, 2022

הקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של

Program Synthesis

העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה.

אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי.

ונדבר על קודקס, מודל השפה ש

Open AI

אימנו על גיטהאב, וכיצד הוא עובד.

כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים.

שישה מאמרים שכל דאטא סיינטינסט חייב להכיר עם שקד זיכלינסקי Sep 04, 2022

בפרק זה אירחנו את שקד זיכלינסקי, ראש קבוצת ההמלצות של לייטריקס.

שקד ריכז עבורנו את ששת המאמרים החשובים שכל דאטא סיינטיסט מודרני חייב להכיר.

ששת המאמרים הם:

(1) Attention Is All You Need (2) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (3) A Style-Based Generator Architecture for Generative Adversarial Networks (4) Learning Transferable Visual Models From Natural Language Supervision (5) Mastering the Game of Go with Deep Neural Networks and Tree Search (6) Deep Neural Networks for YouTube Recommendations

שקד גם כתב בהרחבה במדיום פה:

https://towardsdatascience.com/6-papers-every-modern-data-scientist-must-read-1d0e708becd

Novel Class Discovery זיו פרוינד על Aug 10, 2022

בפרק זה אירחנו את זיו פרוינד שהכיר לנו מונח חדש לבעיה נפוצה.

מכירים את זה שאימנתם מודל שעובד מעולה כשמסווגים 10 מחלקות, אבל פתאום כשמגיעים לשטח מגלים שיש עוד 12 מחלקות שלא חשבתם עליהם ומבלבלות את המודל ?

זיו יספר על נסיונו בסיווג סיגנלים באלביט, ויספר על גישות לפתרון הבעיה.

נשמע לכם כמו קלאסטרינג ? גם לנו - נדבר על ההבדלים ועל שימוש בשיטות כמו

Contrastive

ללמידת ייצוגים מוכוונת לבעיית הקלאסיפיקציה שתבוא בהמשך.

לקריאה נוספת

[1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.

[1]Hsu, Yen-Chang, ZhaoyangLv, and Zsolt Kira. "Learning to cluster in order to transfer across domains and tasks.” ICLR 2018

[1]Yang, Bo, et al. "Towards k-means-friendly spaces: Simultaneous deep learning and clustering." international conference on machine learning. PMLR, 2017.

[1]Geng, Chuanxing, Sheng-jun Huang, and Songcan Chen. "Recent advances in open set recognition: A survey." IEEE transactions on pattern analysis and machine intelligence 43.10 (2020): 3614-3631.

[1]Min, Erxue, et al. "A survey of clustering with deep learning: From the perspective of network architecture." IEEE Access 6 (2018): 39501-39514.

Multi-Task Learning עם איתי מרגולין Jul 19, 2022

בפרק זה נראיין את איתי מרגולין על אחת הטכניקות הפרקטיות בתעשייה שכל עסקן דיפ לרנינג חייב להכיר.

מולטי-טאסק זו למידה של מספר משימות במקביל, ולמרות שהמונח קיים כבר עשרות שנים, הוא זכה להכרה מחדש עם פרוץ דיפ לחיינו.

נדבר על מתי למידה של מספר משימות מועילה, מתי היא מזיקה ?

מה ההבדל מול
Transfer learning ?
ואיך משלבים כמה מטרות לפונקציית לוס אחת

מערכות המלצה בטאבולה עם דנה קנר Jul 05, 2022

כמשתמשים אנחנו נחפשים למערכות המלצה כל הזמן, בין אם זה בסופר בקניות או בגלילת סרטים בנטפליקס.

בפרק זה נדבר עם דנה, על איך טאבולה, ענקית ההמלצות העולמית ממליצה לנו על כתבות דומות כשאנחנו גולשים באינטרנט.

נדבר על המלצות מבוססות תוכן בלבד

content filtering

המלצות מבוססות אינטראקציות בלבד, בהשראת פרס נטפליקס 2009

collaborative filtering

ונדבר על מימושים כגון וריאציות על

matrix factorization

ו

factorization machines

כדי לשלב גם תכנים וגם התנהגות משתמשים להמלצה אחת.

כמו כן נדבר על איך טאבולה עושים

Transfer learning

כשיש טראפיק מועט, או כשיש תלות גדולה בין אתרים.

זיהוי אובייקטים עם אברהם רביב Jun 15, 2022

בפרק זה נדבר על זיהוי אובייקטים בתמונה, ונארח את אברהם רביב - דוקטורנט בתחום בבר אילן ופעיל מאוד בקהילה עם הסקירות המעולות שלו.

נדבר על בעיות בראיה ממוחשבת, מקלאסיפיקציה, דרך זיהוי אובייקטים ועד סגמנטציה - ועל הקושי בתיוג.

זיהוי אובייקטים יכול להיות ממודל או כבעיה דו שלבית, הכוללת שלב נקודות עניין ואז קלאסיפיקציה או יחדיו - ונזכיר את

YOLO

שהיה מודל חלוצי בתחום.

נדבר על המעבר מרשתות

CNN

לטרנספורמרים, ועל המודל

DETR

סקירה של אברהם רביב על דיטר:

https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew/blob/main/deepnightleaners%20reviews/DETR.pdf

Defusion Denoising Models עם מייק ארליכסון May 30, 2022

ראיון מיוחד עם מייק ארליכסון האחד והיחיד על מודל גנרטיבי "חדש".

Diffusion Models
הם שיטה חדש לפעפוע רעש, ואימון מודל להפוך רעש על ידי סדרה של מודלים לתמונות סופר איכותיות.

נדבר על המאמר:

Diffusion models beat gans on image synthesis

שמראה שמודלי דיפוזיה מצליחים להביס מודלים קודמים כגון

GANs.
ונסקור את המטריקות לאיכות תמונה שנבדקו, כמו כן נדבר על החסרונות של
DDPM
לעומת
VAE & GANsץ

MLOps עם אורן רזון May 18, 2022

בפרק זה נדבר עם אורן רזון שמוביל את

superwise

על שלושת השלבים של דיפלוימנט של מודלי למידת מכונה.

נדבר על מה יכול להשתבש בפרודקשן כשמודל מתיישן והעולם מתיישן, ואיך ניתן להיות עם יד על הדופק עם
Monitoring

קישורים רלוונטים:

Building your MLOps roadmap

Build or buy? Choosing the right strategy for your model observability Superwise Community Edition

Machine Learning Engineering עם אסף פנחסי Apr 29, 2022

למידת מכונה נורא כיפית ופשוטה כשמורידים מחברת מקאגל וכל הדאטא יושב בקובץ על המחשב ליד, אבל בחיים האמיתיים המצב לא כ"כ פשוט.

בפרק זה אסף פנחסי (יועץ בתחום, בוגר פייפל ובכיר בזברה מדיקל לש') לספר לנו על החיים האמיתיים.

שאלנו את אסף את כל השאלות הקשות: מחברות או קוד ? האם

feature store

זה משהו שאנחנו צריכים, ומתי הוא לא מתאים ?

וכמובן, מה ההבדל בין

ML engineering

ל

MLops

?

סטטיסטיקה בייסיאנית Apr 05, 2022

סטטיסטיקאים נחצים ל2 מחנות: הסטטיסטיקאים הקלאסיים-תדירותיים, והסטטיסטיקאים הבייסיאנים.

סטטיסטיקה בייסיאנית היא גישה שונה לסטטיסטיקה, שמנסה לדון בסבירות לא רק של הדאטא הנצפה בהנתן השערה, אלא גם בסבירות של הפרמטרים של ההתפלגות.

מודלים רבים כגון

GMM, Naive Bayes ו Latent Dirrechlet allocation

מתבססים על סטטיסטיקה בייסיאנית, ולאחרונה גם רשתות נוירונים זוכות לפרשנות בייסיאנית.

בפרק נדבר על ההבדלים, ועל האומדים השונים של 2 הגישות.

ניווט אינרציאלי עם ברק אור Mar 22, 2022

בפרק זה אירחנו את ברק אור לספר לנו על ניווט אינרציאלי.

כשאנחנו חושבים על ניווט, אנחנו חושבים על גוגל מאפס, ווייז ושלל אפליקציות שמשתמשות ב

GPS.

אבל לג'י פי אס יש מגבלות, ויש דרכים נוספות לנווט - כגון מדדי תאוצה, מהירות ומצפן.

ברק יספר לנו על אלגוריתם קלמן פילטר ששרד את מבחן הזמן ועל הרחבות שלו עם למידת מכונה.

על בינה מלאכותית בסייבר עם רועי טבח Mar 07, 2022

בפרק זה ראיינו את רועי טבח שייספר לנו על האתגרים בעולם הסייבר,

דיברנו על שימוש באנומלי דטקשן להתראה על אירועים חשודים בלוגים של מערכות.

ודיברנו על מירוץ החימוש הנצחי בין התוקפים למגינים

Proximal Policy Optimization מה זה Feb 16, 2022

כבר התרגלנו בעולם המשין לרנינג, ששום מודל לא שורד יותר משנה-שנתיים בתור ה

SOTA

עד שמגיעה גישה חדשה שטורפת את הקלפים.

לכן מעניין דווקא לדבר על

PPO

שנשאר הגישה הדומיננטי ב

Reinforcement learning

כבר חמש שנים, ולא נראה שהוא הולך לשום מקום.

נלמד על הבעיתיות של למידה רק עם גרדיאנט, ונדבר על מה זה "גרדיאנט טבעי"

בנדיטים עם דניאל חן Jan 18, 2022

בפרק זה אירחנו את דניאל חן מפייבר, לדבר על אלגוריתמי בנדיטים.

Multi armed bandit

היא גרסה מנוונת של

Reinforcement learning

אבל שימושית מאוד, עם אלגוריתמים ייחודיים לפתרון יעיל.

נדבר על שימושים בעולמות הפרסום, תימחור דינמי, ואיך מכניסים קונטקסט לבנדיטים ושומרים על שפיות.

Variational Auto Encoders עם מייק ארליכסון Jan 10, 2022

פרק מהארכיון, עם מייק ארליכסון המפורסם מסקירות המאמרים.

בפרק זה נדבר על הדרך מאוטו-אנקודר אל

VAE

לצורך יצירה של דאטא סינטתי.

ונדבר על ההבדלים מול

GAN

עצי החלטה - חוזרים לבסיס Dec 28, 2021

בפרק זה נחזור לבסיס ונדבר על עצי החלטה, המודל הבסיסי והאינטואטיבי ביותר - שעדיין עובד יותר טוב על דאטא טבלאי.

נדבר על שיטות אימון חמדניות, ועל שימוש באנטרופיה כקירוב.

ונתאר מה ההבדל בין שיטות ה

ensemble

הנפוצות, בוסטינג לעומת באגינג.

למידה ניגודית Contrastive Learning Dec 15, 2021

נראה שלמידה ניגודית מקבלת המון תשומת לב לאחרונה, בעיבוד תמונה, טקסט ואפילו דאטא טבלאי.

נדבר על המאמר פורץ הדרך של הינטון

SimCLR

ונשווה אותו אל מול שיטות קלאסיות של הורדת מימד.

פדיחות של למידה Nov 29, 2021

בהמשך לסיקור החדשותי של זילו, והחיזוי מחירי נדלן שהביאו להפסדים של מיליארדים - תמיר ואורי מתוודאים על פדיחות שעשו בפרויקטים.

מה קורה כשהמודל מושלם אבל תהליך יצירת הדאטא פחות ? איך פרויקט תיוג יכול להשתבש ולהתפוצץ בפנים, וכמובן - כמה חשוב לקרוא את האותיות הקטנות בדוקמנטציה.

עיבוד קול עם אמיר עברי Nov 17, 2021

בפרק זה אירחנו את אמיר עברי להסביר לנו על עיבוד קול, מה הם השלבים השונים בפייפליין של

Speech recognition

ועל האתגרים בתחום. בפרק נדבר על שיטות כגון

MFCC

לעיבוד אותות שמע, וכיצד אפשר להתמודד עם המימד הגבוה עםטכניקות כמו

Diffusion maps

כדי לאפשר עיבוד בזמן אמת.

על התאוריה של דיפ לרנינג, עם גלעד יהודאי Oct 27, 2021

על מהפכת הדיפ לרנינג לא צריך להרחיב, כולנו מכירים וחלקנו אף מימשנו.

אבל למה לעזאזל הדבר הזה עובד ? בפרק זה אירחנו את גלעד יהודאי, סטודנט לדוקטורט לתחום ושאלנו אותו את השאלות הקשות.

נלמד מה זה "אוברפיטינג שפיר" מה היא תופעת ה"ירידה הכפולה" ומה הם שלושת סוגי הטעויות בלמידה.

עיבוד שפה בעברית, עם פרופסור רעות צרפתי Oct 13, 2021

בפרק זה אורי מארח את רעות צרפתי לדבר על עיבוד שפה בעברית.

מה ההבדל בכלל בין עברית לאנגלית ? למה זה יותר קשה ?

האם החיים היו יותר קלים אם היינו כותבים עם ניקוד ?

ודיברנו על ההבדלים הבלשניים של שפות שמיות (עברית וערבית) אל מול שפות הודו אירופאיות.

Positive Unlabeled Learning שי פלצ‘י על Sep 28, 2021

קיבלתם פעם דאטאסט עם "כל הדברים שחשוב לזהות" אבל בלי אף דוגמא שלילית ?

אני בטוח שכן, אפשרות אחת לפתרון היא למדל את הבעיה כקלאסיפיקציה ואיכשהו להמציא דוגמאות שליליות.

או, לחילופין למדל את הבעיה כ

Positive Unlabeled Learning

אבל מה זה ?

שי פלצ'י יסביר לנו ויספר על הספריה שלו

pu-learn

Welcome back -not amlek.ai - we‘re ExplAInable Sep 28, 2021

Tamir Nave and Uri Goren introduce themselves and the new podcast format.

Our TOPPODCAST Picks

Follow Us

Stay Connected

Related Podcasts

Links

Stay Connected