ExplAInable

Latest Episodes:

[155] Diffusion Language Models May 25, 2026

Show notes

הפרק עוסק במודלי דיפוזיה ליצירת טקסט (DLMs), המאומנים לג'נרט טקסט מתוך רעש (ג'יבריש).להבדיל מעולם התמונות שבו רעש הוא טבעי, בעולם השפה ייצוג הרעש מורכב יותר בשל אופייה הדיסקרטי של השפה. קיימות שלוש גישות מרכזיות בתחום: הגישה הרציפה (המרעשת את האמבדינגס), הגישה הדיסקרטית (המחליפה טוקנים בג'יבריש) או ממסכת אותם), וגישת ה-Block Diffusion המשלבת חיזוי אוטוגרסיבי עם דיפוזיה.

היתרון המרכזי של מודלי דיפוזיה הוא מהירותם הרבה לעומת מודלים אוטוגרסיביים, שכן הם מסוגלים לחזות בלוקים שלמים של טוקנים במקביל במקום לחזות טוקן אחר טוקן. למרות הפוטנציאל, המודלים הקיימים כיום עדיין מוגבלים מבחינת איכות הטקסט שהם מייצרים, ואין כרגע מודלי דיפוזיה גדולים מאוד מאות מילאירדי פרמטרים שמסוגלים להפגין ביצועי ברי השוואה עם LLMs בגדלים שונים

[154] על Physical AI: מתי הומנואידים של טסלה ושוטף-שואב יחלקו foundational model May 12, 2026

Show notes

יצא לכם לתהות מתי הומנואידים של טסלה ושוטף-שואב של שיאומי ישתמשו באותו ה- foundational model?

אחרי שלושה פרקים ברימוט, אקספליינבל חוזרת לסטודיו, ובפרק 154 תמיר והילה צוללים ל- Physical AI. בפרק נבדיל בין 4 הקטגוריות של רובוטים, נבין למה צצו foundational models לתמונות לפני טקסט, איזה חיישן יכול לעזור לרובוט שוטף כלים להבדיל בין זכוכית לקריסטל, ואיך הרגולציה עשויה להשפיע על תפוצה רחבה של הומנואידים.

נפרק את מה שעומד מאחורי מודלי VLA (ויז׳ן, שפה, ו-action), ונבין מה צריך להשתנות עד שנוריד משקולות לשוטף-שואב מ Huggingface.

אז - האם סימולציות יוכלו לקדם אותנו לעבר מספיק training data? איך מגדירים טוקן בפעולות מוטוריות? ואיזו ענקית קראה למודל ה VLA שלה על שם דמות מפתיעה משומרי הגלקסיה?

כל זאת, בפרק!

אתר mAIk Education של תמיר: https://www.maik-education.com/

סדנאות לבתי ספר: https://www.maik-education.com/for-Israelschools

סדנאות רובוטים לחברות (לעובדים או לילדי העובדים): https://www.maik-education.com/for-Israelcompanies

00:00 חוזרים להקליט באולפן!

01:17 ארבע משפחות של רובוטים

03:40 מתי foundational models נהיו שם-דבר

06:46 מולטי-מודאליות של טקסט, תמונה, ופעולה: VLA

11:35 על הinput וה-output של מודלי VLA

17:05 אז מה יש לנו היום בשוק

20:04 החסם האנרגטי

[153] למידה אדוורסריאלית Apr 26, 2026

Show notes

מה הקשר בין הרעלת training data להורדת הסבירות ל- end of text token?

בפרק 153 של אקספליינבל, אורי ומייק מארחים את ד״ר רז לפיד ואילון מזרחי לשיחה על למידה אדוורסריאלית. לא זו מארכיטקטורת GAN, אלא כזו שגורמת למודלי LLM לצטט את החוקה האמריקאית ולבזבז יותר מדי טוקנים. בפרק למדנו על תקיפות שמתחילות בwhitebox עם מודל opensource ונודדות למודלים סגורים, תקיפות פיזיות על מערכות סגורות שאומנו לזיהוי בני אדם, ואיך אפשר להתמודד עם מתקפה שמורידה את הסבירות שמודל שפה יוצא end of text token. אז האם אייג׳נטים שמשתמשים במודל סגור יותר בטוחים מכאלו שמשתמשים במשקולות מhugging face? איך תוקפים מרעילים תוצאות כשכל מה שיש להם הוא גישה ל training data? האם אורי ורז יפתחו עסק צדדי של הדפסת חולצות שיגרמו לנו להיות בלתי נראים?

ה scholar של קרליני: https://scholar.google.com/citations?user=q4qDvAoAAAAJ&hl=en

הגנה "לא מפוקחת" שהתקבלה ל ICCV:

https://openaccess.thecvf.com/content/ICCV2025W/SafeMM-AI/html/Mizrahi_Pulling_Back_the_Curtain_Unsupervised_Adversarial_Detection_via_Contrastive_Auxiliary_ICCVW_2025_paper.html

התקפת black box על object detectors שהתקבלה ל - ECML:

https://arxiv.org/abs/2303.04238

[152] ביו-האקינג כמו דאטה סיינטיסט Apr 15, 2026

Show notes

מה הקשר בין התפלגות פוסטריורית של בדיקות גנטיות לבריאן ג׳ונסון?

השבוע באקספליינבל, אורי פותח מצלמה ומספר על ביו-האקינג מנקודת מבט קצת אחרת (ספוילר: בלי האקרים). ננסה להבין מה קורה כשמנסים לתשאל ריצוף גנום עם SQL, ואיך רופאים מגיבים לגישה "דאטאית" לבריאות. מה אפשר ללמוד (ומה פחות) מהשגרה הקיצונית של בריאן ג׳ונסון, למה ניסויים בלי קבוצת ביקורת הם בעייתיים יותר ממה שנדמה. ואפילו - האם בדיקה של 300$ יכולה להסביר למה צריך יותר חומר הרדמה אצל רופא שיניים?

[151] עקבות של רעשי תיוג עם ד״ר שמואל חיון Mar 30, 2026

Show notes

השבוע באקספליינבל אנחנו עוברים למתכונת רימוט ומארחים את ד״ר שמואל חיון, חוקר AI בכיר בהירונדו, שיספר לנו על העקבות שתיוג לא נכון משאיר לנו בזמן אימון המודל. הבנו איך טעות סיווג בהקלטה עם קשר טמפורלי קשורה לקלסיפיקציה של חתולים, ומתי סטטיסטיקות על פיצ׳רים כבר לא יכולות לעזור לנו במציאת טעויות סיווג (רמז: תמונות). העמקנו בהשפעה של דוגמא עם סיווג לא-נכון על loss של דוגמא אחרת, ואיך מודאליות שונה תשתמש אחרת באותה ליבה אלגוריתמית למציאת הרעשים.

המאמרים שהוזכרו בפרק:

שערוך יעיל של data influence למציאת שגיאות תיוג

סקירת מגוון שיטות לחישוב מקורב של data influence

00:00 היי שמואל, חוקר AI בכיר בהירונדו

02:40 חשיבות איכות הדאטה וכלב שמסווג כחתון

07:35 מבדיקה ידנית ועד קרבה סמנטית: איך להתמודד עם רעשי סיווג

13:33 מודאליות ותיוגים: איפה אנחנו הכי פגיעים

18:45 שגיאות תיוג נפוצות

22:44 איך לומדים ביחד ולחוד עבור מודאליות שונה

32:29 תוצאות בשטח

35:48 איך ללמוד עוד

[150] לסקור מאמרים כמו מייק Mar 08, 2026

Show notes

בפרק 150 של אקספליינבל, ולכבוד הסקירה של המאמר ה-555 של מייק, הסוד נחשף: מי הם הכותבים הסודיים מאחורי המאמרים (ואיך זה עוזר לקריירה שלהם). נבין מה הקשר בין הנוסחה של log likelihood לפסילת מאמרים, ואיך לדעת איזה מאמר לקרוא כשאין לנו מנחה או משימה מוגדרת בעבודה. נבדוק מהם הטיפים המובילים שעזרו למייק להפסיק לקרוא 85% מתוך 3000 המאמרים ששקל לסקור, ואיך שיתופי פעולה עם דאטה סיינטיסטים מתחילים הפכו להיות הסקירות האהובות עליו.

פרק 150 שיצליח להעביר לכם חצי שעה שלמה (או 20 דקות על מהירות x1.5) - זמין עכשיו בכל הפלטפורמות!

קסניה בטוויטר: https://x.com/TheTuringPost

קמרון וולף: https://substack.com/@cwolferesearch

נתן למברט: https://substack.com/@natolambert

סבסטיאן רסצ׳קה: https://substack.com/@rasbt

00:00 מחוסרים מתמטיים בתואר שני בטכניון ועד לקריאה של 3000 מאמרים

04:34 טקסונומיה של מידע: איך לבחור מה לסקור

10:43 להיכשל מהר: איך לסנן 85% מהאמרים ביעילות

18:19 שיתוף הפעולה הסודי עם סוקרים וסוקרות מהתעשייה, ואיך זה מקדם אותם

21:59 הסקירה הכי גרועה שמייק כתב

26:07 איך לשתף פעולה עם מייק לקראת הסקירות הבאות שלו ומה אפשר ללמוד מזה

[149] למה לא רואים אלגוריתמים גנטיים ב-ChatGPT Feb 22, 2026

Show notes

למה אנחנו לא רואים אלגוריתמים גנטיים בChatGPT?

היום באקספליינבל, הילה ותמיר בחנו אלגוריתמים גנטיים כתשובה לפונקציית מטרה שאינה גזירה, מעולמות הסייבר ועד reinforcement learning. האם אלגוריתם פשוט שיכול לייצב מטוטלת ולפתור בעיית knapsack יוכל לעזור לנו באופטימיזציה של רשתות גדולות? בפרק נדבר על חשיבות יצירת Generation Zero בעולם בעיה מורכב, לעומת מקרים בהם כל ניחוש התחלתי הוא טוב, איך בעיה קומבינטורית יכולה להפוך למערך של מערכים, והאם יש סיכוי שנראה יותר אלגוריתמים גנטיים באופטימיזציה של מודלי שפה גדולים.

00:00 בעיית תיק הגב: איך לבנת זהב קשורה לפונקציה שאינה גזירה?

02:50 איך אלגוריתם גנטי עובד

07:22 אלגוריתמים גנטיים בעולם ה Reinforcement Learning

11:13 למה אי אפשר להשתמש באלגוריתמים גנטיים ברשתות גדולות יותר

13:57 איך ללמוד עוד על הנושא

בעיית Knapsack https://he.wikipedia.org/wiki/%D7%91%D7%A2%D7%99%D7%99%D7%AA_%D7%AA%D7%A8%D7%9E%D7%99%D7%9C_%D7%94%D7%92%D7%91

בעיית cartpole בעזרת אלגוריתמים גנטיים: https://gsurma.medium.com/cartpole-introduction-to-reinforcement-learning-ed0eb5b58288

הפטנט המשלב אלגוריתמים גנטיים של חברת זיסקיילר: https://patents.google.com/patent/US20250307332A1/en

[148] עושים רוסט לסילבוס של הרווארד Feb 08, 2026

Show notes

אם למדתם את התואר השני שלכם לפני 2018, כנראה שהוא לא היה בדאטה סיינס.

אבל מאז, האקדמיות התחילו להציע לצד לימודי דיסיפלינות כמו מתמטיקה ומדמ״ח, גם תארים שניים מונחי מקצועות, ובניהם גם דאטה סיינס. והקולגות שלכם והאנשים שתנהלו שלמדו אחריכם? ייתכן מאוד שהם השתתפו בתארים כאלו.

השבוע באקספליינבל, אורי והילה פתחו בלי פילטרים את 24 הקורסים שהילה בחרה במסגרת לימודיה בהרווארד. בדקנו איך כלכלה קפיטליסטית משפיעה על האיכות (והכמות) של קורסי בחירה, מהי החשיבות האקדמית בפקולטה לשילוב פרויקטים עם גופים ממשלתיים כמו נאס״א, מי הפרופסור שהוריד נקודות על קומיטים עמוסים מדי ב-GitHub, ולמה המרצים שלה חשבו שבניית קורס בUdemy מייצר דאטה סיינטיסטים יותר טובים.

הפרק המלא עכשיו בכל הערוצים, ואנחנו לא יכולים להבטיח שלא יהיו בחני פתע בהמשך.

אם עוד לא ראיתם את פרק 142, השקרים שUMAP מספר לנו - הנה הוא: https://open.spotify.com/episode/7JhkmVAchJCuJmBflJI6Vq?si=iabQasycRsa4DCVzIwYihw

פרק 136 על הורדת מימדים בלווינים של נאס״א עם מייק והילה:

https://open.spotify.com/episode/5airSjSy665VXZ2tImf1vE?si=3-jAQ7JSTSCNoCFXPgbs0A

הסילבוסים של כל הקורסים מהתואר בData Science:

CSCI 29, Advanced Python for Data Science: https://www.scribd.com/document/798907961/syllabus-15
CSCI 106, Data Modeling: https://harvard.simplesyllabus.com/en-US/doc/klanr3gi3
CSCI 109A, Introduction to Data Science: https://harvard-iacs.github.io/2020-CS109A/
CSCI E-82, Advanced Machine Learning, Data Mining, and Artificial Intelligencehttps://harvard.simplesyllabus.com/en-US/doc/87qroqsdw
CSCI E-88, Principles Of Big Data Processing: https://www.coursehero.com/file/30149735/BDP-Syllabus-Spring-2018pdf/
ISMT E-161, Computational Bayesian Inference: https://harvard.simplesyllabus.com/en-US/doc/mknirmekw
CSCI 89, Introduction to Deep Learning: https://harvard.simplesyllabus.com/en-US/doc/orl05sdoq
CSCI E-89b, Introduction to Natural Language Processing: https://harvard.simplesyllabus.com/en-US/doc/dy3xgo9om
ISMT E-136, Time Series Analysis with Python: https://harvard.simplesyllabus.com/en-US/doc/tn6vfy88u
MATH 156, Mathematical Statistics: https://harvard.simplesyllabus.com/en-US/doc/8zojz55h6
CSCI 597, Data Science Precapstone + CSCI E-599a Data Science Capstone: https://harvard.simplesyllabus.com/en-US/doc/xkxh8b79b

ספר של הילה עם פרופסור הנסטוק: https://www.amazon.com/Supercharged-Coding-GenAI-practices-Copilot/dp/1836645295

קורס של הילה ביודמי עם פרופסור גורלין:

https://www.udemy.com/course/apds-intro-to-advanced-python-for-mlops-and-data-science/?srsltid=AfmBOorNj_xL3x8JCmTXR3KDIgp01faF9uZryC8wFbpLw_fpcou1jyse

הספר Mathematical Statistics https://www.amazon.com/Mathematical-Statistics-Data-Analysis-Rice/dp/8131519546/ref=tmm_pap_swatch_0

00:00 תואר שני שני בהרווארד

01:01 מכלכלה קפיטליסטית של קורסי בחירה לארכיטקטורה של טרנספורמר במבחן אמצע

04:13 ארבע וחצי שנים לתואר שני אחד

6:48 חשיבות הארטיקולציה והפרזנטציה

09:47 פול סטאק דאטה סיינס

16:59 עוד קורסים במדמ״ח (או: כמה הילה קיבלה ברשתות תקשורת)

20:10 אז מה חסר ומה מיותר

23:59 הטיפים לדור העתיד

[147] הוגן או מדויק עם נורית כהן אינגר Jan 25, 2026

Show notes

דאטה סיינטיסטים יספרו לנו בהתלהבות על איך הם פותרים class imbalance, אך מה לגבי imbalance של משתנים דמוגרפיים?

השבוע באקספליינבל, אירחנו בשנית את נורית כהן אינגר כדי להבין האם מודל שאינו הוגן יכול להיות מדויק. נזכרנו בסקנדל של מודל COMPAS לחיזוי פשיעה חוזרת של עצורים בארה״ב, שחזה false positives פי 2 בקרב אוכלוסיה אפרו-אמריקנית.

עמדנו על ההבדלים בין הוגנות קבוצתית לבין הוגנות אינדיבידואלית, ואיך לעצב מודל הוגן יותר בשלב הדאטה, האימון, והריצה. אז מודדים היום הוגנות של מודלי שפה? האם פייריות היא פיצ׳ר או מטריקה? ואיך מייק והילה הצליחו להשמיץ שוב את שיטת SMOTE? כל זאת ועוד - בפרק!

[146] ההאקרים שעוזרים לסם אלטמן Jan 11, 2026

Show notes

כדאטה סיינטיסטים, אנחנו מאוד רגישים ל Jailbreaking וחולשות במודלי שפה, עד כדי כך שאנחנו עלולים לשכוח שהמוצרים שאנחנו בונים פגיעים גם לחולשות אבטחה סטנדרטיות.

השבוע בexplAInable הזמנו את רועי פז, Principal AI Security Researcher שמקבל צ׳קים כדי למצוא פגיעויות באפליקציות LLM. הבחנו בין חולשות במודל לחולשות אפליקטיביות, הגדרנו מונחי בסיס כמו Sandbox, Lateral Movement, וניסינו להבין מה המוטיבציה של חברות כמו OpenAI לתגמל האקרים ולשלם להם כסף על פגיעויות שהם מוצאים במודל.

שמענו גם על אייג׳נטים שעוזרים להאקרים לכתוב מתקפות מתוחכמות יותר, ועם אלו חולשות אין לנו סיכוי לקבל צ׳ק בתוכניות Bug Bounties של מודלי שפה גדולים. כל זאת ועוד - בפרק!

לינקדאין של רועי פז: https://www.linkedin.com/in/roy-paz/

תוכנית הבאג באונטי של OpenAI שכבר שילמה ל330 האקרים: https://bugcrowd.com/engagements/openai

Our TOPPODCAST Picks

Follow Us

Stay Connected

Related Podcasts

Links

Stay Connected