ExplAInable

Latest Episodes:

[85] Mechanistic Interpretability עם מייק ארליכסון Oct 08, 2024

Show notes

בפרק הבא, נצלול לנושא המורכב של מכניסטית אינטרפרטביליות (Mechanistic Interpretability) במודלים של שפה, וננסה לפשט את הדרך בה ניתן להבין מה מתרחש בתוך מודלים אלה. נסביר כיצד מודלים בשימוש רחב כמו טרנספורמרים ומבנים מתמטיים אחרים מנסים לפענח את מנגנוני השפה, אבל נדבר גם על הקושי להבין מה באמת קורה "מאחורי הקלעים" של רשתות נוירונים עמוקות. נבין את השיטות השונות לפרש את פעולת המודל תוך התמקדות בניתוח המכניסטי של שכבות ותהליכים פנימיים.

הבלוג ששווה שתכירו

[84] להגדיר מחדש את החיפוש: חידושים ב - RAG עם ניר דיאמנט Oct 01, 2024

Show notes

בפרק הבא, נארח את ניר דיאמנט, יועץ בתחום הבינה המלאכותית הגנרטיבית (GenAI)

שיספר לנו על המסע המקצועי שלו והתפתחויות חדשניות בתחום. ניר מצטרף אלינו בעקבות תרומתו המשמעותית לשיטות

RAG (Retrieval-Augmented Generation)

כולל פיתוחים כמו GenAI Agents ו-Controlable RAG, שזכו להכרה רחבה

ואף פורסמו על ידי מנכ״ל LangChain, האריסון צ׳ייס, כתכנים הפופולריים ביותר שלהם. בפרק נדון בפתרונות לשיפור החיפושים והשליפות, סידור מתקדם של דאטא, התאמות מולטימודל, ו-RAG עם לולאות פידבק להתאמת המידע לסוגי שאילתות שונים.

[83] מדע הנתונים – איך הוא השתנה לאורך השנים עם דניאל אהרונוביץ' Sep 23, 2024

Show notes

בפרק הזה דניאל ארונוביץ', מדען נתונים ותיק, מספר על המסע האישי שלו בתעשיית הטכנולוגיה לאורך 15 שנים. ניגע בהבדלים הבולטים בין העבר להווה, בכלים שהשתמשו בעבר לעומת הכלים שמשתמשים בהם היום שמחברים את המדע ישר לפרודקשן.

דניאל מתאר את השינויים במיומנויות הנדרשות ממדעני נתונים, מיכולת ניתוח בלבד להכרח להבין תהליכי פיתוח וניהול גרסאות. נשוחח על האתגרים הטכניים, השינויים בפרקטיקות העבודה, וכיצד התפתח התחום מימי האלגוריתמים הקלאסיים ועד לתפקידי הדאטה המודרניים בעולם התוכנה.

Dataflint/Spark

לינקדאין של דניאל

[82] NotebookLM - הפרק שלא אנחנו הקלטנו Sep 16, 2024

Show notes

החודש גוגל פרסמו את NotebookLM, שירות AI שמייצר שיחת עומק מוקלטת בין שני דוברים לא אמיתיים.כדי לבדוק את העניין, העלנו תמלול של "רק לא RAG" פרק הטיפים של אורי גורן מארגמקס על נסיונו עם ארכיטקטורת הRAG.והתוצאה, הפילה אותנו מהרגליים.
נשמח לשמוע מה דעתכם? האם אפשר למכור את המיקרופון והציוד הקלטה ביד2?

[81] Data Science בעולם הביטוח עם דוד שוקרון Sep 15, 2024

Show notes

בפרק הזה, דוד שוקרון,

Head of DS & AI

בביטוח ישיר, מספק הצצה לעולם מדעי הנתונים בתעשיית הביטוח. נשמע ממנו על ההבדלים בין אקטואריה ל-Data Science,

ועל איך משלבים DS במערכות ותיקות של חברות ביטוח

דוד יסביר על יישומי DS בתעשייה עתירת נתונים כמו ביטוח, בשימוש בכלים ומודלים שונים, כולל השאלה אם יש צורך בכלים ייחודיים או שניתן להסתפק במוצרי מדף קיימים. בנוסף, נבין איך מודלי שפה משפיעים על תעשיית הביטוח, ומה הכיוונים העתידיים שמעצבים את התחום בעקבות החידושים האחרונים.

[80] LLM לייעוץ השקעות עם אלעד נחמיאס Sep 01, 2024

Show notes

בפרק זה, אנחנו נשוחח עם אלעד נחמיאס

CTO של Bridgewise,

על השימוש במודלי שפה גדולים (LLMs) בתחום ההשקעות. אלעד יסביר לנו איך משלבים טכנולוגיות מתקדמות כדי לשפר תהליכי הייעוץ והאנליזה, תוך התמודדות עם אתגרים כמו דיוק הנתונים, הטיות פוטנציאליות ושמירה על פרטיות המידע.

נשמע על האתגרים הטכניים והאתיים של יישום

LLMs, איך Bridgewise מוודאת שהפתרונות שלה נשארים שקופים ואחראיים, ומה החזון העתידי שלה לשימוש בטכנולוגיה זו בתעשיית ההשקעות.

[79] Adaptive-RAG עם לירון יצחקי אלרהנד Aug 25, 2024

Show notes

בפרק הזה, נצלול יחד עם לירון יצחקי אלרהנד ל

Interleaving Retrieval with Chain of Thought (IRCoT)

שיטה לשיפור מערכות שאלה ותשובה על ידי הרחבה איטרטיבית של תהליך חשיבה ואחזור מידע רלוונטי. נדבר על טכניקות שונות של אחזור אדפטיבי, נשווה את יעילותן על סמך מורכבות השאלה, ונדגיש את החשיבות של בחירת הגישה הנכונה לתרחישים שונים

המלצות של לירון למי שמועניין ללמוד עוד:

https://arxiv.org/abs/2212.10509

https://github.com/StonyBrookNLP/ircot/tree/main

https://colab.research.google.com/github/pathwaycom/pathway/blob/main/examples/notebooks/showcases/mistral_adaptive_rag_question_answering.ipynb

https://arxiv.org/abs/2403.14403

[78] Task Aware Embedding עם ענבל חורב Aug 18, 2024

Show notes

לא רק היופי הוא בעיניי המתבונן, מסתבר שגם הדימיון הסמנטי

בפרק הזה ענבל תספר לנו איך התגלגלה מטוקיו ל

בגונג senior staff researcher

כשחושבים על אמבדינגז, הרבה פעמים חושבים על חיפוש וקטורי ו
RAG

נדבר על החשיבות של אמבדינג טוב דווקא בשלב הכרת הדאטא ובחירת דוגמאות מעניינות לאימון.

נסקור את ההיסטוריה של אמבדינג, ללא הקשר, עם הקשר, ועד
Task aware embedding
שהוא צעד ביניים למודל שפה מלא

לינקדאין של ענבל

MTEB

[77] מלימודים הומניסטים למדעי הנתונים - פרק בשיתוף עם YData Aug 10, 2024

Show notes

בפרק זה ריאיינו את אורי גוטליב ונטע בר על המעבר שלהם לעולם ה data science במסגרת ההכשרה שלהם ב YData.על הפער העצום בין התאוריה לעבודה מעשית ועל הפרויקט שעשו שהביא אותם לעבודה הנוכחית שלהם.

קישורים:

[76] בינה מלאכותית וצ'יפים - עם ד"ר אמיתי ערמון Aug 05, 2024

Show notes

אינטל העולמית נמצאת השבוע בכותרות בעקבות ההצהרה על הצמצומים, וזו הזדמנות מעולה להזכיר על הפעילות המדהימה של קבוצת הדאטא סיינס של אינטל ישראל.
החודש פורסם כי הקבוצה

AI Solutions Group

זכתה בפרס הארגון המצטיין העולמי של אינטל.

בפרק זה ד"ר אמיתי ערמון יספר לנו על התפקיד שלו בתור ה

Chief Data Scientist

של הקבוצה, מה היא עושה? מה האתגרים היחודיים שלהם? ואיך מתנהלת העבודה של 250 עובדים שבונים ביחד מוצרים מבוססי בינה מלאכותית?

נדבר על פרוייקטים לדוגמא, על ללמים ועל המאמר שכתב

Tabular Data: Deep Learning is Not All You Need

שהגיע השבוע לאלף ציטוטים.

Tabular Data: Deep Learning is Not All You Need

עמוד הלינקדאין של אמיתי