כתיבה
- tokenization
- BPE
- LLM
למה עברית יקרה פי 2-3 מאנגלית במודלי שפה
הסבר מלא על tokenizationכשאתם כותבים למודל בעברית אתם משלמים פי 2-3 יותר מאנגלים על אותה שיחה. זה לא באג ב-API, זה תוצאה ישירה של איך tokenization עובד. מבייטים, דרך BPE, ועד ה-context window שנשחק הרבה יותר מהר בעברית.
- training
- backpropagation
- gradient-descent
איך מודל לומד? הסיפור המלא של אימון
הסבר מלא על training, gradient descent ו-backpropכולם אומרים 'אימנו את המודל על מיליארדי דוגמאות'. אף אחד לא מסביר מה זה אומר בפועל. מפרמטרים, דרך loss וגרדיאנטים, ועד backprop - כל מה שקורה כשמודל לומד, כולל המתמטיקה שרוב ההסברים מדלגים עליה.
- mode-collapse
- RLHF
- LLM
מה זה Mode Collapse, ולמה GPT-5.5 לא מפסיק לדבר על גובלינים?
הסבר מלא על mode collapse ו-RLHFב-30 לאפריל 2026 דלף system prompt של Codex עם הוראה אחת מוזרה: 'אל תדבר על גובלינים'. הסיפור שמאחוריה הוא הדגמה מושלמת ל-mode collapse, התופעה שמסבירה למה ChatGPT מסכים איתכם, למה Claude מרבה ב-em dashes, ולמה כל המודלים מתחילים להישמע אותו דבר.
- attention
- transformers
- LLM
איך מודל יודע מה חשוב?
הסבר מלא על Attention"Attention is all you need" המאמר משנת 2017 שעליו בנויים כל ה-LLMs היום. בפוסט הזה נצלול לרעיון מאפס, מהאינטואיציה הראשונית ועד הנוסחה המלאה, כולל הניואנסים המתמטיים שכמעט אף אחד לא מסביר.