Interactive explainers on machine learning and deep learning.https://the-attention-span.pages.dev/https://the-attention-span.pages.dev/posts/mode-collapse-and-the-goblin-problem/https://the-attention-span.pages.dev/posts/mode-collapse-and-the-goblin-problem/ב-30 לאפריל 2026 דלף system prompt של Codex עם הוראה אחת מוזרה: 'אל תדבר על גובלינים'. הסיפור שמאחוריה הוא הדגמה מושלמת ל-mode collapse, התופעה שמסבירה למה ChatGPT מסכים איתכם, למה Claude מרבה ב-em dashes, ולמה כל המודלים מתחילים להישמע אותו דבר.Wed, 27 May 2026 00:00:00 GMThttps://the-attention-span.pages.dev/posts/the-simple-idea-behind-every-llm/https://the-attention-span.pages.dev/posts/the-simple-idea-behind-every-llm/"Attention is all you need" המאמר משנת 2017 שעליו בנויים כל ה-LLMs היום. בפוסט הזה נצלול לרעיון מאפס, מהאינטואיציה הראשונית ועד הנוסחה המלאה, כולל הניואנסים המתמטיים שכמעט אף אחד לא מסביר.Sun, 24 May 2026 00:00:00 GMT