היי Reader,

ברוכים הבאים לגיליון ה-18 של Product & AI with Yaniv.

השבוע פרסמתי פרק חדש בפודקאסט עם רן פרחי, מייסד-שותף ומנכ”ל XPOZ, שבונים שכבת דאטה לאייג’נטים. הם לא התחילו שם - המוצר הראשון שלהם עסק באנטישמיות ובשיח שנאה ברשתות, כלומר בבני אדם, ומשם הם הגיעו לשכבת דאטה חברתי שמוזנת לאייג’נטים.

שאלתי אותו שאלה שמסתובבת לי בראש כבר כמה חודשים: איך עושים מחקר משתמשים כשהמשתמש שלך הוא אייג’נט? בעוד שאיך משתמשים ב-AI כדי לחקור אנשים די מוגדר, כאן יש משהו אחר. מה קורה למקצוע שלנו כשמי שצורך את המוצר הוא לא בן אדם.

וזו התשובה שלו, שאהבתי:

​

שימו לב מה אין בתשובה: לא שאלות, לא ראיון, ואין אף אחד שאומר לרן מה הוא חושב על המוצר. יש רק מה שקרה בפועל.

ובלי לקרוא לזה בשם, רן תיאר שם את הגרסה הכי נקייה שראיתי בזמן האחרון לשיטה שמישהו כתב ב-2013, בספר שקרוי על שם אמא שלכם.

עבר, מבחן האמא

באוגוסט 2013 Rob Fitzpatrick הוציא ספר דק בשם The Mom Test. השם הוא כל הטיעון: אמא שלכם לא תגיד לכם שהרעיון שלכם גרוע. לא כי היא לא מבינה. כי היא אוהבת אתכם. אם עוד לא קראתם אותו, קנו לכם עותר ותקראו. (תקראו ממש, לא ״תתנו ל-AI לקרוא״, תודו לי אח״כ).

הספר הוא רשימת כללים לשיחה עם לקוחות, ובלב שלו שלושה:

1. Talk about their life instead of your idea.
2. Ask about specifics in the past instead of generics or opinions about the future.
3. Talk less and listen more.”

הכלל השני הוא המנגנון, וכל השאר הוא פירוש שלו. פיצפטריק מנסח אותו בשורה אחת:

ולצידה:" Opinions are worthless."

עכשיו, למה דווקא העבר? למה התנהגות ולא דעה? התשובה כל כך פשוטה שקל לפספס אותה: דעה לא עולה כלום. “אני בהחלט הייתי משתמש בזה” זה משפט שלא עולה למי שאומר אותו שום דבר, וגם לא עולה לו כלום לטעות בו.

הוא נעים לשניכם והוא לא מחייב אף אחד. לעומת זאת, “איך פתרת את זה בפעם האחרונה, וכמה זה עלה לך” - מתחת לזה יש עובדה.

וזה גם הבסיס לכלל הנוסף של פיצפטריק, זה שעוסק במחויבות:“Commitment - they are showing they’re serious by giving up something they value such as time, reputation, or money.” כלומר: הדרך לדעת אם מישהו מתכוון למה שהוא אומר היא לגבות ממנו משהו.

אז שימו לב מה מבחן האמא באמת עושה, כי זה לא מה שנדמה. הוא לא טכניקה לראיונות. הוא פילטר נגד כשל אחד ספציפי: הרצון של מי שיושב מולכם לרצות אתכם. כל הספר בנוי סביב הכשל הזה. הוא אפילו קרוי על שם האדם שהכי מגלם אותו.

הווה, בנינו את אמא

ב-2026 חלק לא קטן מהתעשייה עושה מחקר משתמשים על משתמשים סינתטיים. גם אני. פרסונות שה-LLM מגלם, שאפשר “לראיין” מאה מהן ביום, בלי לתאם, בלי לשלם, בלי שאף אחד יבטל.

אבל האם זה עובד? כבר ב-2024 ב-Nielsen Norman Group החליטו פשוט לבדוק. למי שלא מכיר: - NN/g נוסדה ב-1998 על ידי שני חלוצי חוויית משתמש Jakob Nielsen, שפיתח את עשר היוריסטיקות של שימושיות והוביל את תנועת ה-discount usability, ו-Don Norman, שהמציא את המונח “user experience” וכתב את The Design of Everyday Things. כשהם מפרסמים מחקר על שיטות מחקר, זה לא עוד פוסט. עם זאת, הסתייגות קלה: הם גם מוכרים הכשרות מחקר, כלומר יש להם אינטרס מסחרי בדיוק במסקנה הזאת.

לטובת המחקר על משתמשים סינתטיים הם לקחו מחקרים שהם כבר הריצו עם משתתפים אמיתיים, ייצרו משתמשים סינתטיים שתואמים להם בנתונים, ושאלו את אותן שאלות. אחת מהן הייתה על קורסים אונליין שהמשתתפים אמרו שעשו.

המשתתפת האמיתית סיימה שלושה מתוך שבעה:

הסיבה היתה תפקיד חדש ותובעני שנכנס באמצע.

המשתמש הסינתטי, לאותה שאלה בדיוק:

נראה שמבחן האמא נכשל בתנאי מעבדה.

התשובה הראשונה היא עובדה עם מחיר: שלושה משבעה, וזה מה שקרה באמצע. התשובה השנייה היא בדיוק מה שפיצפטריק קרא לו זהב של שוטים - מבריק, מסיח את הדעת, וחסר ערך. שימו לב שהיא אפילו לא נשמעת כמו שקר. היא נשמעת כמו תשובה טובה.

באוגוסט 2025 - NN/g פרסמו ממצא שני, פחות מרשים ויותר חשוב. הם לקחו 605 משיבים אמיתיים, ייצרו מולם 605 סינתטיים שתואמים להם במגדר, גיל, הכנסה, השכלה ומוצא, והשוו:

התשובות הסינתטיות נצמדות לממוצע, ומוחקות את מקרי הקצה. מי ששונא את המוצר, מי שבנה לעצמו עוקף, מי שמשתמש בו הפוך ממה שתכננתם, כולם נעלמים החוצה מהמחקר. וזה, בדיוק זה, המקום שממנו מגיע כל ערך הדיסקברי.

באותו מחקר יש שורה שסוגרת את העניין: מודלים שנבנו על בסיס ראיונות אמיתיים היכו את הסינתטיים בפער גדול. כלומר הערך אף פעם לא הגיע מהסימולציה. הוא הגיע מהבן אדם שמתחתיה. אי אפשר לדלג על הראיון ולשמור על התוצאה שלו.

אבל הנה החלק שבגללו כתבתי את הגיליון הזה, והוא לא באשמת אף אחד מהכלים:

מודל מאומן להיות מועיל, נעים ומסכים. זו לא תקלה. זו מטרת האימון. כלומר לקחנו את הכשל היחיד שכל הדיסציפלינה נבנתה כדי להתגונן מפניו, ייצרנו אותו בכוונה, בקנה מידה, וקראנו לזה שיטת מחקר.

בנינו את אמא. ואז התחלנו לראיין אותה.

ולכן הכלל של 2013 פשוט החליף מטרה. הוא היה מבחן שמפעילים על שיחה. עכשיו הוא מבחן קבלה שמפעילים על כלי: האם הדבר הזה מסוגל להגיד לי שהרעיון שלי גרוע? אם לא, זה לא כלי מחקר, לא משנה איך הוא נמכר.

באותו מחקר יש שורה שסוגרת את העניין: מודלים שנבנו על בסיס ראיונות אמיתיים היכו את הסינתטיים בפער גדול. כלומר הערך אף פעם לא הגיע מהסימולציה. הוא הגיע מהבן אדם שמתחתיה. אי אפשר לדלג על הראיון ולשמור על התוצאה שלו.

תוספת מעניינת מאחת הנשים שהכי מבינה בראיונות - טרזה טורס, שכתבה את Continuous Discovery Habits ויש לה הכי הרבה מה להפסיד מהסיפור הזה. היא פשוט ניסתה בעצמה את מה שכולם מפרסמים עליו בלינקדאין, לראיין משתמשים סינתטיים ולתת ל-AI לסנתז ראיונות, וכתבה:

היא בנתה משהו אחר לגמרי, Interview Coach שקורא את התמלולים של מנהל המוצר, לא של הלקוח, ומחזיר לו משוב על איך הוא מראיין.

שני גופים בלתי תלויים, אותה מסקנה: כוונו את ה-AI אל המראיין, לא אל המרואיין.

כאן אפשר לחזור לרן מ-XPOZ, כי הוא סוגר את זה במקום מפתיע.

אותה טכנולוגיה בדיוק, שני כיוונים הפוכים. כשמכונה מדמה את הלקוח שלכם, היא המרואיינת הגרועה בהיסטוריה. אין לה עבר, יש לה רק דעות, והיא מכוילת להסכים. כשמכונה היא הלקוח שלכם, היא המרואיינת הכי הגונה שתפגשו. היא לא יכולה להחמיא לכם. היא לא יכולה להעדיף. אין לה שום דבר להציע לכם חוץ ממה שהיא עשתה.

רן לא בחר בשיטה הזאת מתוך אדיקות מתודולוגית. פשוט אין לו ברירה אחרת. “אם האייג’נט לא חזר, להבין למה”. כמו עם המרואיינת האמיתית של - NN/g, זה השלושה-מתוך-שבעה שלו. עובדה עם מחיר, שאי אפשר לזייף.

מאחורי כל אייג’נט יש בן אדם שהחליט להריץ אותו, מסיבה כלשהי, ואם כל התעשייה מזיזה את הפוקוס למה שהאייג’נט צריך, נכנסה עוד שכבת הפשטה בין מנהל המוצר לבין הדרישה האנושית. ושכבות הפשטה הן בדיוק המקום שבו הבנת מוצר מתקשה.

רגע לפני המוסיקה, שאלה: האם הדוגמא מהפודקאסט והמחקר של - NN/g מספיקים להחלטיות הזו, או שגם אני בעצם נפלתי ב-Mom Test? לא יודע ואצטרך להמשיך לחקור את זה. כי זה חשוב ממש לעבודה שלנו.

מוסיקה, ישיבת יום שישי בדטרויט

בכל יום שישי בבוקר, בבית קטן בדטרויט שזכה לכינוי Hitsville U.S.A (כפר הלהיטים בתרגום חופשי), Berry Gordy היה מכנס ישיבה בשם Quality Control. שם הוחלט אילו תקליטים Motown תוציא.

שני דברים באותה ישיבה כאילו נלקחו מהספר The Mom Test:

1. . כולם היו בחדר. לא רק מפיקים ומנהלים - מזכירות, שרתים, מי שהיה בבניין. ההיגיון של גורדי היה שאם שיר לא מזיז אדם רגיל, הוא לא יזיז את הקהל.
2. השאלה לא הייתה “אהבתם”. השאלה של גורדי הייתה, בערך, אם היה לכם דולר אחד ואתם רעבים - הייתם קונים את התקליט הזה או נקניקייה? אנשים ענו בכנות, גם נגד החדר. “את התקליט, בלי לחשוב.” ומישהו אחר: “אני קונה את הנקניקייה.”

זה עקרון המחויבות של פיצפטריק, חמישים שנה לפני שהוא נכתב, במסדרון בדטרויט.

גורדי לא יכול היה להריץ מבחן שוק אמיתי על כל תקליט, אז הוא בנה את הפרוקסי הכי זול שיש: ויתור כהוכחה. נקניקייה שאתם באמת רוצים, מול תקליט שאתם טוענים שאתם רוצים. השאלה הראשונה חינמית והתשובה עליה תמיד חיובית. השנייה גובה מכם משהו.

זה עבד. טוב מאוד. במשך שנים.

ואז, ב-1970, מרווין גיי הביא לישיבה את “What’s Going On”. גורדי אמר שזה הדבר הגרוע ביותר ששמע בחייו. וזה לא היה אוזן אחת רעה: כל מחלקת ה-Quality Control פסלה אותו. המערכת עבדה בדיוק כמו שתוכננה והחזירה “לא” פה אחד.

שימו לב שהנימוקים שלהם היו הגיוניים מאוד: פוליטי מדי. מוזר מדי לסינגל. סטייה מנוסחה שהוכיחה את עצמה שוב ושוב. סיכון מסחרי מול רדיו. כל אחת מההערכות האלה הייתה מכוילת היטב לשוק - כפי שהשוק התנהג עד אותו רגע. השיר יצא רק בגלל שגיי סירב להקליט עוד שורה אחת למוטאון עד שיוציאו אותו. גורדי התקפל

ומה שמעניין בסיפור הזה הוא לא שגיי צדק. מה שמעניין הוא שהתהליך לא היה גרוע. הוא היה תהליך מצוין שנתקל בדבר היחיד שתהליך מצוין לא מסוגל לראות.

כי ראיות התנהגותיות מספרות לכם מה אנשים כבר עשו. הן עיוורות, מבחינה מבנית, לדבר שאף אחד עוד לא עשה. פילטר שמכויל על העבר ידחה את חסר התקדים - תוך כדי שהוא עובד נכון.

המלצת האזנה

השיר What’s Going On של מרווין גיי. הפעם לא בספוטיפיי, כי הקליפ עם המילים נותן הזדמנות להקשיב לו באמת.

​

אם תהיתם, העובדה שהשיר פותח במילים mother mother mother היא מקרית בהחלט.

אם יש לכם זמן, תקשיבו לאלבום מההתחלה לסוף, ברצף, כמו שהוא נבנה. ותזכרו שהחדר הכי מנוסה בתעשייה, שכלל את האנשים שהמציאו את הצליל שגיי עצמו שר בו עשור, שמע את זה ואמר לא.

הטיפ שלי

מבחן השאלות. עשר דקות.

קחו את הרשימה האחרונה של שאלות ששאלתם בה משתמש (מדריך ראיון, שאלון, או מה ש-AI ניסח לכם) ותעברו עליה שאלה אחרי שאלה עם דבר אחד בראש: בכמה מהן ביקשתם משהו שכבר קרה.

זה המספר היחיד שאתם צריכים כאן, והוא לא מודד כמה השאלות היו חכמות או כמה תובנות יצאו מהן בסוף, אלא רק כמה מהן נגעו במשהו שהאדם שמולכם באמת עשה. כי כל היתר, בלי יוצא מן הכלל, ביקש ממנו דעה או תחזית, ואלה בדיוק שני הדברים שפיצפטריק אומר לזרוק.

ואם יצא לכם אפס, מה שהיה שם לא היה מחקר אלא פיץ’ שנשאל בסימן שאלה.

3 כלים מתוך AI-SHIPR

המסקנה של הגיליון הזה הייתה לכוון את ה-AI אל המראיין ולא אל המרואיין. ב-AI-SHIPR זה שלושה סקילים, וכולם קיימים כבר:

Interview-Guide-Builder בונה את מדריך הראיון לפני הסבב. חוק הבית שלו כתוב בדיוק בשפה של פיצפטריק: שאלות חושפות התנהגות, לא דעה - “tell me about the last time” ולא “would you use”. הוא לא מייצר שאלות שמובילות לפתרון, ואם ההיפותזה שנתתם לו מנוסחת סביב הפתרון במקום סביב הבעיה, הוא מחזיר אתכם אחורה לפני שהוא כותב שורה.

Interview-Synthesizer עובד אחרי. הוא מפרק כל ראיון לארבעה: עובדות, רגשות, ציטוטים (במילים המדויקות, לא בפרפרזה שלכם) ומסקנות - ומפריד בין מה שנאמר לבין מה שאתם הסקתם ממנו. הוא לא יקרא לראיון אחד תבנית, ומתחת לשלושה ראיונות הוא מסמן שהדאטה דקה.

Discovery-Readiness-Checker הוא השער לפני PRD. ציון מתוך 100, ופסק דין: לא מוכן, מוכן חלקית, או אפשר להתקדם.

בגלל שכל הגיליון הזה היה מבחן קבלה אחד - האם הכלי מסוגל להגיד לי לא - הוגן שאחיל אותו גם על עצמי. אז שני דברים:

הראשון, חוק שכתוב בתוך ה-Readiness-Checker: הוא לעולם לא ייתן אור ירוק כשכל הפרסונות עדיין היפותטיות ואף ראיון לא רץ. הוא לא יכול לאשר לכם לצאת לדרך על סמך דמיון.

והשני, החשוב יותר: אף אחד משלושת הכלים האלה לא מראיין בשבילכם. את הראיון עצמו אתם עושים, מול בן אדם, שכבר עשה משהו.

הכל זמין בגיטהאב. אם תרצו להעמיק בזה יחד עם הצוות שלכם, דברו איתי

לסופ”ש עם מוסיקת מוטאון, יניב