מדריך

בדיקות A/B שסוכן הבינה המלאכותית שלכם באמת יכול להריץ

ניסויים מובנים עם גרסאות HTML הצהרתיות, בלי ערכת פיתוח כבדה ועם ממשק תכנות שהסוכן שלכם יכול לנהל מקצה לקצה.

בדיקות A/B שסוכן הבינה המלאכותית שלכם באמת יכול להריץ

רוב כלי בדיקות ה-A/B נבנו עבור צוותי שיווק: נכנסים ללוח בקרה, מקימים ניסוי ידנית ושבועיים אחר כך מקווים שמישהו עוד זוכר לבדוק מה יצא.

זה עובד, אבל זו כבר לא דרך העבודה של הרבה מפתחים וצוותים קטנים.

אם כבר יש לכם סוכן קוד שיכול לשנות דפים, להפעיל תכונות ולקרוא נתוני שימוש, טבעי שהוא יוכל גם לנהל ניסויים.

בדיקות A/B בגישת “הסוכן תחילה”

ב-Agent Analytics מחזור החיים של הניסוי בנוי קודם כול לממשק התכנות:

  • יוצרים ניסוי דרך שורת הפקודה או ממשק התכנות
  • מגדירים גרסאות ישירות ב-HTML
  • עוקבים אחרי יעד ההמרה הרגיל
  • בודקים מובהקות, שיעור שיפור והמלצה
  • מחליטים אם לשגר את המנצח

היתרון הגדול הוא שלא צריך ערכת פיתוח כבדה ולא צריך תהליך עבודה נפרד.

איור של בדיקת A/B

מה שונה כאן

  • גרסאות הצהרתיות: מוסיפים מאפיינים ל-HTML במקום לכתוב שכבת לוגיקה שלמה.
  • מניעת הבהוב מובנית: שתי שורות ב-<head> מונעות הבהוב בין הגרסאות.
  • מחזור חיים שמנוהל בידי הסוכן: הסוכן יכול ליצור ניסוי, לעקוב אחריו ולהמליץ מתי לסגור אותו.
  • מדידה לפי יעד: כל ניסוי מחובר לאירוע המרה אמיתי, לא רק ללחיצה.

איך זה עובד

1. יצירת ניסוי

אפשר לבקש מהסוכן:

“צור ניסוי A/B עבור כפתור ההרשמה. בדוק ‘הרשמה’ מול ‘התחלת ניסיון חינם’. היעד: signup.”

או להריץ ידנית:

npx --yes @agent-analytics/[email protected] experiments create my-site \
  --name signup_cta --variants control,new_cta --goal signup

2. הוספת גרסאות ל-HTML

גרסת הבקרה היא התוכן המקורי. הגרסה החלופית מוגדרת באמצעות מאפיין:

<h1 data-aa-experiment="signup_cta"
    data-aa-variant-new_cta="התחילו ניסיון חינם">
  הרשמה
</h1>

אפשר לבדוק כמה אלמנטים באותו ניסוי:

<h1 data-aa-experiment="hero_test"
    data-aa-variant-b="השיקו מהר יותר בעזרת בינה מלאכותית">
  בנו מוצרים טובים יותר
</h1>

<p data-aa-experiment="hero_test"
   data-aa-variant-b="הסוכן מנתח את הנתונים בזמן שאתם כותבים קוד">
  עקבו אחר מה שחשוב בכל הפרויקטים שלכם
</p>

ואפשר גם להגדיר שלוש גרסאות ויותר:

<h1 data-aa-experiment="cta_test"
    data-aa-variant-b="נסו בחינם"
    data-aa-variant-c="התחילו עכשיו">
  הירשמו היום
</h1>

3. מניעת הבהוב

מוסיפים לפני טעינת קוד המעקב:

<style>
  .aa-loading [data-aa-experiment] {
    visibility: hidden !important;
  }
</style>
<script>
  document.documentElement.classList.add('aa-loading');
  setTimeout(function(){
    document.documentElement.classList.remove('aa-loading');
  }, 3000);
</script>

כך קוד המעקב מספיק להחיל את הגרסה לפני שהמשתמש רואה את התוכן.

4. מעקב אחרי היעד

עוקבים אחרי אירוע ההמרה כמו אחרי כל אירוע אחר:

<a href="/signup"
   onclick="window.aa?.track('signup', {method: 'email'})">
  הרשמה
</a>

המערכת תקשר בין החשיפה לניסוי לבין ההמרה אוטומטית.

5. בדיקת התוצאות

אפשר לשאול את הסוכן:

“איך מתקדם הניסוי בכפתור ההרשמה?”

או לבדוק ישירות:

npx --yes @agent-analytics/[email protected] experiments get exp_abc123

התוצאה כוללת את השדות probability_best,‏ lift ו-recommendation.

לולאת הצמיחה של הסוכן

כאן זה נהיה מעניין באמת:

  1. הסוכן מנסח השערה
  2. הוא יוצר ניסוי
  3. הוא בודק מובהקות בכל יום
  4. הוא ממליץ מתי לשגר את הגרסה המנצחת
  5. הוא מציע את הניסוי הבא לפי מה שנלמד

כלומר, זו כבר לא רק “בדיקת A/B”, אלא תהליך צמיחה רציף.

למה לא Optimizely או VWO

הכלים האלה טובים, אבל הם בנויים סביב תהליך עבודה שמבוסס על לוח בקרה. אם אין אצלכם מישהו שחוזר בכל יום לבדוק תוצאות, ניסויים רבים פשוט נשארים פתוחים.

Agent Analytics מתאימה יותר למפתחים שעובדים עם סוכנים:

  • יצירת ניסוי בפקודה אחת
  • בדיקת תוצאות דרך ממשק התכנות
  • חיבור ישיר לאירועי היעד
  • תהליך שאפשר לאוטומט

כשצריך מקרים מורכבים יותר

אם לא מספיק להחליף טקסט, אפשר להשתמש בממשק התכנות:

var variant = window.aa?.experiment('signup_cta', ['control', 'new_cta']);

if (variant === 'new_cta') {
  document.querySelector('.cta').textContent = 'התחילו ניסיון חינם';
  document.querySelector('.hero-img').src = '/trial-hero.png';
}

זה מתאים למצבים של פריסה שונה, משאבים חזותיים אחרים או לוגיקה מותנית רחבה יותר.

להתחיל

  • הירשמו ב-app.agentanalytics.sh
  • קראו בתיעוד על בדיקות A/B
  • התקינו את המיומנות לסוכן שלכם
  • או עברו לאירוח עצמי, אם הוא מתאים לדרך שבה אתם עובדים

הרעיון המרכזי פשוט: אם הסוכן שלכם כבר יודע לכתוב קוד, לפרוס ולקרוא מדדים, הוא צריך גם לדעת להריץ ניסויי צמיחה.


קודם: 🦞 התקנת Agent Analytics עם OpenClaw בחמש דקות

פוסטים קשורים