🦞 בדיקות A/B שסוכן ה-AI שלכם באמת יכול להריץ
ניסויים מובנים עם וריאציות HTML דקלרטיביות, בלי SDK, ועם API שהסוכן שלכם יכול לנהל מקצה לקצה.
רוב כלי ה-A/B testing נבנו עבור צוותי שיווק: נכנסים לדשבורד, מקימים ניסוי ידנית, ושבועיים אחר כך מקווים שמישהו עוד זוכר לבדוק מה יצא.
זה עובד, אבל זו כבר לא דרך העבודה של הרבה מפתחים וצוותים קטנים.
אם כבר יש לכם סוכן קוד שיכול לשנות דפים, להפעיל פיצ’רים ולקרוא אנליטיקה, טבעי שהוא יוכל גם לנהל ניסויים.
A/B Testing בגישת Agent-First
ב-Agent Analytics מחזור החיים של הניסוי בנוי קודם כול ל-API:
- יוצרים ניסוי דרך CLI או API
- מגדירים וריאנטים ישירות ב-HTML
- עוקבים אחרי יעד ההמרה הרגיל
- בודקים significance, lift ו-recommendation
- מחליטים אם לשגר את המנצח
היתרון הגדול הוא שלא צריך SDK כבד ולא צריך תהליך עבודה נפרד.
מה שונה כאן
- וריאנטים דקלרטיביים: מוסיפים attributes ל-HTML במקום לכתוב שכבת לוגיקה שלמה.
- anti-flicker מובנה: שתי שורות ב-
<head>כדי למנוע הבהוב בין וריאנטים. - agent-driven lifecycle: הסוכן שלכם יכול ליצור ניסוי, לעקוב אחריו ולהמליץ מתי לסגור אותו.
- goal-based tracking: כל ניסוי מחובר לאירוע המרה אמיתי, לא רק ל-click-through.
איך זה עובד
1. יצירת ניסוי
אפשר לבקש מהסוכן:
“צור ניסוי A/B עבור CTA ההרשמה. בדוק ‘Sign Up’ מול ‘Start Free Trial’. Goal: signup.”
או להריץ ידנית:
npx @agent-analytics/cli experiments create my-site \
--name signup_cta --variants control,new_cta --goal signup2. הוספת וריאנטים ל-HTML
ה-control הוא התוכן המקורי. הווריאנט מוגדר דרך attribute:
<h1 data-aa-experiment="signup_cta"
data-aa-variant-new_cta="Start Free Trial">
Sign Up
</h1>אפשר לבדוק כמה אלמנטים באותו ניסוי:
<h1 data-aa-experiment="hero_test"
data-aa-variant-b="Ship Faster With AI">
Build Better Products
</h1>
<p data-aa-experiment="hero_test"
data-aa-variant-b="Your agent handles analytics while you code">
Track what matters across all your projects
</p>ואפשר גם שלושה וריאנטים ויותר:
<h1 data-aa-experiment="cta_test"
data-aa-variant-b="Try it free"
data-aa-variant-c="Get started now">
Sign up today
</h1>3. מניעת flicker
מוסיפים לפני טעינת ה-tracker:
<style>
.aa-loading [data-aa-experiment] {
visibility: hidden !important;
}
</style>
<script>
document.documentElement.classList.add('aa-loading');
setTimeout(function(){
document.documentElement.classList.remove('aa-loading');
}, 3000);
</script>כך ה-tracker מספיק להחיל את הווריאנט לפני שהמשתמש רואה את התוכן.
4. מעקב אחרי ה-goal
את אירוע ההמרה עוקבים כמו כל event אחר:
<a href="/signup"
onclick="window.aa?.track('signup', {method: 'email'})">
Sign Up
</a>המערכת תקשר בין החשיפה לניסוי לבין ההמרה אוטומטית.
5. בדיקת התוצאות
אפשר לשאול את הסוכן:
“איך מתקדם הניסוי של CTA ההרשמה?”
או לבדוק ישירות:
npx @agent-analytics/cli experiments get exp_abc123התוצאה כוללת probability_best, lift ו-recommendation.
לולאת הצמיחה של הסוכן
כאן זה נהיה מעניין באמת:
- הסוכן מנסח השערה
- הוא יוצר ניסוי
- הוא בודק significance כל יום
- הוא ממליץ מתי לשגר את הווריאנט המנצח
- הוא מציע את הניסוי הבא לפי מה שנלמד
כלומר, זה כבר לא “יש לי A/B test”, אלא תהליך צמיחה רציף.
למה לא Optimizely או VWO
הכלים האלה טובים, אבל הם בנויים סביב תהליך עבודה שמבוסס על דשבורד. אם אין אצלכם מישהו שחוזר כל יום לבדוק תוצאות, הרבה ניסויים פשוט נשארים פתוחים.
Agent Analytics מתאימה יותר למפתחים שעובדים עם agents:
- יצירת ניסוי בפקודה אחת
- בדיקת תוצאות דרך API
- חיבור ישיר ל-goal events
- תהליך שאפשר לאוטומט
כשצריך מקרים מורכבים יותר
אם לא מספיק להחליף טקסט, אפשר להשתמש ב-API התכנותי:
var variant = window.aa?.experiment('signup_cta', ['control', 'new_cta']);
if (variant === 'new_cta') {
document.querySelector('.cta').textContent = 'Start Free Trial';
document.querySelector('.hero-img').src = '/trial-hero.png';
}זה מתאים למצבים של layout שונה, assets אחרים או conditional logic רחב יותר.
להתחיל
- הירשמו ב-app.agentanalytics.sh
- קראו את ה-docs עבור A/B testing
- התקינו את ה-skill ל-agent שלכם
- או עברו ל-self-host אם זה מתאים לדרך שבה אתם עובדים
הרעיון המרכזי פשוט: אם הסוכן שלכם כבר יודע לקודד, לפרוס ולקרוא metrics, הוא צריך גם לדעת להריץ ניסויי growth.
