🦞 你的 AI 代理真正能用起来的 A/B 测试

大多数 A/B 测试工具都是为营销团队设计的：进一个 dashboard，配一个实验，埋一个 SDK，然后希望两周后还有人记得回来看结果。

这套流程能用，但它并不适合今天很多和代码代理一起工作的 builder。

如果你的 AI 代理已经能改页面、发版、读分析数据，那它也应该能把实验这件事一起做掉。

Agent-First 的 A/B Testing

在 Agent Analytics 里，实验生命周期是 API-first 的：

• 通过 CLI 或 API 创建实验
• 直接在 HTML 里声明变体
• 用正常的 conversion event 作为 goal
• 查询 significance、lift 和 recommendation
• 决定是否上线 winner

这里到底不一样在哪

• 声明式变体：直接给 HTML 加 attributes，不需要额外 SDK 逻辑。
• 内置 anti-flicker：在 head 里放两行代码，用户不会先看到错误版本。
• 代理驱动的生命周期：你的代理可以创建实验、监控结果、建议何时结束。
• 基于 goal 的衡量：不是只看点击，而是和真实 conversion event 绑定。

它怎么工作

1. 创建实验

你可以直接对代理说：

“给我的 signup CTA 创建一个 A/B test。测试 ‘Sign Up’ 和 ‘Start Free Trial’。Goal 是 signup event。”

或者手动执行：

npx @agent-analytics/cli experiments create my-site \
  --name signup_cta --variants control,new_cta --goal signup

2. 在 HTML 中声明变体

control 就是原始内容，额外的 attribute 定义其他 variant：

<h1 data-aa-experiment="signup_cta"
    data-aa-variant-new_cta="Start Free Trial">
  Sign Up
</h1>

同一个实验也可以同时控制多个元素：

<h1 data-aa-experiment="hero_test"
    data-aa-variant-b="Ship Faster With AI">
  Build Better Products
</h1>

<p data-aa-experiment="hero_test"
   data-aa-variant-b="Your agent handles analytics while you code">
  Track what matters across all your projects
</p>

三种以上变体也没问题：

<h1 data-aa-experiment="cta_test"
    data-aa-variant-b="Try it free"
    data-aa-variant-c="Get started now">
  Sign up today
</h1>

3. 防止 flicker

在 tracker 加载前加入：

<style>
  .aa-loading [data-aa-experiment] {
    visibility: hidden !important;
  }
</style>
<script>
  document.documentElement.classList.add('aa-loading');
  setTimeout(function(){
    document.documentElement.classList.remove('aa-loading');
  }, 3000);
</script>

这样页面会先等待变体应用，再把内容显示出来。

4. 追踪 goal

像平时一样追踪 conversion event：

<a href="/signup"
   onclick="window.aa?.track('signup', {method: 'email'})">
  Sign Up
</a>

Agent Analytics 会自动把实验曝光和这个 goal 对齐起来。

5. 查看结果

你可以问代理：

“signup CTA 的实验结果现在怎么样？”

或者直接调用：

npx @agent-analytics/cli experiments get exp_abc123

返回结果里会有 probability_best、lift 和 recommendation。

代理增长循环

真正强的地方在这里：

1. 代理提出 hypothesis
2. 代理创建实验
3. 代理每天检查 significance
4. 代理建议何时发布 winner
5. 代理根据结果排下一个实验

这不是单次 A/B test，而是可以持续运行的增长循环。

为什么不是 Optimizely 或 VWO

这些产品本身没有问题，但它们主要服务的是需要人工反复登录 dashboard 的团队。

如果你的增长工作流本来就交给代理去执行，那么 Agent Analytics 更自然：

• 一条命令创建实验
• 用 API 检查结果
• 和真实 goal 事件直接绑定
• 更容易自动化整个流程

更复杂的场景怎么办

如果你不只是改文案，而是想换 layout、图片或更复杂的逻辑，可以用程序化 API：

var variant = window.aa?.experiment('signup_cta', ['control', 'new_cta']);

if (variant === 'new_cta') {
  document.querySelector('.cta').textContent = 'Start Free Trial';
  document.querySelector('.hero-img').src = '/trial-hero.png';
}

这适合 richer HTML variant 或更复杂的 conditional experience。

开始使用

• 在 app.agentanalytics.sh 注册
• 阅读 A/B testing 文档
• 给你的代理安装 skill
• 如果你愿意，也可以 self-host

核心思想很简单：如果代理已经能写代码、发版、看数据，它也应该能负责实验和增长迭代。

---

上一篇: 🦞 5 分钟用 OpenClaw 接入 Agent Analytics