民主化AB实验

演讲人：王家侃—Statsig—创始工程师/企业工程负责人 目录Contents 个人及公司介绍 民主化A/B实验 01个人及公司介绍 个人介绍 •湖北，武汉人•2009–2013美国本科•数学计算机双学位 •2013–2017 Microsoft, Bing•2017–2021 Facebook, Gaming/Video•2021–现在Statsig Statsig简介 •名字来源：有统计学显著性的简称（Statistically Significant）•提供A/B实验，功能管理，和用户分析等功能•使命:民主化A/B实验•知名客户包括Figma, Notion, OpenAI等 在Statsig做什么？ •创始成员之一，参与制定公司产品方向 •曾负责设计和编写所有的SDK •现负责企业工程（EnterpriseEngineering） •帮助销售部门做售前工作；•为新用户提供培训和答疑；•负责功能请求；•帮忙实验设计和实验结果评审；•Etc., 02Statsig创始故事 创始团队 •2021年2月创立于美国西雅图•创始团队均为前Facebook员工•1创始人，CEO•6工程师•1数据科学家 创始人CEO-Vijaye Raji •前FB副总裁，西雅图分部负责人 •FB内部连续创业者 •Audience Network•Mobile App Install Ads•Marketplace•Gaming 为什么创业？ •热爱且熟悉的领域，且竞争很弱•互相信任的团队•有领导力且有成功创业记录的创始人•迟早会尝试，机不可失 发展时间线 •2021年2月16日一起离职•2月17日，A轮融资到账，开工•3月，第一版产品上线•4月，第一个注册用户•10月，第一笔付费•11月，第一个企业级合同(Headspace)•2022年3月，ARR超过一百万美金•2022年4月，完成B轮融资 03民主化A/B实验 什么是民主的实验文化 •实验的门槛和开销低，所有人都能去测任何想法 •数据易得且透明 •能自我学习和优化的团队 民主化实验对不同岗位好处 •Eng角度–实现容易，发布新功能更放心，数据解读自助化•DS角度–省略掉繁琐枯燥的SQL数据分析，精力花在重点上•PM角度–减少主观的辩论，尝试更多新的和冒险的想法 A/B实验现状 大科技公司的实验平台及文化 大科技公司做实验如过流水线，小公司像做科学研究 •实验平台功能缺乏 •数据测量和计算大多靠手动 •端到端的实现和准确性需要整个团队都不出错 其他公司… •结果：普遍缺乏主观意愿去实验 市面上现有的产品如何 市面上产品没有为产品团队打造的 •专注于营销和市场团队，功能偏向于无代码实验•实验结果在黑盒子里，不被用户信任•能测量的数据有限，且要实验开始前定好•低级错误普遍，比如实验分组不稳定•没有亲自带领过团队跑实验，无法指导客户最佳实践 04Statsig如何帮助推进民主化 数据分析需求金字塔 快速，自我学习优化的团队；每个新功能都是实验 测量包括长期指标在内的产品整体画面 重点在优化转化率之类的指标 测量团队KPI，用户整体习惯等 实验实现极简化 360度实验指标 实验变量参数化 多渠道数据收集 逐步揭示数据的复杂性 Progressive Disclosure of Complexity 逐步揭示数据的复杂性 Progressive Disclosure of Complexity 逐步揭示数据的复杂性 Progressive Disclosure of Complexity 平台内置实验保留功能 企业工程团队 团队拥有多年丰富实验经验 •实验基础，和最佳实践的培训，答疑•帮助设计实验和做实验评审•计划实验文化上的目标•负责公司独特的功能需求 案例分析 案例分析 案例分析 感谢您的观看—THANKS— 演讲人：王家侃—Statsig—创始工程师