华东师范大学统计学院主题为“互联网里的统计饭碗”的应用统计专题实务讲座，于2023年11月15日下午在华东师范大学中北校区小教楼501教室举行。
带来此次讲座分享的是就职于小红书AB实验平台主任赵单栋博士。赵单栋博士本科就读于上海交通大学数学系，于加州大学Irivne分校获得博士学位。赵老师毕业后先后就职于Apple Maps、Google Maps/Google Search以及小红书，具有丰富的统计学专业工作经验。本场讲座由华东师范大学统计学院应用统计项目主任吴贤毅教授主持。
赵博士首先简要介绍了当前就业市场内统计学专业毕业生的求职方向。包括药企，互联网公司以及金融企业等。接下来赵博士详细介绍了数据分析师的工作内容。在当前互联网公司内，数据分析师主要进行的工作包括将各种业务问题需求的数据从数据库中准确取出并给出量化的结果；建立各种dashboard以直观展示数据结果；同不同部门人员沟通以保证业务链路畅通，确保取出的数据同业务问题在逻辑上自洽；将量化结果沟通给产品、研发、算法、运营等。
随后，赵博士向同学们介绍了其所处团队的具体工作内容：AB-Testing。赵博士首先通过两个业务上的实际问题向同学们引出了AB实验的核心逻辑：可归因。即针对业务数据的变化要明确其原因。基于这一核心逻辑，AB实验的思路如下：首先构建两个均匀可比的组，一组为对照组，另一组为策略组。观察一段时间后两组分别的业务指标，由于分组是基于纯随机事件构造，用户在所有可想到的维度均为统计均匀的，因此观察到的差异即可以被归因为策略驱动。同时，基于对AB实验的介绍，赵博士引出了AB试验所代表的数据驱动的文化，即企业内部的决策并不再取决于最高职务人员的观点，而是完全由数据所决定。
接下来，赵博士向同学们介绍了AB实验在小红书音视频业务的典型应用场景。包括客户端超分、编码器替换等，并介绍了这些场景内的核心优化目标以及必要关注指标（其他业务防守指标）。基于这些应用场景，赵博士引出了AA差异，即两个完全相同条件的组别所对应的指标也大概率存在的差异。在AA差异存在的事实下，如何确定AB实验观察到的变化来源以及如何确定分组的均匀性，就成为了AB实验需要解决的问题。
为了解决AA差异所带来的问题，可借助假设检验对差异的显著性进行判断。但赵博士指出，在公司实际运营中，使用显著性来判断AB实验中两组之间的差异也会带来一些问题。首先在商业判断时不可只看P值与阈值的大小，因为在实际场景中两个非常接近但在阈值两侧的P值所对应的情况并没有本质上区别。其次是针对显著性水平，其取值具有一定的主观性，且不同行业不同场景下的显著性水平有着明显差异。同时由于显著性水平的定义就导致并不是所有显著的指标所对应的变化都一定是策略所带来的。
赵博士以小红书为例，目前小红书有4个业务指标和60个防守指标，对任何一次AB实验来说都很可能由于犯第一轮错误导致某些指标显著。因此绝不可只看显著指标，而必须通过全量指标进行分析。为了进一步规避显著性问题，可以通过不设置阈值或以置信区间代替P值的方法淡化阈值。同时需要建立合理的决策指标体系，科学面对第一类错误而不迷信假设检验的结果。
赵博士随后指出：AB实验不是保险箱。实验作为概率工具并不能保证100%的准确，系统的目标也不应该是保证每一个决策都正确，而是在大多数情况下做出正确的决定，在小部分情况下做出无伤大雅的错误判断。且有许多场景并不能进行AB实验，需通过诸如分期开白等方式辅助进行实验分析。
在报告尾声，赵博士鼓励同学们培养发散性的思维，以发展的眼光看待自己的职业规划以寻找到更多可能性。赵博士针对同学们的积极提问进行了解答，使得在座的同学收获颇丰。本次以“互联网里的统计饭碗”为主题的应用统计专题实务讲座在同学们的热烈掌声中圆满结束。