海量大数据除了TOP分析还能干点啥

前言 思考 商圈1/3/5/10km客群画像特征对比分析？本品客群与多个竞品客群来源地、渗透率对比分析？居住人群与工作人群品牌偏好对比分析？ 去「聚焦」 CONTENTS 去「建模』 论题提出 常规分析方式陷入困境 一般来说，客群的来源地、到访品牌等有成干上万条数据全部罗列分析显然是不现实的通常情况下我们会选取排名TOP进行分析，可仅通过TOP数据真的能解决所有问题吗？得到的结论真的科学合理吗？ 研究客群有点多，研究维度有点杂 问题梳理 探求中尾部数据的价值 解决提案建立数学模型去充分利用数据 判断是否存在差异 T检验/F检验/非参数检验.. 去「聚焦」 CONTENTS 配对样本T检验（判断是否存在差异） 配对样本T检验步骤： 1.确定两组样本是否相关适配性：2.对每队相关样本进行差值计算。能适合于成对出现的数据3.计算差值的均值及标准误差用于检验两配对样本数4.计算t值即均值差异除以标准误差。据是否存在显著性差异。5.根据t值和自由度来确定p值。6.判断p值是否小于显著性水平（常规情况下，p值设定成0.05），如果小于，则认为两组样本存在显著差异。 配对样本T检验的前提条件 配对样本T检验t值的计算公式为： 1.配对性假设：被比较的两组样本有配对关系且样本量相等。2.正态性假设：两组样本需要为大样本，如为小样本需要服从正态分布。 其中，i=1,2,3..，n,m=Zr,(d;=m)2n-1是配对样本差值的标准差，n为配对样本数，m为两样本差值的均值先锋数聚 自由度计算公式：df=n-1 二阶聚类法（找出差异项） 二阶聚类法的基本思想是 数据集中的样本分成若干个类别，然后再将每个类别内部的样本再次进行聚类，直到满足某个停止准则为止。该方法可以分为两个阶段第一阶段是对整个数据集进行聚类，第二阶段是对每个类别内部的样本再进行聚类。 目的：使属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小 主要聚类方法： 二阶聚类的适配性 适合大样本，且可以同时对连续变量和分类变量进行处理：?操作简单，不需要提前制定聚类的数目，三阶聚类会自动分析并输出最优聚类数目。先锋数聚 去「聚焦』 CONTENTS BD研究数据说明 本次选取某商场到访客群和流失客群品牌到访数据作为研究样本。 客群到访TOP品牌相似性过高且主要是大众连锁品牌，客群特征难以辨别。 通过研究要解决的问题： 到访客群与流失客群在品牌偏好上是否存在明显差异？存在差异的品牌是哪些，分析到访客群与流失客群品牌偏好差异？ 判断是否存在差异 结果输出（全业态）： 该数值大于0.05表示没有差异或差异不显著，该数值小于0.05表示有差异或差异明显。 从数据结果可看出，显著性水平值为0.008，小于0.05，说明到访客群&流失客群在品牌偏好上存在显著差异 判断是否存在差异 结果输出（分业态）： 从输出结果可知，该商场的到访客群与流失客群在各业态的品牌上均存在差异，其中餐饮、零售品牌显著性水平值更低，差异性更显著，本次选取餐饮、零售品牌做进一步研究，去寻找差异项，了解到访及流失客群在品牌偏好上的具体区别。 从配对样本相关性可看出，各业态品牌间均存在极相关关系可进行配对样本T检验：查看配对样本检验结果，到访与流失客群在餐饮、零售、亲子及休闲娱乐品牌偏好上均表现出有显著差异。 找出差异项 BD 目标：找出两组客群到访占比偏高，占比差值绝对值大的品牌。 结果输出： a.变化量基于表中的先前聚类数目。b.变化比率相对于双聚类解的变化.C.距离测量比率基于当前聚类数目而不是先前聚类数目。 从聚类概要可看出，餐饮的类别1与零售的类别1两组客群到访占比高，且差值绝对值最大，此类品牌为聚类出的目标品牌。先锋数聚 统计上讲，BIC越小，聚类效果越好，但是实际应用中还要综合考虑BIC变化量、BIC变化率及相邻聚类数目之间的距离测量比率，二阶聚类可结合三者自动确定最佳的分类数目。 从自动聚类表可看出，类别2的BIC变化量绝对值及距离测量比例是最大的，由此判断最佳类别数目为2 客群差异分析（餐饮） 从餐饮来看，到访客群更常去小吃快餐及饮品店，讲求方便快捷，吃得很随便；流失客群则对高客单餐饮接受度更高，寻新鲜感追求格调，爱吃牛排、北京菜、粤菜等。 客群差异分析（零售） 对比看，到访客群对运动服饰、超市便利需求高，到访品牌偏大众化，更多生活刚需类消费：流失客群则更潮更精致，逛HEA、EVISU，关注潮流搭配，买LANCOME、Apple，生活更显精致小资。 客群小结 生活刚需型消费为主 追求品质与时尚 模型与下述情况会更搭： 多组数据之间差异分析I.数据相似性高差异不明显I.海量数据，靠看难辩数据差异 感谢关注 Emails: Address: 联系我们Contact PioneerData 大柴VP|市场营销部chaitianyi@pioneerdata.com.cn 北京市朝阳区建国路93号院万达广场1号楼605