电商零售大数据分析云上实战

© 2021, Amazon Web Services, Inc. or its Affiliates. 李建伟–大数据技术专家电商零售大数据分析云上实战 © 2021, Amazon Web Services, Inc. or its Affiliates. 议程•电商行业现状•数据驱动的电商业务场景•非结构化数据搜索架构解析•亚马逊电商案例 © 2021, Amazon Web Services, Inc. or its Affiliates. 电商用户旅程个性化定制化首页产品推荐相关产品评分交叉销售客服我的订单修改订单问题客服搜索网页搜索图片搜索语音搜索移动搜索优化页面加载导航虚拟现实评分方式市场媒体语音移动设备渠道邮件广告地理位置手机推送物流线上下单，店面提货线上下单，店面发货全球仓库派送预约派送第三方退货退货流程优化用户转化–售中用户触达–售前用户服务–售后兴趣/搜索吸引/评估甄别/购买期待/追踪咨询/退货忠诚/推荐 © 2021, Amazon Web Services, Inc. or its Affiliates. 电商业务重点来源: eCommerce Leaders 2021 调查报告顾客终生价值(CLV)转化率优化(CRO)获客成本(CAC)新流量获取客单价(AOV)电商企业KPI电商企业投资重点网站/App性能优化个性化重构平台/无头电商全渠道优化产品发现和产品搜索70%52%51%51%47% © 2021, Amazon Web Services, Inc. or its Affiliates. AmazonEMR商品搜索运营分析用户画像个性化推荐IT运维分析•高阶应用的前置条件•依赖于完善的数据湖建设和高效的数据处理•无缝集成机器学习来构建用户画像数据驱动电商业务电商行业典型应用场景q数据服务的深度和广度广泛的ML和AI服务AmazonRedshiftAmazon AthenaAWS GlueAmazon Elasticsearch ServiceAWS的价值主张q五大场景，围绕用户旅程全链路•典型机器学习范畴，是大数据分析的高级应用•依赖于完善的数据湖进行数据预处理•更加精准地触达客户、提高最终成单率•依赖于商品检索引擎架构及对应模块为分布式•商品标识明确时，快速定位到目标对象•为电商运营提供决定依据•依赖于用户行为数据与RDS数据的多维度指标转化•分析业务链条各环节数据•电商客户的基本需求•了解IT系统的整体运行状况，有效排查系统故障Amazon S3•功能全面的存储层•综合计算层•高速可扩展的网络层•99.999999999%水平的可靠性•数据生命周期管理深度集成AWS Lake Formation © 2021, Amazon Web Services, Inc. or its Affiliates. 场景1:商品搜索 © 2021, Amazon Web Services, Inc. or its Affiliates. 业务场景场景描述•目标商品明确，可通过文字、语音、扫码等方式快速搜索到•商品搜索引擎架构具备分布式、可扩展的特性•数据在线下流程和线上流程均起到比较核心的作用数据特点•输入数据：通常，原始数据（结构化信息，文本、图像信息，动态信息等）来自前端数据库，数据源多个•搜索引擎：在数据采集方面更侧重于各种数据源的数据更新，其效果需要兼顾买家与卖家•输出数据：支持各种维度的排序，对数据的实时性要求非常高（主要体现在价格和库存两方面）业务实现•商品搜索引擎为功能实现的核心支撑，具备分布式、可扩展的特性，在架构中需要考虑对索引模块、查询模块和排序干预模块的解耦和分离，以方便对各个模块进行单独的优化和扩展 © 2021, Amazon Web Services, Inc. or its Affiliates. 参考架构接口层服务层搜索意图商业规则个性化排序Amazon API GatewayAmazon DynamoDBAmazon AuroraAmazon MemoryDB for RedisAmazon OpenSearch ServiceAmazon OpenSearch ServiceAmazon OpenSearch ServiceAmazon SageMakerAWS LambdaElastic Load BalancingAmazon Elastic Kubernetes Service (Amazon EKS) © 2021, Amazon Web Services, Inc. or its Affiliates. 案例研究: Nike耐克-商品检索痛点Amazon ES的自动部署及管理工具大大简化了耐克的开发周期，加快了新搜索体验的上市时间。获得益处解决方案直接面向消费者业务的快速增长和扩张，迫切需要强大的商业搜索解决方案Amazon OpenSearch Service 服务作为耐克的核心搜索引擎“guys bred”意图：•男士•篮球鞋•红黑色 © 2021, Amazon Web Services, Inc. or its Affiliates. 全世界最大电商亚马逊的基石•Amazon.com在AWS上面运行，使用Amazon OpenSearch Service扫描、读取和分析亚马逊市场数据，并且根据数据分析结果为买家和卖家提供服务一种完全托管的搜索引擎服务•为突增的并发访问量提供搜索引擎的稳定性和弹性按需付费和弹性预留以节省成本•Amazon OpenSearch Service允许电商客户在单个集群中存储多达3 PB的数据，并且可以根据需求变化轻松扩展或缩减容积；支持在三个可用区部署，使电商客户能够跨多个可用区部署实例AWS的优势和价值Amazon Elasticsearch Service高可用支持业务连续性•只需要按实际用量付费•与按需实例相比，预留实例可保留一或三年，大量节省使用成本内置开箱即用的KNN算法•适用于Amazon OpenSearch Service © 2021, Amazon Web Services, Inc. or its Affiliates. 非结构化数据搜索架构解析 © 2021, Amazon Web Services, Inc. or its Affiliates. 产品搜索基于文本产品搜索基于图片产品搜索“男士背包”输入：输入： © 2021, Amazon Web Services, Inc. or its Affiliates. Amazon Sagemaker和OpenSearch构建图像检索AmazonSagemaker•图像分类模型训练•部署特征提取模型Amazon OpenSearch•KNN邻近算法做邻近搜索•高可用，安全的托管服务 © 2021, Amazon Web Services, Inc. or its Affiliates. 图像检索原理查询图像预处理特征向量图像数据库图像特征库相似性比较索引+检索重排预处理检索结果 © 2021, Amazon Web Services, Inc. or its Affiliates. 基于深度学习的图像特征提取Pretrained 模型去除最后做分类全连接层，留最后池化层做特征向量2048/4096维图像特征向量++++7x7 ConvBatch Norm3x3 Max Pooling3x ResNet blocksGlobal Average Pool © 2021, Amazon Web Services, Inc. or its Affiliates. 图像检索架构1.通过SageMaker训练ResNet模型，将所有产品图片向量化2.将向量化的数据注入到OpenSearch索引中，其中图片数据用向量类型存储3.客户提交的图片调用SageMaker的推理服务，将单张图片转成向量数据4.调用OpenSearch KNN检索匹配最相似的K张图片5.记录用户的点击，购买等行为，训练Learning to Rank模型，优化排序结果 © 2021, Amazon Web Services, Inc. or its Affiliates. K-NN search•基于矢量的搜索算法•使用特征提取或其他来创建特征向量•使用矢量进行查询以检索几何上最接近的点•几何相似或余弦相似 © 2021, Amazon Web Services, Inc. or its Affiliates. Learn to rank plugin•机器学习的模型输入搜索结果的排名•使用新近、受欢迎程度和偏好等功能•将模型提供给Elasticsearch中的LTR插件•LTR插件应用该模型，对搜索结果进行重新排序•在循环中使用，反馈搜索结果并单击数据以改进模型DomainLTR PluginModelJudgment listTraining dataSearch resultsML SystemFeature setXGBoost, RankLibQueriesRe-rankedResults © 2021, Amazon Web Services, Inc. or its Affiliates. Zalora产品搜索https://www.visenze.com/blog/case_studies/zalora-uses-search-by-image-to-improve-product-search-and-discovery-on-its-extensive-catalogue/“We want to give our customers joy in shopping by just taking a photo of any fashion objects that grab their attention” Karthik Subramanian, CTO, Zalora GroupZALORA利用图片搜索提升用户体验，方便用户从大量的产品列表查找到自己喜欢的产品 © 2021, Amazon Web Services, Inc. or its Affiliates. 场景2:运营分析 © 2021, Amazon Web Services, Inc. or its Affiliates. 业务场景场景描述•围绕电商运营核心关注的三要素“用户、商品、平台”，根据不同业务目的进行数据分析•重视优化以及精细化运营，电商的商品品类种类繁多、用户覆盖面非常广泛客观上加大运营难度•关注流量、用户增长、销售额、留存与复购指标数据特点•输入数据：主要有两个来源，客户端的用户行为数据、运营中的RDS数据•输出数据：八个维度的分析指标业务实现•步骤：数据搜集、ETL、数仓分析、最终BI展示等•点击流数据：主要来源于客户端和服务器端打点工具，格式以JSON为主，大部分转换为结构化数据存入数仓。交易数据、用户信息数据等来源于RDS，通过全量或者增量CDC的方式拷贝到S3进行后续发分析处理•运营数据：查询与分析通常在数仓内进行，数仓可以使用Redshift或Hive•大型客户主要基于开源软件自主开发BI报表，中小型客户会考虑使用商业BI报表应用举例•离线运营数据分析：销售归因以及转化漏斗分析•实时信息分析：推送实时广告和获取数字营销解决方案 © 2021, Amazon Web Services, Inc. or its Affiliates. 运营分析指标•总体运营指标•网站流量指标•销售转化率指标•商品品类指标•客户价值指标•活动营销指标•风险控制指标•竞争分析指标 © 2021, Amazon Web Services, Inc. or its Affiliates. 建议架构推荐系统商品管理营销投放CRM系统采购仓配血缘分析数据字段权限管理数据建模BI报表算法分析Amazon QuickSight © 2021, Amazon Web Services, Inc. o