顶级数据团队建设全景报告

顶级数据团队建设全景报告2017年7月A Roadmap to a Top Data-driven Enterprise 1 数据团队建设现状行业间数据团队建设存在差异信息化程度高的行业建设进度领先数据团队成立时间短仍处于发展期数据团队建设面临困境 数据团队价值落地艰难 业务团队缺乏合作动力数据团队存在人才缺口2 顶级数据团队要素明确的数据驱动战略 清晰的数据团队建设目标将数据和数据分析纳入决策流程 高效的数据团队组建团队领导者的职责 数据团队的架构数据人才的投资数据之外的必备技能附录问卷调研样本分布参考文献调研组主要成员致谢 联合调研组采用了海量数据分析、定向问卷调查与深度访谈等方法，分别针对企业高层、数据团队负责人、数据从业者和其他相关人员进行广泛而深入的调研，力求从尽量多的角度还原现阶段数据团队的建设全景。海量数据分析：对“数据、分析、机器学习”等关键词进行全网爬取，通过数据清洗、数据分析、数据可视化等步骤对超过50,000条的网络公开招聘信息进行分析。定向问卷调查：通过互联网向数据团队相关从业者和负责人发放定向问卷，并回收1,033份有效问卷。深度访谈：对10位优秀数据团队负责人进行深度访谈，涵盖国内外不同行业及发展阶段的公司或组织。调研方法 数据团队建设现状01数据团队通过数据采集、数据存储、数据处理、数据分析和数据洞察等步骤，利用数据科学来为组织提供辅助决策、效率提升和流程简化等服务。 行业间数据团队建设存在差异数据团队需要建立在一定的数据基础之上。数据本身的采集、存储、处理、分析、洞察等工作与行业的信息化程度密切相关。由于行业间的信息化程度存在较大差异，数据团队的建设也存在较大的差异。信息化程度高的行业团队建设进度领先问卷调研结果显示：现阶段，拥有数据团队比例最高的是信息化程度较好的金融业和IT行业。其中，金融业的数据业务外包比例最高，多采用“外包+内生”模式；IT行业的数据团队结构较为集中，在行业中拥有独立数据团队的比例最大，较少采用数据外包服务。目前，尽管部分组织的决策者已经具备了数据驱动意识，但数据价值的真正落地仍然艰难。只有某些信息化程度高的行业，如互联网、金融等，配备有完整的数据团队，多数信息化程度偏低的行业仍然处于数据团队建设的初级阶段⸺数据团队“做什么”、“怎么做”等问题仍不清晰。在工作内容方面，现阶段的数据团队除了要承担数据驱动决策、数据驱动业务的工作外，往往还承担着产品优化、技术研发等工作。建设目标不清晰、业务界限模糊、人才缺乏等问题是这些团队面临的普遍困扰。但是长远来看，数据团队依然具有非常广阔的发展前景。制造业信息技术服务业商务服务业金融业科学研究和教育文化、体育和娱乐业公共管理和社会工作能源业0%20%40%60%80%100%- 10 -图1.1.1.1 您所在机构是否有数据团队（分行业） *备注：因样本量太小不具代表性的行业未列入没有数据相关团队/岗位有外包的数据团队数据团队/岗位嵌入其他部门有独立数据团队 - 11 -数据军备竞赛赛道金融业互联网比较成熟的工程师文化，数据团队作为核心竞争力不愿外包、资金相对雄厚金融多采用“外包+内生”模式，重分析与业务，数据驱动营收模式明显，稳步推进交通运输医疗健康公共管理能源科教制造建筑房地产*行业内多数公司已有相对规模的完整数据团队*行业内主要公司仍处在信息化建设过程中，公司配备有数据人员住宿餐饮农业*行业内主要公司还没有或者刚刚开始信息化建设 CATERING*行业内主要公司已经完成了信息化，正在或者打算建设数据团队终点起点互联网互联网 数据团队成立时间短仍处于发展期 数据团队是近些年随着大数据概念的推广而产生的新型团队。因此，相较于组织或机构内成熟运行的其他部门，数据团队的成立时间较短。但长远看来，随着大数据战略的持续推进和数据技术的发展，数据团队具有良好的发展前景，多数组织或机构的数据相关职位将在未来一年中有所增加。在已经拥有数据团队的机构中，IT、金融、制造业中的数据团队建设时间较早，存在1年以上比例最高。图1.1.2.1 您所在机构拥有数据团队多久了3年以上2-3年1-2年3-12个月3个月以下9.97%22.30%29.78%24.93%13.02%- 12 -3年以上2-3年1-2年3-12个月3个月以下图1.1.2.2 您所在组织或机构拥有数据团队多久了（分行业）0%20%10%40%50%30%60%70%80%90% 100%商务服务业金融业信息技术服务业科学研究和教育能源业制造业*备注：因样本量太小不具代表性的行业未列入 问卷调研结果显示：已经拥有数据团队的机构中，超过70%的机构拥有数据团队不满3年。 未来一年中，80%的组织或机构将增加数据相关岗位，仅有不到1%的组织或机构将减少数据相关岗位。海量数据分析结果显示：近70%的数据相关招聘需求来自信息技术服务业（互联网、软件、电信等）。对数据相关岗位需求排名第二和第三的分别是商务服务业和金融业，侧面说明这些行业的数据团队发展态势良好。0%20%10%40%50%30%60%70%80%67.49%8.38%67.49%7.98%3.77%3.43%2.42%1.87%1.27%1.17%0.75%0.69%0.56%0.17%0.03%0.02%信息技术服务业商务服务业金融业制造业其他房地产业科学研究和教育批发和零售业文化、体育和娱乐业公共管理和社会工作交通运输业能源业住宿和餐饮业农林牧渔业建筑业- 13 -80.69%18.70%0.62%会增加保持不变会减少(%)图1.1.2.4 各行业招聘数量百分比*备注：因样本量太小不具代表性的行业未列入图1.1.2.3 未来一年中您所在组织或机构的数据相关岗位会增加吗 数据团队价值落地艰难数据团队对组织创新和发展有重要的影响。数据团队能从数据中发现问题，在战略层面向决策者提供科学建议，并能够通过技术手段监测公司战略的实施效果，对组织发展意义深远。但是，处于不同行业、不同发展阶段的组织或机构，对于数据团队带来的价值认知不一。除了具备比较完备数据驱动意识的互联网企业、信息化较完备的金融行业，数据团队价值落地普遍面对较大困难。 数据团队建设面临困境尽管数据团队在一些行业中发展态势良好，但仍然存在着价值落地艰难、业务团队缺乏合作动力、数据人才存在缺口等困境。问卷调研结果显示：近80%受访者认为数据团队对自己所在的机构重要或者非常重要。数据团队的价值普遍受到认可。但是，超过40%受访者无法量化数据团队产生的直接价值。数据驱动：组织行为是基于数据进行决策的，而不是凭主观直觉或个人经验。- 14 -非常重要重要一般不重要非常不重要50.10%27.89%15.34%2.89%3.78%图1.2.1.1 您觉得数据团队对您所在机构有多重要 - 15 -图1.2.1.2 数据为您所在机构带来多大直接价值5万元以下5-20万元20-50万元50-100万元100-500万元100-500万元以上不知道5.18%7.37%5.68%7.87%9.16%21.81%42.93%0%20%40%在数据驱动型的组织或机构中，数据团队价值更易落地。 在一个数据驱动型的组织中，数据团队能够快速采集、处理并利用数据，以实现效率提升、产品迭代或研发新产品，来确保竞争优势。互联网行业的盈利模式和竞争态势决定了其必须时刻注意市场动向，依托数据不断推出新产品或功能，吸引、留住用户并使之活跃。因此，互联网行业数据运营效果较为明显，数据团队的价值容易实现。金融行业的运营和决策体系多依托数据支持，拥有较好的信息化基础和较强的数据驱动意识。一般在各业务部门及中央机构都配备有自己的数据团队。因此，金融行业多建立了以数据为中心的企业文化和员工培养机制，把数据搜集和分析做到了极致。“船大难掉头”⸺在传统行业中，数据团队的价值落地面临更大困难。传统行业尽管已具备一定数据基础，但通常由于组织体量大，数据整合难度高。数据团队想要实现自身价值，往往需从最基础的数据标准化工作做起，数据价值实现周期长且难以被量化。数据价值的实现离不开业务团队的配合。在实际操作中，数据团队面对最大的困扰往往不是技术瓶颈，而是业务推进上的难度。传统行业往往遵循较为成熟且固化的业务模式，数据文化的建立更为艰难。数据团队如果不能克服业务团队的抵触情绪，很容易被忽视。因此在这些行业中，数据转型更难实现。深度访谈结果显示，处于不同行业、不同发展阶段的组织或机构，数据团队价值落地困难程度亦有不同，一般体现为：CEO Jeff Weiner每天早上都会看数据报告，根据报告他能迅速了解到关于业务表现的很多信息，发现问题他还会把问题立即发回给业务团队寻求解答。当时我们发现交通部开始要数据了，地方上有些省还没有采集到这些数据。我们的工作不得不从技术标准化和数据标准化建设开始做起。我们不把自己看作银行，我们是一家以数据作为基础战略的公司。⸺LinkedIn用户增长部门数据科学团队负责人 周洋⸺交通运输部科学研究院叶劲松⸺Capital One创始人Nigel Morris“”““”” - 16 -问卷调研结果显示：近40%受访者对数据团队的满意度一般，近26%受访者对数据团队“不满意”或“非常不满意”。业务团队缺乏合作动力 数据团队并不直接产生价值，其价值落地多通过与业务团队有效合作产生。因此，业务团队对数据团队的工作是否满意、有多大合作动力，在很大程度上影响着数据团队的工作效率。 图1.2.2.1 您对所在机构数据团队的满意程度影响其他团队对数据团队满意度的一个重要因素是数据团队的响应速度。近60%受访者认为数据团队偶尔能、或者不能迅速响应其需求。图1.2.2.2 数据团队可以迅速响应其他团队的需求吗12.35%总是能迅速响应经常能迅速响应偶尔能迅速响应经常不能迅速响应总是不能迅速响应26.59%37.75%16.53%6.77%非常不满意不满意一般满意非常满意9.36%25.50%39.24%15.74%10.16% - 17 -数据团队职能定位不明确，与其他部门沟通成本高。高层在组建数据团队时没有明确其职能，或者数据团队本身没有清晰的战略定位，过多承担了业务工程支撑的角色，被动地执行命令，缺乏业务驱动性和牵引力。同时，中心化的数据团队很容易陷入自己的小圈子，闭门造车，远离业务部门，让数据工作者过多依赖技术上的技能而忽略了与各方沟通。在被调研的多数组织或机构中，数据团队做出的决策无法充分、高效实现。一定程度上反映出数据团队和业务部门的脱节。1数据团队本身业务知识不够，不足以完成业务团队的需求对接。一个高效的数据团队需要从业务中获取数据，通过分析加工获取洞察，并将结果反馈给业务团队。这就要求数据团队对业务有比较深入的了解。而目前，多数数据团队更偏重技术能力建设，而忽视了业务知识的积累和业务人才的培养。这就直接导致数据团队在与业务团队沟通时存在理解不充分、需求对接不够的问题。2深度访谈结果显示：数据团队的“低满意度”主要有以下三点原因：图1.2.2.3 数据团队做出的决策能否充分、高效实现41.53%26.49%17.33%8.86%5.78%总是不能实现经常不能实现偶尔能实现经常能实现总是能实现⸺东方航空数据实验室负责人 王学武大家都在上（数据团队／项目），但到底能做什么，具体做什么，其实很多人都还不知道。但是别人都在做，你没做的话就像土八路了。⸺【友盟+】首席数据官 李丹枫数据从业者太容易钻到自己的小圈子里去了。“”“” 非常不充足不充足充足非常充足较充足23.71%30.48%12.15%4.28%29.38%0%20%10%30%- 18 -⸺交通运输部科学研究院交通信息中心系统开发部副主任 叶劲松领导通常在部署战略的时候，并不清楚牵扯的工作内容和工作量有多大。”“公司高层和业务团队对数据团队过低或过高的期待在很大程度上影响着数据团队的外部协调。一种情况是，高层或者业务团队忽视数据团队的价值：业务部门和公司高层已经形成了既有工作模式，不易被改变。当数据团队分析结果与业