大数据综述与荣之联企业大数据平台方案
大数据时代到来与数据处理思维转变
大数据时代已来临,数据处理思维需从传统模式转变为以关联关系分析为核心,预测关键因素,而非深入探究因果关系。典型案例包括:
- 亚马逊:通过“item-to-item”关联关系推荐系统,实现销售额三分之一的增长。
- 谷歌翻译:利用上万亿页语料库(950亿句英语)提升翻译质量,关键在于数据规模而非算法。
- 沃尔玛:通过数据关联推荐商品(如蛋挞与飓风用品,啤酒与尿片)。
- 信用评分公司:利用Facebook社交圈预测债务偿还可能性。
- 对冲基金:分析Twitter数据作为股市投资信号。
大数据与BI融合及厂商生态
大数据与商业智能(BI)融合,主要厂商包括Cloudera、IBM、Oracle等,提供Hadoop商业版本及专业技术支持。大数据生态涉及分布式平台、高级数据分析、数据管控等关键技术。
企业大数据平台架构原则
- 技术层面:
- 按需频度获取数据,支持批量和实时数据,遵循统一文件接口标准。
- 支持多样化数据共存,跨同构/异构数据库,实现数据抽取和加载。
- 业务人员通过逻辑数据对象访问数据,无需关心物理存储方式。
- 数据层面:
- 实现数据质量控制,确保数据正确性、完整性、一致性、有效性。
大数据关键技术
- 分布式大数据平台:如Apache Hadoop生态,具备分布式、可扩展并行能力。
- 高级数据分析与可视化:支持结构化/非结构化混合分析,PB级数据规模。
- 数据管控:涵盖数据集成、质量管理和生命周期管理。
传统数据平台与大数据平台差异
- 传统平台:结构化数据,TB级规模,集中式,批处理为主。
- 大数据平台:结构化/非结构化混合,PB级规模,分布式,支持流式分析。
大数据实施建议
- Think big, start small:大处着眼,小处着手。
大数据在汽车制造业的应用
汽车制造业大数据能力创新方向包括:
- 保证基础信息质量,提升数据利用效果。
- 通过大数据连接客户和产品,感知客户行为,实现精准营销与服务。
典型案例
- 新华社新媒体数据库项目:构建全新新媒体数据库,提升应用服务能力,整合社会资源,实现个性化推荐。
- 贵州移动用户互联网行为分析项目:通过用户行为分析实现精细化营销,构建产品标签库和市场竞争评估体系。
- 中国人力资源和社会保障出版集团企业培训平台:满足远程教育培训需求,支持信息化扩展。
- 中信银行信用卡中心:通过分布式架构和多数据源整合,实现实时商业智能和秒级营销。
- 迪信通库存优化项目:利用大数据分析预测销量,降低库存,提升采购管理能力。
- 国金证券营销活动管理平台:建立客户统一视图,实现智能化营销决策支持,自动化渠道对接。
- 华大基因项目:整合业务数据,构建数据仓库和BI系统,实现科学决策。
总结
大数据时代需转变数据处理思维,聚焦关联关系分析。企业应构建分布式大数据平台,融合BI技术,并通过数据管控提升数据质量。典型案例表明,大数据在零售、金融、医疗等领域已实现显著应用,汽车制造业亦需积极拥抱大数据,以提升客户感知和精准营销能力。