物联网存储需求与解决方案
物联网场景下的数据存储需求
物联网场景中,数据分类主要包括元数据、消息和时序数据,其中时序数据量最大。对存储系统的需求包括低成本、稳定可靠、易运维,并需满足查询分析需求及低延迟。
物联网存储解决方案
以车联网场景为例,可采用开源产品组合解决方案,或采用一站式存储解决方案。一站式存储解决方案基于云架构,通过共享存储和弹性计算资源,降低成本并提升性能。
架构设计优化目标
架构设计目标为性能提升10倍、成本降低10倍。通过存储计算分离、云上共享存储、数据水平垂直切分、预计算统计信息等措施实现。
面向存储成本优化的关键问题
- 存储格式选择:面向存储成本优化,选择合适的存储格式,如行存或列存,根据数据访问频率和查询需求进行选择。
- 存储架构选择:采用存储计算分离架构,利用云上共享存储,降低成本并提升弹性。
- 冷数据成本降低:通过数据分层存储,将冷数据迁移至低成本存储介质,降低存储成本。
面向读性能优化的关键问题
- 低成本存储上的查询分析:在低成本存储上满足查询分析需求,采用行存读取热数据,列存进行大规模数据计算,并利用数据切分和分布式执行器提升性能。
- 快速元数据检索:通过倒排索引和元数据分离存储,提升元数据检索速度,并采用分布式存储分shard提升效率。
整体架构
整体架构采用一站式物联网存储产品架构,包括数据订阅、SQL/JDBC接口、元数据管理、消息存储和时序数据存储等模块,通过数据分层和分布式存储实现高性能、低成本的数据存储和管理。
总结
物联网存储的核心在于平衡成本与性能,通过合理的架构设计和数据管理策略,实现低成本、高可靠、高性能的存储解决方案。时序数据是主要存储对象,需重点优化存储格式和查询性能。云上共享存储和存储计算分离是关键优化手段,可有效降低成本并提升系统弹性。