9-3 一站式物联网存储产品的架构设计

物联网存储需求与解决方案

物联网场景下的数据存储需求

物联网场景中，数据分类主要包括元数据、消息和时序数据，其中时序数据量最大。对存储系统的需求包括低成本、稳定可靠、易运维，并需满足查询分析需求及低延迟。

物联网存储解决方案

以车联网场景为例，可采用开源产品组合解决方案，或采用一站式存储解决方案。一站式存储解决方案基于云架构，通过共享存储和弹性计算资源，降低成本并提升性能。

架构设计优化目标

架构设计目标为性能提升10倍、成本降低10倍。通过存储计算分离、云上共享存储、数据水平垂直切分、预计算统计信息等措施实现。

面向存储成本优化的关键问题

1. 存储格式选择：面向存储成本优化，选择合适的存储格式，如行存或列存，根据数据访问频率和查询需求进行选择。
2. 存储架构选择：采用存储计算分离架构，利用云上共享存储，降低成本并提升弹性。
3. 冷数据成本降低：通过数据分层存储，将冷数据迁移至低成本存储介质，降低存储成本。

面向读性能优化的关键问题

1. 低成本存储上的查询分析：在低成本存储上满足查询分析需求，采用行存读取热数据，列存进行大规模数据计算，并利用数据切分和分布式执行器提升性能。
2. 快速元数据检索：通过倒排索引和元数据分离存储，提升元数据检索速度，并采用分布式存储分shard提升效率。

整体架构

整体架构采用一站式物联网存储产品架构，包括数据订阅、SQL/JDBC接口、元数据管理、消息存储和时序数据存储等模块，通过数据分层和分布式存储实现高性能、低成本的数据存储和管理。

总结

物联网存储的核心在于平衡成本与性能，通过合理的架构设计和数据管理策略，实现低成本、高可靠、高性能的存储解决方案。时序数据是主要存储对象，需重点优化存储格式和查询性能。云上共享存储和存储计算分离是关键优化手段，可有效降低成本并提升系统弹性。