下一代万亿级实时搜索引擎的设计与思考

Medcl@INFINILabs 极限科技，让搜索更简单，更智能。 公司成立于2021年12月3日，公司成员搜索行业背景深厚。 公司致力于帮助客户解决实际搜索需求，打造极致易用的数据探索与分析体验。 公司网址：https://infinilabs.cn/ 我们的产品和解决方案 解决方案 产品 ●Elasticsearch企业级平替综合解决方案●一站式企业搜索基础设施平台建设方案●核心业务场景的海量数据实时搜索方案 Elasticsearch国产平替解决方案 INFINIEasysearch是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的ApacheLucene。 Easysearch的目标是提供一个自主可控的轻量级的Elasticsearch可替代版本，并继续完善和支持更多的企业级功能，为国内Elasticsearch客户提供国产化替代迁移、技术兜底和长期售后技术支持服务。 墨天轮搜索型数据库排行榜#1 落地成功案例 15TB日均写入量 ES国产化平替，自主可控可信 第一部分起源 WhywebuildanotherSearchEngine? 挑战已接下！ 一个分布式的纯实时搜索与分析引擎 第二部分Pizza的技术选型与架构思考 接口、语言、框架；总体程序架构；数据的组织；分片的设计；分布式的设计；实时的设计 Pizza数据的逻辑组织方式 Pizza名称的来历！ MorePizza-Rolling •单个Rolling的最大容量默认为42.9亿条记录； •超过Rolling的容量，自动切换到下一个Rolling继续写入；•Rolling可以无限增长，满足持续增长的需求。 PackagedPizza ●每个Rolling大小尺寸固定 ●便于分发和物理资源承载 ●分片的个数和大小可预测 ●按需生成，无需提前规划 ●可以无限水平扩容 ●读写性能稳定可预测 SlicingPizza-Partition&Shard 单个Rolling默认最多能拆分为256个物理分区（创建时可以配置最大的分区参数）； 采用查找表来维护逻辑分区和物理分片的关系； 物理的分片和逻辑的分区可以动态分拆、组合，在写入压力比较小的场景，单个分片内的所有分区数据都在一起，物理上表现为一个数据目录； 自定义ID或系统ID和分区存在Hash一一对应关系:HASH(UUID)/SYS_ID%256=PARTITION_ID Shard的动态拆分 当写入压力比较大的情况下，分区可以拆分到不同的节点上，用于并行分担写入压力。写入压力峰值过去之后，多个分区可以合并到单个Shard。 THANKS 谢谢大家 自主·创新·引领