Kirill Merkushev - 事件源系统的健康技术中心中的脉冲星

核心观点与关键数据

PRECONDITIONS

• 事件来源：数字医疗平台，采用事件驱动的反应性架构，松散耦合设计。
• 挑战：难以设计扩展性，缺乏框架事件、项目、来源管理。

技术架构与问题

• KAFKA: 难以操作，经纪人存储问题，反应支持不良。
• 事件网关: bside up /LIIKLUS，反应GRPC可扩展。
• 消息来源: KAFKA -> PULSAR，GW。
• PULSAR: 无状态经纪人，更好的DX，非锁定客户端。
• 发现: 共享订阅问题，单独ACK和SEEK导致RE-connect时GROUP在最新搜索中重置订阅，随机巨大重新交付；独家订阅存在“饥饿实例”问题；每个密钥的订阅需求。
• 分层存储事件获取: 需要无限保留。

案例分析

• 设置: m5.Large x 3 x 3 (B, B, Z)，AWS云信息/对流层/CDK。
• 用户初始化: ANSIBLE。
• GDPR清洁: 使用密钥删除加密，但数据仍保留，迁移到清洁主题需DOWNTIME，涉及17个手动步骤。
• 解决方案尝试: 单独服务，功能迁移到清洁主题。
• 测试容器: PULSAR版本2.5.0，使用testcontainers调试。
• 敏感信息处理: 索赔检查模式，DBGDR清洁OFFLOADING。
• 愿望: 每键清洁。

文档与资源

• 官方文档：Kafka-on-Pulsar sources, SLACK。

Takeaways

• 灵活的订阅: 不错的DX，通过代码示例学习。

个人信息

• 兰文，开源贡献者，联系方式：伊里尔·梅尔库舍夫@delnariel。