总结
核心观点与背景
研报探讨了互联网架构师在从互联网模式转向 To B 服务私有化部署过程中所面临的挑战。作者张铎，作为神策数据首席架构师，结合其丰富的职业生涯经验，分析了私有化部署的技术与非技术挑战，并探讨了架构师职责在两种模式下的变化。
私有化部署的必要性
- 市场驱动：国内企业出于数据安全考虑，倾向于私有化部署，政策限制也使得某些行业必须采用私有化模式。
- 业务需求：神策数据私有化案例占比超70%，覆盖30+行业，包括金融、互联网、品牌零售等。
技术挑战
- 混合部署问题：客户环境复杂，如使用客户Hadoop集群、消息队列，数据采集与导入方式多样，需兼容不同版本与认证方式。
- 资源受限优化：针对内存不可压缩的Java程序，通过更精细的模块控制和引入新的GC算法（如ZGC、Shenandoah GC）来减小组件内存占用。
- 查询优化：针对用户行为分析场景，通过重写SQL、过滤不活跃用户、外连接消除、高基数分组优化等方式进行查询优化；同时引入查询资源预估和数仓负载管理平台来管理资源消耗。
非（纯）技术挑战
- 企业部署环境限制：物理机配置、权限限制、网络环境复杂、不通外网、非常规认证加密等。
- 解决方案：
- 兼容配置：通过前置检查、抽象概念、自动生成程序配置等方式兼容各种机器配置。
- 权限问题：安装时使用root，运行期无需root或sudo，自研部署工具支持多用户模式。
- 网络复杂：使用域名通信，配置hosts映射IP，推动社区支持FQDN，与客户沟通降低复杂度。
- 不通外网：本地监控，报警通过白名单、对接客户系统、驻场专⻓或客户自行通知等方式解决。
- 认证加密：提供兼容回退方案，坚持安全底线。
- 版本收敛：通过组件版本绑定、中继版本等方式降低QA工作量。
变与不变
- 架构师职责：业务正常运行、可控成本、支撑业务。
- 业务场景挑战：互联网模式大规模、高并发，私有化部署资源受限、场景复杂。
- 商业模式：互联网运维成本相对不敏感，私有化部署运维成本决定生死。
- 案例：设计对象存储服务需兼容多种云厂商，通过适配层和HTTP服务等方式解决资源与配置问题；后台任务合并文件不加配置，通过自适应优化减少运维成本。
结论
- 技术极限：私有化部署能否赚钱需评估技术极限，最终模式可能仍以SaaS为主。
- 灵活性：不存在一招鲜，业务需求变化需调整关注点。
