您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[2023第十二届全球TOP100软件案例研究峰会]:华为-周恩-技术立身,融合创新:一个跨界架构师程序员的AI时代生存之道 - 发现报告

华为-周恩-技术立身,融合创新:一个跨界架构师程序员的AI时代生存之道

华为-周恩-技术立身,融合创新:一个跨界架构师程序员的AI时代生存之道

周恩:华为技术专家兼软件教练,原京东交易架构师兼极客导师 讲师简介 周恩华为技术专家兼软件教练原京东交易平台架构师兼“京东GEEK发现代码之美”评审导师 2019、2020年连续两届华为全球技术服务部代码前20强;设计实现过京东“我的关注”(QPS XXX万,日最大访问量百亿次级)、“Plus会员”等多个核心系统;是多个软件发明专利和著作权(含开发工具和商业软件)的唯一作者,修改过5+个开源软件。对产业链感兴趣。 摘要 未来是数据驱动的商业智能!AI的影响是全面、深刻且不可逆转的,受限于投资、算法和数据的高门槛,以及硬件的可获得性风险,多数人和组织必然只是AI使用者角色,AI也将减少普通从业人员岗位(含软件),但AI尚不足以吞噬一切。 演讲者仅代表个人,分享在这个内卷又充满AI挑战的时代,先生存后发展的个人应对之道,坚持技术立身,走融合创新之路,包括追求技术相对精深,融合技术、业务和管理做复合型人才,用好新兴技术,使用AI技术帮助工作学习。演讲者会结合实践案例来分享,包括“我的关注”融合多种技术来实现服务器降低10倍反而性能更高更稳定、企业管理软件演进过程中是如何体现融合创新和竞争优势的,新兴高效能技术是如何消减AI影响力的。演讲者也会提醒你注意AI时代的平衡相对论,并在内卷时代注重内生强大。 希望我们不变初心,终身学习,使能商业成功,成为技术、业务和管理集大成的AI时代弄潮儿。 目录 纲要: n关键判断:弱人工智能阶段n技术精深:朝金字塔顶端走n融合创新:走复合型创新路n新兴技术:坚持吃技术红利n内在强大:做事不卷求幸福 案例: •“我的关注”融合多种技术来实现服务器降低10倍反而性能更高更稳定•企业管理软件演进过程:从产品到产品组合到产业链,从关系型数据到大数据及AI•Doris和云原生技术 AI现状与影响 nAI已学习人类所有已数据化公开信息,包括部分商业信息nAI已学习所有Github及网上代码,包括不友好授权协议代码nAI已可常态化辅助人类,包括编程、多媒体、设计、文案,等等 AI,代表有挑战的未来,人类必须接受和使用她,善用者能AI,已经具备成为超人的基础,迭代正在加速,已到临界点,已有意识萌芽AI,风险也必加剧,伦理风险在被忽略,对抗AI也有必要性 当下我对AI的关键判断 n是从大规模数据中归纳出知识,数据和算法是基础n是人类全部问题中的问题子集,是有限小范围子集n需要大规模算力基础设施支撑,大投资可得是关键 算力基础设施,以及关联基础软件,是需要突破的根基基础技术AI,当下暂时处于弱人工智能级阶,暂时不具备意识(已有萌芽),已可减少简单可重复性工作结合大数据和常规软件能力,使用者创新,AI使能商业成功,是技术生存之本 AI基础的超高门槛,决定了多数人应该是AI创新使用者 n投资:以亿美元为投资单位n算法:底层核心算法门槛高n数据:少数公司能用好数据n政策:连续可获得性高风险 极少数人是AI创造者,多数人应是AI使用者,聚焦于使用者创新中国及其伙伴的巨大市场可以培育群体自主创新,向所有根技术创新者致敬 数据及算法影响AI成熟度,技术人员还有一定生存空间 n数据:多数数据还暂时未被AI所使用,或者暂未数字化n算法:算法还不能汇集全部数据计算,并达到人类智能,或者成本过高 数据和算法限制,决定了当前AI能力多数尚在中人之上,部分能力已远超人类 技术精深,是广度基础上求深度,在质效上减弱AI能力影响 n聚焦质效,优先以用户视角看技术深度n兼顾广度,才能够正确评估AI结果优劣n谨慎平台,不要把平台能力当自己能力n须借力AI,获得更多灵感并加深技术力 算法和具体实现深度是有争议的,个人倾向于问题驱动,充分借力AI增强能力除少数创造者外,多数人应该聚焦于应用优先,避免在中间层次消磨过多精力 技术精深,深与浅是辩证的,需特别注意管理者因素 n大道至简,是境界,体现技术深度和利他n管理竞争,要看人,可能会把至简当无能 老板和员工心态,未必真统一,团队中利益、格局和见识会加重分歧,你务必自行判断自己担责我遵从老板心态,信奉技术干净原则,也必愿意承担后果 技术精深,平台是双刃剑,不一定是技术深,容易滋生屎山和贼船 n架构腐化,常态缺乏架构设计和看护n低质编码,炫技、垃圾遗留、缺注释n缺乏前瞻,对业务技术缺乏长远规划 屎山通常与自负的“大牛”和不负责的“撞钟的和尚”有关平台,可以提高AI介入门槛,也容易固化并降低使用者技能 技术精深,竞争要回归本质初心,自研框架平台不是唯一 n回归本质,如,数据容量、性能、可靠性n商业价值,商业体现价值,技术是您支撑n提升格局,不要狭隘的增加壁垒,给发展挖坑 示例(仅示例性演示):JPA标准技术极简高效,也支持原生SQL高性能 nJPA底层抽象,以规范大幅减少了代码量,提高质效竞争力 深一点,JPA支持原生SQL(多种);更深一点,投影技术强化复杂场景代码效率红线处可以使用虚拟计算列技术(有限制也有数据库差异)。虚拟计算列可简化计算并减少数据不一致 融合创新,本质是以系统性和人因因素,借力AI能力来减弱AI能力影响 n技术融合 --> 技术+业务 --> 技术+业务+管理n人因因素,本质是人类意识的独特性增强,定量科学加艺术不确定性,AI优势就可能越低 业务体现价值,技术是您支撑,管理起正向(或负向)作用 融合的本质,也是利用系统性增强复杂性和不确定性,弥补AI对复杂关联问题能力不足,并结果简化 技术融合,应以架构设计实现能力为基础,并借力AI做增强 n从单技术实现,转为关注整体设计实现n从单技术最优,转为关注系统整体最优n单技术实现上,须借力AI获取能力灵感 架构设计,应以深厚技术为基础,避免做平台依附型伪架构师关注整体,又不排斥在单一技术实现上,充分利用AI能力来做增强,是更合理的实践 案例:我的关注,融合多种技术,服务器降低10倍反而性能更高更稳定 n问题:用户关注商品、店铺等,数据读写(尤其读)性能不足,大促时容易挂掉 n解决方案: ü简化技术:去掉HBase、Solr/Lucene、LevelDB等,仅用MySQL+Redis+消息ü优化设计:对称数据库表设计,异步消息,分库分表扩容ü数据服务:独立数据访问服务,减少数据库连接资源争抢ü其他优化:缓存扩容、缓存部署模式和位置、均衡算法等 技术与业务融合,就是用技术增强业务,实现双轮驱动的竞争优势 n业务:从需求到产品,从产品到产品组合,再到产业链n技术:从准确实现需求,到技术可演进,并满足业务可演进 技术在于内深外简可控的灵活性,业务在于构建可演进的商业护城河技术业务两相结合,实现商业竞争优势能可持续演进,是以复杂度加人因创造性减弱AI能力影响 技术、业务和管理融合,就是继续增强人因决策因素 n管理:从战略到执行,是有序和可控,是人因因素之美n业务:从需求到产品,从产品到产品组合,再到产业链n技术:从准确实现需求,到技术可演进,并满足业务可演进 管理是实现战略到执行的有序可控,业务在于构建可演进的商业护城河,技术在于内深外简可控的灵活性技术业务管理相结合,在可预见的未来,都是可以减弱AI能力影响的 案例:企业管理软件,在业务和技术之上,都会有管理的决策因素 n业务:采购 --> 生产 --> 销售 --> 服务n技术:交易记录 --> 大数据 --> 数据分析与AI增强n管理:业务最终设计、技术最终设计 以小渐大,从产品到产品组合,再到产业链,本质上就是要构建企业商业护城河未来是数据驱动的商业智能,数据和智能必然成为企业商业技术底座,技术是驱动轮业务和技术的发散和收敛,均是以人因管理为决策的,是技术与艺术的结合 新兴技术,就是顺应潮流,吃新兴技术红利 nAI、大数据、云原生等技术快速发展n对数据中台、微服务的检讨也在继续n可演进的大数据叠加AI的架构是关键nAI正在快速迭代、简化和易用是关键 以Hadoop为代表的早期技术还会演进,ClickHouse等触发了更多大数据新技术,如Doris等结合GraalVM和Java语言新特性,Quarkus等触发了Spring Boot 3等更多云原生新技术 案例:现代化的Doris,数据读写性能大幅提升,并解决数据更新问题 nDoris对比ElasticSearch等,读写性能有大幅度提升,对比MySQL等传统数据库提升可达数百倍 nDoris对比ClickHouse,解决了数据更新问题(注:ClickHouse有多种手段实现不优雅数据更新效果) 案例:云原生性能优势明显 n云原生助力启动速度提升约50倍,内存消耗减少约5倍n结合Jakarta EE 9/10规范和Java语言新特性,可以大幅提升研发效率 其他,要关注技术管理对个人成长的影响 n团队组织:高低搭配,重视遴选,尊重人性n人才培养:基础扎实、愿意上进、懂得感恩n有效协作:团队协作、避免无效需求和返工n软件工程:过程要适配裁剪,敏捷也要设计 与优秀的人合作会让自己更优秀!合作者厉害,意味着自己更厉害避免KPI伪需求、避免没想清楚就匆忙编码、避免高强度拼体力造成团队崩溃 案例:稳定上进的团队管理要考虑人性 招聘部门40%员工约33个月内仅1人离职,人少2K也愿来,培养出多个专家和经理 如何做到: ü价值观:愉快、成长、挑战、成就感、最好钞票也合适ü领导力:领导不是领导岗位,架构师也可以发挥领导力ü内省力:以己及人,人性考量的同理心,方可用人以心 管理的初阶是管控,中阶是管控结合人性,最高境界是用人以心 人性化管理需要组织支持,也对管理有更高要求,要专业和责任,搞得不好就会是放羊要追求质量和效率,看得长远,就不要拼时间搞内卷,除非真的只是搬砖 其他,内心强大,追求幸福 n避免被物化,留点时间给自己,学习、家人、锻炼n潜居抱道,以待其时,有机会就不折腾的做点事情n如果没有机会,争取做个幸福的平凡人 随时做好准备,但不是说有准备就一定会有成功,要合理预期良好心态和认识自我,可以帮助我们在内卷时代相对平和幸福 不管在哪个时代,都需要坚持学习的成功三环 市场、热爱和专业,基本确定了一个人的高度热爱和坚持,可以把平庸变为专业;专业和市场,可以把无感变为热爱 内容回顾:谢谢您的聆听,期待与您再相见! n关键假设:AI已具备超人基础,弱人工智能阶段,聚焦使用者创新n技术精深:广度基础上求深度,深与浅是相对的,要避免平台依附n融合创新:技术、业务、管理,融合创新,提升价值减弱AI影响力n新兴技术:AI、大数据和云原生发展较快,对技术检讨也必将持续n内在强大:管理影响团队,爱他人爱自己,有机会做事,平和幸福 希望认识更多新朋友,融合,创新 (微信:isharedata) 微 信 官 方 公 众 号 : 壹 佰 案 例关 注 查 看 更 多 年 度 实 践 案 例