让算力不再成为瓶颈，小红书机器学习异构硬件推理优化之道

演讲人：杜泽宇小红书商业化引擎团队负责人 目录Contents )*+,-./ %&'( !" 01前言 前言 •!"#$%&'()*+,-./0.123456789$:;<=>?3@A?BBCDEFGHEIJKL+MNOPQRSTUV$WGHE+>XYZ3[;<+YZ\]^_Q`abcdRe_EWGHE+>XYZ$fghi_jk+%&'(lmnopqQrs$tuvREwxwyE#z{|}E456E;<+EWGHE~Ä$ÅÇÉ4ÑÖÜ3áàQRâäDãå$çéèêëí"ìî$rssïñóâäòôöõú$sïe_tuv+ùûüU3R†°öYZhjk+nopq77QR¢2Má+£§V$ôö=>•¶ßí®`©™´+p¨$≠ÅÆDØ\∞±<+≤Ñ&≥sEFGH.WGH.¥GWμE7∂∑_Rí∏πÇ∫=>ÖÜ$ª^ºΩæø+áà3æ¿+•2Q 02背景 !"#$%&'()* 03模型服务概览 l;<¡¬√EÅtuvEwxwwE#ƒ+4≈∆;<¶r$«;<»©…+ÀÃÖ$EÕeöŒœ–—¡“3”‘’>ö•$Eè÷R[◊;+ÀÃ@AÿsEŸE⁄¤‹›EfiE9fl‡·E‚$„‰;<+EÂÊÁËÂÈE¡“aÍÎÏÌÓ$ÔÆDÿ©á+;<eöÒ~$›ÈÚÂÈEÕÛÙRyxWÏÅı$≠ˆR˜÷åQ9fl¯˘í˙tuv$=>+˚E¥¸˝GÂEÍòßE˛xÏ$ECˇ+ÛÙRE!xx"ÂEÅıE#E$%¡“≤Ñ$E&E'(()*ÊE+EQ 模型服务 推、搜、广大稀疏模型–CTR类 l4Ñ,°√REwxwxE#-™$tuv.9EÎÈÚÂ(Ë¥'(/E0ÈË1‹Ú2E,°3¶R†4û,°$wxwx#5$67•89EÎÈÚÂ(Ë¥'(/F(ËÈj:+E¸Á";›ÁE0ÈË1‹<È4û=E>?@ÌÓ˝Ú'‹ÚÈE¸ÁÈËÚ‹Ú2QÎÈÚÂ(Ë¥'(/E0ÈË1‹Ú2ER|/-™|}í˙ı÷ABEÎÈÚÂ(ËGË(C(D‚EFÎÈÚÂ(Ë$ÅEF;<4Ñ+GEÖ3≠HÖQR5ê+67åI–J•ß/KP&$ELMÒ~NO7ÜX lPQ,°√∞REwxwxE#-™$tuvST©[◊;+ÀÃPQ,°$Ewxwx#UVWXY5$4.6ZüU+PQ,°[íòRÎÈÚÂ(Ë¥'(/NO\8]^$j:_(Ë)ÈËE`EGÂE+PQ,°$E¶ßno^WGH-5$E;'(<)RFGH.a˝^+lm$PQ,°bßacÉÌ 其它模型-CV，NLP lPQE`E4Ñ,°√RFd$Ee¸GE)*$EPQ,°89EÊfC(Ë<gENO\VW$EŒhií‰∑jkl|E 模型服务 l%<¡Ö√tuvT©jW%m$En©%&.ojpqr$sS$tu\∞%<+ov`[ãP^wo9Üx.oòyz<{+%&Q^;<4Ñ+=>|\}~+EWGH=>$_ÑÄòõúÅÿ$$ÇÉEWGHÑFGH i$SÖÜ&á.ı÷&á.àÚ*"ÁÆâäã7lmQ 模型服务 lWGH¡Ö√Råç$tuv3:ébcèò+lm}íR+$WGH)ÈËÚÈ'+ê}≠ŶÅVë‰íì√Aîïñ.)ÈËÚÈ'óò.)ÈËÚÈ'=>3eôïñQ:å$Aîïñ}ØAîª∆%ı÷ïñòWGHı÷ö)ÈËÚÈ'óò}ØE)ÈËÚÈ'7õª∆%úïñòEWGHú$|ERWGH^óòE)ÈËÚÈ'ö)ÈËÚÈ'=>}ºùê}E)ÈËÚÈ'7õ=>eôöeôïñ}Ø=>eôªEWGHı÷ïñû∆%ı÷Qsô[?ˇüd†°RAîïñ3E)ÈËÚÈ'óò^$^¢£§E)ÈËÚÈ'=>+•\¶$ºù=>ˇü`ß$®©™´EWGH+¨9à≠ÆÇÉ$Ø∞hΩ±≤+≥¥Q 04 GPU优化实践 GPU优化实践–系统优化 μR∂Ñ%Ò~pê$≠Å.9í"∑◊+Ò~∏π$E∆∫ª+}¢¿$EWGHEÅi+:éº[zΩ•2$E¢¿æø~+åür¿¡¬Qí√πƒ$í≈º[Ò~≠ÅÇÉy∆Dw∆+ÖÜ$ªç麫π»$…∫e_pqrºùÜXπ|}Ò~Q ¡åÀÃ√ØEWGHE+å„jÃhπ$ÕŒs¶:œ–—+å^“”EWGHE+=>ÖÜQ¡ı‘’2ÉÌ√Ç∫º[+÷KÖ3◊ÿÖ$Ç∫EWGHEŸòã⁄+¤‹Ö3ÖÜQ¡›fiflï√ØWGH+›fi‡·flïò∂Ñ–—^$‚OEWGHE+=>OPQ GPU优化实践–系统优化 lRa„≥¥V$Ø„‰EÊ(›E‰Kò¡K+EeHÂμEʬ^$ª^Ç∫EFGHE3WGH-ü+AîïñOPQ ¡FGHEeHÂμEμÁÁ‹Ú‹Cf$Ë3Ö}›ªFGHÈPπ»$Í"ı÷ÎlæÏ$äãæ¿Qs™nÌ$EÓ«FGH‡·Ôœ+2ı÷}æÏ+QsS$Ò3º[≠ÅÚîÛûnRFGHπÅ2ı÷$ÅÇ∫ÎlOP3ÖÜ$åÙ}89FGHEeHÂμEμÁÁ‹Ú‹Cf+ÇÉ$ı?ˆÛû’}R2+EeHÂμEe(›ÈEçQERtuvüUç$EFGH^ê+Î÷zΩ|\tQÜxˆFGH‡œ2ı÷≠Åʘ[?+EFGHE^E)ÈËÚÈ'Eê}+¯ˇ$Eª^§WGH˘˙x+±üQ ¡ØFGH˚9àÛÙRE¸x∆EV$≠ÅØäãŒwxx"ÂED‚Ey˝x"ÂQ GPU优化实践–系统优化 lLMÒ~Q\∞EFGHE˛›fiÌ+>?ÜX}©¡ô+$E\∞pqr.ˇ+%<è©n\∞QEí‰ÿ!„+∏π}R\∞+õúüUV$LM"0ˇ&^\∞+›fiJ_QRºΩ>#ˇ$[?+>#2$%&&©sμd'˝yw7›fiQÅ(çp+EaÚCÈ'#)+E'È(Ú#)+EG'ÁC‹Ú*"E*y+!E,EwEμyx+%<¶r$çéÚî«%<+¡¬3>?+›fiJ$LMÒ~K-_i+›fiJ$E-.Ôÿ9\|}›fiÒ~+≥¥V$R«%<^+EFGHE/0?Ç∫ßEyx∆Q 1aÚCÈ'#)+'È(Ú#)+G'ÁC‹Ú*"*y+!Á(ËÁ'‹‹ÚCÈ' ;*‹'›2‹ÚCÈ'DD<(ÊC3D"ÁË<g3Â)f'Á)ÈDÁ14˝ywEDD<(ÊC3D"""4EDD<(ÊC3D"Ú(D!›Ú(/EDD<(ÊC3D"ÂÂÈ;*‹'›2‹ÚCÈ'DD<(ÊC3D"ÂÂÈwEDD<(ÊC3D"ÂÂÈ!EDD<(ÊC3D"ÂÂÂÈ!EDD<(ÊC3D"Ú(DÂÂÈ˛ÁEDD<(ÊC3D"<4y+;*‹'›2‹ÚCÈ'DD<(ÊC3D"ÂÁgÁDD<(ÊC3D""(1;ÈDD<(ÊC3D"ÁÈÂDD<(ÊC3D"Ú(DÂgÁEDD<(ÊC3D"Ê<'"*' GPU优化实践–计算优化 •Rtuv+üUå$sV/n5$çéèòß6‰‘7lm√ •y8FGHE^+Î÷a$Eı÷EÊÁ2ÈEÁÁ*'CE-à∫$™´EFGHE9:;°$ÅÜ<=E'ÁCÈÚ<fED∫ •w8R†4Ñ4ûå$=>Æ∑»©6‰¡¬√„˙<=+E;ÁC<gE‹>ÈEt$„‰4û+|Y◊;[QtE;ÁC<gE‹>ÈE©™´E)ÈËÚÈ'E≠Æ…¨9EWGHE+=>ÜXQEWGHE)ÈËÚÈ'Eê}ˇüí√ß$≠Æ…?@E)ÈËÚÈ'E'Á*Ú<gE+zΩ$Ø∞E)ÈËÚÈ'E'Á*Ú<gE+ˇüÿE)ÈËÚÈ'Eê}ˇüSNQREÎÈÚÂ(Ë¥'(/Eå$„‰EF*›Á0CËÈÁ"E'Á*Ú<gE)ÈËÚÈ'E•¶AB$™´4ÑüUVEWGHE¨9àC©E˝x∆QSi$˛9t;<üU≥!„+E›ÈÚÂÈEDE∂$9EWGHEFGEFGHEXÿ\H>$IÙß;<+JKPQ GPU优化实践–计算优化 •L˛ı÷EÊÁ2ÈEÁÁ*'CE-à∫+lm •çé˚9EMÈ"Á''(<NπÒ~ı÷ûO%Ù$|zóßÒ3º[+flP[QRÜQ•ç釷SzßECÁTÂÈË1‹Ú2+·U$‡·K9EÎÈÚÂ(Ë¥'(/$VWßí˙Aî+⁄X~ÓY⁄X~Q GPU优化实践–计算优化 •L˛EÎÈÚÂ(Ë¥'(/E„EF*›Á0CËÈÁ"E+lm çé>?ßEÂ*'C‹E0CËÈÁ"ÂE=EÂ*'C‹EF(ÚCÈ4CÂE+RÜ$ÕŒßZ[\™´+ÖÜAB$•RØEWGHE¨9àÇÉòE]x,∆Q ∞ˇ$çé¨9Ee1‹›‹ÁEÇ^+EF*›ÁÂG0ERÜ$ºΩßEWGHE+±J9E#∞íˇü>?a‰E)ÈËÚÈ'Eê}+$˚_EWGHE+¨9à|í`ÇÉQ GPU优化实践–计算优化 •|í`Äòí"=>_|+≠ÜÖ ˝ÊabÈËÚÈ'EÁ*‹(ÚNO√ÆDcdef/LMÒ~g»h•ÖÜæ∫+EÎÈÚÂ(ËÁ'(/>#$…¨9EFGHE+EFÁ<gÈEÅÜEWGHE+E0gÁËÈ›EÂÈ"(Ëf$Çɺ[+/0Q GPU优化实践–计算优化 •Äòí"ij+=>? •˛456+üU$Eÿkh+퉬üU}C©y‰*ÂÈËE,EeE‰E‹CÈ"+lm •EVW|WGH+˙A Ï‹'‹ÚÈÁËeÈC>#EWGHE<*›ÁºΩ√ÆDWGH‚O=>$ÇÉÖÜ GPU优化实践–计算优化 •Gæø+õú •μyxEWGHE+ÖÜ}EβEWGHEÖÜ+Ey8˝En$∞ˇEμyxE%<Å—+EFGHE#‹<È'Á)È=EyxÚ"+EÿEβE%<E#Â)f'Á)È=Ey˛Ú"+Eæoí7$¬pq¶EβE%<+Ey8wEnQErπçéS©ÇÉR†˚9Eμ!xE7%<Q GPU优化实践–计算优化 •DL栈自动编译优化 GPU优化实践–训练优化1、2期 a˝Elm Aîsa˝lm tR22$•2ÿ∫$EåççéuvwEÎ¥)È<(Ë›ª}÷x•ßGÁËy*ÈC$E˜z¢¿ßtA+a˝$E3PQ_(Ë)ÈË{+EFGHE˚9 |";È››‹Ú2E¸ÁfÈËEa˝lm •™¨√ '(()*ʪ}ÊËÈÁÈ<g$æ‚~|É̶XÿÊËÈÁÈC<g~$noPQDãå$sFGH{'(()*ÊÄ$Ä•+PQ7ÅQÇÉ2Ê*¨9àQ∞ˇsS®æo÷R&¡$÷R“”áôÇÉ$…%Ù–=b"ÑFÖQ •5¨√ É̸(()*ÊY¨æo+ô`vÜ$ºΩAî|á5$àPâäæo7=>Ò3$ÿÕˆá5ã≤ÑQn‰PQ˛:+åçQC∫Ví‰;ÁC<gPQÇéæoˇ$2˙æo%dáQ GPU优化实践–训练推理优化 未来 •PQ•μyxx,ÿ∫OZè≥yÎÏ+•μyx,%&üÆâ#ëêÎÏ∂ •4Ñ•;<ë?~NO•F*›ÁE,EWGHEÉÌ ñã~•ííì%&'(ñã$EîïìPQ$Eñ0¸~¡“óÑ —THANKS— 感谢您的观看