让算力不再成为瓶颈，小红书机器学习异构硬件推理优化之道

演讲人：杜泽宇小红书商业化引擎团队负责人 目录Contents )*+,-./ %&'( !" 01前言 前言 •!"#$%&'()*+,-./0.123456789$:;<=>?3@A?BBCDEFGHEIJKL+MNOPQRSTUV$WGHE+>XYZ3[;<+YZ\]^_Q`abcdRe_EWGHE+>XYZ$fghi_jk+%&'(lmnopqQrs$tuvREwxwyE#z{|}E456E;<+EWGHE~Ä$ÅÇÉ4ÑÖÜ3áàQRâäDãå$çéèêëí"ìî$rssïñóâäòôöõú$sïe_tuv+ùûüU3R†°öYZhjk+nopq77QR¢2Má+£§V$ôö=>•¶ßí®`©™´+p¨$≠ÅÆDØ\∞±<+≤Ñ&≥sEFGH.WGH.¥GWμE7∂∑_Rí∏πÇ∫=>ÖÜ$ª^ºΩæø+áà3æ¿+•2Q 02背景 !"#$%&'()* 03模型服务概览 l;<¡¬√EÅtuvEwxwwE#ƒ+4≈∆;<¶r$«;<»©…+ÀÃÖ$EÕeöŒœ–—¡“3”‘’>ö•$Eè÷R[◊;+ÀÃ@AÿsEŸE⁄¤‹›EfiE9fl‡·E‚$„‰;<+EÂÊÁËÂÈE¡“aÍÎÏÌÓ$ÔÆDÿ©á+;+˚E¥¸˝GÂEÍòßE˛xÏ$ECˇ+ÛÙRE!xx"ÂEÅıE#E$%¡“≤Ñ$E&E'(()*ÊE+EQ 模型服务 推、搜、广大稀疏模型–CTR类 l4Ñ,°√REwxwxE#-™$tuv.9EÎÈÚÂ(Ë¥'(/E0ÈË1‹Ú2E,°3¶R†4û,°$wxwx#5$67•89EÎÈÚÂ(Ë¥'(/F(ËÈj:+E¸Á";›ÁE0ÈË1‹<È4û=E>?@ÌÓ˝Ú'‹ÚÈE¸ÁÈËÚ‹Ú2QÎÈÚÂ(Ë¥'(/E0ÈË1‹Ú2ER|/-™|}í˙ı÷ABEÎÈÚÂ(ËGË(C(D‚EFÎÈÚÂ(Ë$ÅEF;<4Ñ+GEÖ3≠HÖQR5ê+67åI–J•ß/KP&$ELMÒ~NO7ÜX lPQ,°√∞REwxwxE#-™$tuvST©[◊;+ÀÃPQ,°$Ewxwx#UVWXY5$4.6ZüU+PQ,°[íòRÎÈÚÂ(Ë¥'(/NO\8]^$j:_(Ë)ÈËE`EGÂE+PQ,°$E¶ßno^WGH-5$E;'(<)RFGH.a˝^+lm$PQ,°bßacÉÌ 其它模型-CV，NLP lPQE`E4Ñ,°√RFd$Ee¸GE)*$EPQ,°89EÊfC(Ë|\}~+EWGH=>$_ÑÄòõúÅÿ$$ÇÉEWGHÑFGH i$SÖÜ&á.ı÷&á.àÚ*"ÁÆâäã7lmQ 模型服务 lWGH¡Ö√Råç$tuv3:ébcèò+lm}íR+$WGH)ÈËÚÈ'+ê}≠ŶÅVë‰íì√Aîïñ.)ÈËÚÈ'óò.)ÈËÚÈ'=>3eôïñQ:å$Aîïñ}ØAîª∆%ı÷ïñòWGHı÷ö)ÈËÚÈ'óò}ØE)ÈËÚÈ'7õª∆%úïñòEWGHú$|ERWGH^óòE)ÈËÚÈ'ö)ÈËÚÈ'=>}ºùê}E)ÈËÚÈ'7õ=>eôöeôïñ}Ø=>eôªEWGHı÷ïñû∆%ı÷Qsô[?ˇüd†°RAîïñ3E)ÈËÚÈ'óò^$^¢£§E)ÈËÚÈ'=>+•\¶$ºù=>ˇü`ß$®©™´EWGH+¨9à≠ÆÇÉ$Ø∞hΩ±≤+≥¥Q 04 GPU优化实践 GPU优化实践–系统优化 μR∂Ñ%Ò~pê$≠Å.9í"∑◊+Ò~∏π$E∆∫ª+}¢¿$EWGHEÅi+:éº[zΩ•2$E¢¿æø~+åür¿¡¬Qí√πƒ$í≈º[Ò~≠ÅÇÉy∆Dw∆+ÖÜ$ªç麫π»$…∫e_pqrºùÜXπ|}Ò~Q ¡åÀÃ√ØEWGHE+å„jÃhπ$ÕŒs¶:œ–—+å^“”EWGHE+=>ÖÜQ¡ı‘’2ÉÌ√Ç∫º[+÷KÖ3◊ÿÖ$Ç∫EWGHEŸòã⁄+¤‹Ö3ÖÜQ¡›fiflï√ØWGH+›fi‡·flïò∂Ñ–—^$‚OEWGHE+=>OPQ GPU优化实践–系统优化 lRa„≥¥V$Ø„‰EÊ(›E‰Kò¡K+EeHÂμEʬ^$ª^Ç∫EFGHE3WGH-ü+AîïñOPQ ¡FGHEeHÂμEμÁÁ‹Ú‹Cf$Ë3Ö}›ªFGHÈPπ»$Í"ı÷ÎlæÏ$äãæ¿Qs™nÌ$EÓ«FGH‡·Ôœ+2ı÷}æÏ+QsS$Ò3º[≠ÅÚîÛûnRFGHπÅ2ı÷$ÅÇ∫ÎlOP3ÖÜ$åÙ}89FGHEeHÂμEμÁÁ‹Ú‹Cf+ÇÉ$ı?ˆÛû’}R2+EeHÂμEe(›ÈEçQERtuvüUç$EFGH^ê+Î÷zΩ|\tQÜxˆFGH‡œ2ı÷≠Åʘ[?+EFGHE^E)ÈËÚÈ'Eê}+¯ˇ$Eª^§WGH˘˙x+±üQ ¡ØFGH˚9àÛÙRE¸x∆EV$≠ÅØäãŒwxx"ÂED‚Ey˝x"ÂQ GPU优化实践–系统优化 lLMÒ~Q\∞EFGHE˛›fiÌ+>?ÜX}©¡ô+$E\∞pqr.ˇ+%<è©n\∞QEí‰ÿ!„+∏π}R\∞+õúüUV$LM"0ˇ&^\∞+›fiJ_QRºΩ>#ˇ$[?+>#2$%&&©sμd'˝yw7›fiQÅ(çp+EaÚCÈ'#)+E'È(Ú#)+EG'ÁC‹Ú*"E*y+!E,EwEμyx+%<¶r$çéÚî«%<+¡¬3>?+›fiJ$LMÒ~K-_i+›fiJ$E-.Ôÿ9\|}›fiÒ~+≥¥V$R«%<^+EFGHE/0?Ç∫ßEyx∆Q 1aÚCÈ'#)+'È(Ú#)+G'ÁC‹Ú*"*y+!Á(ËÁ'‹‹ÚCÈ' ;*‹'›2‹ÚCÈ'DD<(ÊC3D"ÁËÆ∑»©6‰¡¬√„˙<=+E;ÁCÈEt$„‰4û+|Y◊;[QtE;ÁCÈE©™´E)ÈËÚÈ'E≠Æ…¨9EWGHE+=>ÜXQEWGHE)ÈËÚÈ'Eê}ˇüí√ß$≠Æ…?@E)ÈËÚÈ'E'Á*Ú$IÙß;<+JKPQ GPU优化实践–计算优化 •L˛ı÷EÊÁ2ÈEÁÁ*'CE-à∫+lm •çé˚9EMÈ"Á''(?ßEÂ*'C‹E0CËÈÁ"ÂE=EÂ*'C‹EF(ÚCÈ4CÂE+RÜ$ÕŒßZ[\™´+ÖÜAB$•RØEWGHE¨9àÇÉòE]x,∆Q ∞ˇ$çé¨9Ee1‹›‹ÁEÇ^+EF*›ÁÂG0ERÜ$ºΩßEWGHE+±J9E#∞íˇü>?a‰E)ÈËÚÈ'Eê}+$˚_EWGHE+¨9à|í`ÇÉQ GPU优化实践–计算优化 •|í`Äòí"=>_|+≠ÜÖ ˝ÊabÈËÚÈ'EÁ*‹(ÚNO√ÆDcdef/LMÒ~g»h•ÖÜæ∫+EÎÈÚÂ(ËÁ'(/>#$…¨9EFGHE+EFÁ? •˛456+üU$Eÿkh+퉬üU}C©y‰*ÂÈËE,EeE‰E‹CÈ"+lm •EVW|WGH+˙A Ï‹'‹ÚÈÁËeÈC>#EWGHE<*›ÁºΩ√ÆDWGH‚O=>$ÇÉÖÜ GPU优化实践–计算优化 •Gæø+õú •μyxEWGHE+ÖÜ}EβEWGHEÖÜ+Ey8˝En$∞ˇEμyxE%<Å—+EFGHE#‹<È'Á)È=EyxÚ"+EÿEβE%Ò3$ÿÕˆá5ã≤ÑQn‰PQ˛:+åçQC∫Ví‰;ÁC