1-5 郭跃鹏 - LLM在B站大数据架构中的应用落地

SUNKI LLM在B站大数据架构的应用 读讲人：郭跃朋 日程 ·背景介绍架构简介技术挑战产品展示 About me B站大数据架构师 Featurc Store AccelerateData SecurityData Quslity Apache Griffin Cofounder 背景介绍－总体架构 背景介绍－业务规模 ，28W离线任务/天 2WKyuubi任务/天：7K实时任务/天：3人天/组件/周 背景介绍－主要问题 ·为什么任务失败 ，为什么任务慢？ 背景介绍Spark 背景介绍-:Spark OPS 背景介绍－任务慢的原因 任务挂的原因背景介绍一 架构简介－整体架构 架构简介－业务视图 架构简介－RAG 架构简介－1VectorDB 技术挑战embedding问题on!y 技术挑战- semantic chunk 技术挑战-semanticchunk 技术挑战- semantic chunk by agent -metadata filtering技术挑战 "engine*"id""corponent"; "HNS","SPARK""suh_Consonent":"CONSTRATNT""oncall":"Eth于="unique_keywerds"; "add_partitiors_req",'question"; " Internat errar. processing add_partitions_req","answer"："hivenetastore清求界悠，请联系高微小边于"，explanstion"; " 技术挑战- customize rerank 技术挑战-promptingpatterns https://platform. openai. con/docs/guides/pronpt-engineering 技术挑战 － Agents https://arxiv. org/abs/2204. 01691https://arxiv.org/sbs/2201.11903https://arxiv.org/abs/2210.03629 技术挑战-Agents https://liliarmeng-github. io/posts/202306-23-agent/ -Workflow技术挑战 AndrewNg@AndrewYNg I think Al agentic workflows will drive massive Al progress this yearperhaps even more than the next generation of foundation models. Thisis an important trend, and 1 urge everyone who works in Al to payattention to it. 技术挑战－Workflow 产品展示-usecases 产品展示-usecases 产品展示－use cases 关注哔哩哔哩技术 谢谢！ Scan to Follow DAMS 中国数据智能管理峰会 ENEWTSUNI THANK YOU!