第十一届挑战赛C2-基于迁移学习与集成学习的招聘与求职双向推荐系统

优秀作品 荣获奖项：特等奖 作品单位：中国地质大学（武汉）封面为后期添加，原作品没有此页。 作品成员：张文然 靳博原 何向洋 指导老师：万林 基于迁移学习与集成学习的招聘与求职双向推荐系统 摘要 本文基于LDA主题生成模型与K-modes算法，构建了招聘信息画像和求职者画像；依据岗位胜任力模型公式分别构建岗位匹配度与求职者满意度模型；基于迁移学习与集成学习模型构建排序模型，最终通过贪心策略实现招聘与求职双向推荐。 针对问题一，本文使用爬虫算法爬取泰迪内推网站的找工作和找人才页面，并将招聘者和岗位的相关信息进行了数据清洗和预处理，使其变为结构化数据，存储在CSV文件中。 针对问题二，应用问题一结果信息，针对不同特征，从多个方向建立招聘信息画像与求职者画像。使用LDA主题生成模型对招聘信息、求职者自我介绍进行主题词生成，得到其主题关键词。通过K-modes聚类算法，分别对招聘信息、求职者进行聚类，得到每个类别的代表性特征，即分类后的整体画像。 针对问题三，本文基于岗位胜任力模型公式，分别构建岗位匹配度模型和求职者满意度模型，从多维度对求职者或招聘岗位进行评估，得到求职者与招聘岗位间的匹配度和满意度。 针对问题四，分为两部分进行求解，首先基于迁移学习在公开数据集上对模型进行训练，选出最好的模型LightGBM后，基于其预测分数获得求职者推荐排序序列。分别通过三种贪心策略，选择推荐序列中能够最优化履约率的求职者进行推荐，求职者选择接受最高满意度岗位的offer。通过对比实验，使用考虑offer数量的贪心策略能够得到最接近于最佳结果的履约率，其与本数据集履约率极限值的比值为0.7802997。 关键词双向推荐系统人岗匹配迁移学习LightGBM集成学习贪婪策略 目录 一、绪论..........................................................................................................................11.1数据挖掘背景.....................................................................................................1二、问题分析..................................................................................................................12.1问题一的分析.....................................................................................................12.2问题二的分析.....................................................................................................32.3问题三的分析.....................................................................................................32.4问题四的分析.....................................................................................................4三、基本假设..................................................................................................................4四、针对问题一的解决方案..........................................................................................54.1工作思路.............................................................................................................54.2数据获取.............................................................................................................54.3数据清洗.............................................................................................................7五、针对问题二的解决方案........................................................................................105.1工作思路...........................................................................................................105.2数据处理...........................................................................................................115.2.1缺失值处理............................................................................................115.2.2招聘岗位标签........................................................................................115.2.3薪资数据................................................................................................135.2.4提取技能关键词....................................................................................135.2.5地址数据................................................................................................145.3模型设计与选择...............................................................................................155.3.1 LDA主题模型........................................................................................155.3.2 K-modes聚类模型.................................................................................165.4招聘信息画像...................................................................................................175.4.1招聘岗位................................................................................................175.4.2薪资待遇................................................................................................185.4.3学历要求................................................................................................205.4.4岗位需求量............................................................................................215.4.5公司类型................................................................................................225.4.6岗位技能................................................................................................235.4.7企业工作地点........................................................................................245.4.8公司规模................................................................................................255.4.9工作经验需求........................................................................................265.4.10岗位福利..............................................................................................275.5求职者画像.......................................................................................................275.5.1预期岗位................................................................................................275.5.2薪资需求................................................................................................285.5.3知识储备................................................................................................295.5.4学历.....................................................................................................