大模型赋能智慧办公评测报告-PPT生成

大模型赋能智慧办公评测报告一一PPT生成 国家工业信息安全发展研究中心人工智能所人工智能融合发展与安全应用实验室2024年2月 目录 评测背景01 02评测体系 03评测结果 总结与建议04 评测背景 评测背景 当前，以大模型为代表的人工智能技术迅猛发展，正在成为引领新一轮产业变革的核心驱动力。大模型拥有强大的普适性、自主性、创造性和学习能力，让机器能够理解和生成更自然、富的文本、图像等。大模型应用正对各行各业产生变革性影响，在智慧办公领域，大模型加速落地，成为提高办公效率、提升协作能力、提供智能决策的重要途径。 本次评测面向大模型赋能智慧办公领域的PPT生成应用，构建8个PPT常用场景和2个特殊场景，对相关产品在意图理解、生成质量、排版美化、基础性能、可信保护五个维度的表现进行评测和展示，希望为用户选择和使用PPT生成产品提供借鉴，为大模型赋能智慧办公相关应用发展提供参考。 本报告的评测结果仅能体现相关应用在测试期间的版本，相关产品更新迭代速度较快，加之受评测场景限制，内容难免存在不足，敬请大家谅解，欢迎批评指正。 评测体系 指标体系 测试对象 01 评测场景设计 本研究设计了8个PPT常用场景和2个特殊场景，对大模型生成PPT产品进行测试 评测结果 01 总体情况：大模型PPT生成产品目前初步“可用”，正在从“能用"走向“好用” 02 在意图理解方面，对于评测指令能够实现较好的理解，生成的大部分提纲框架合理，具有一定逻辑性。，在生成质量方面，文字内容大部分可用，经过一些人工加工和调整即可使用。在排版美化方面，半数PPT排版美观、合理，可直接使用或经过微小调整即可使用。在基础性能方面，大多数产品的使用体验较为流畅、稳定，也可提供多样化的辅助功能选择。在可信保护方面，大多产品设置了敏感和不安全信息的过滤机制，但在版权标识方面仍有待提升。 01 意图理解：多数产品支持指令输入和文档上传，产业研究等领域理解能力较好 02 例：讯飞智文理解了“帮我生成一份大学生就业指导PPT"指令。 例：百度文库理解了“帮我生成一份中小企业人力资源管理研究的PPT"指令。 ·中小企业人力资源管理概述·中小企业人力资源管理的现状与问题·中小企业人力资源管理的策略与实践·中小企业人力资源管理的未来发展?中小企业人力资源管理案例研究 意图理解考察产品对于用户意图的理解能力，包括多源输入能力和理解能力，从总分来看，平均得分为75.54分，意图理解能力总体较强。 01 意图理解：多数产品支持指令输入和文档上传，产业研究领域理解能力较好 02 在多源输入方面：所有产品都可以支持一句话指令输入，有75%的产品支持通过用户上传文档来生成PPT。在理解能力方面: ，头部与尾部产品能力差异较大，头部产品在各类场景下的理解能力整体较强，部分产品容易将用户输入的指令直接生成为PPT标题。动策划等偏向实践的领域需具体问题具体分析，理解能力偏弱。，大多数歧义信息能够被很好地理解，大多数产品对于歧义词汇和不同使用角色都能够较好理解 01 意图理解：多数产品支持指令输入和文档上传，产业研究领域理解能力较好 02 例：部分产品将用户输入的指令直接生成了PPT标题。 03 例：部分产品将指令“帮我生成一份策划经济学学术研讨会的PPT"理解为"策划经济学"。 策划经济学的起源 1.实践价值 策划经济学已经成功应用于许多实际的经济活动，如品牌营销、商业策划项目开发等，帮助企业提高市场竞争力，增加销售额。同时，它也是企业和机构制定经济决策的重要工具，为管理层提供关于经济趋势和机遇的洞察。2.理论基础和研究领域 策划经济学的理论体系已经得到广泛的研究，涵盖了微观经济学、宏观经济学、心理学、社会学等多个领域。其研究领域包括但不限于商业战略、品牌推广、市场营销、资源分配等。这些研究领域不仅为学术界提供了新的研究视角，也为政策制定和商业实践提供了重要的理论依据。 01 生成质量：内容完整性较高、整体"可用”，但专业深度仍有不足 02 生成质量考察产品生成内容中文字的可用性水平，包括完整性、准确性、流畅性、逻辑性、专业性、充实性6大维度，平均得分为70.05分，各产品生成PPT结构的完整性较高，生成的内容流畅性和逻辑性表现可接受，超半数产品内容较为充实，能够大致满足使用需求，少数产品内容偏简单，生成的内容在专业性方面整体仍有较大提升空间。 01 生成质量：内容完整性较高、整体“可用”，但专业深度仍有不足 02 1.生成质量一一完整性 03 完整性考察PPT结构的完整程度，为生成质量指标中单项得分最高的指标，平均得分为91.41分。有50%的产品在测评中，每次均能生成包含封面、目录、内容页、结尾页的完整PPT，其余产品在部分PPT中出现了结构不完整、空白页等现象。 01 生成质量：内容完整性较高、整体“可用”，但专业深度仍有不足 02 2.生成质量一一准确性 03 ·准确性考察生成内容与用户需求的符合程度和内容正确性情况，平均得分为66.41分，仍有较大提升空间时，提供了理论或方法论介绍·有少部分PP工在内容上存在事实性错误，或编造数据的情况。 例：2024年是农历甲辰年龙年，春节联欢会主题定位“金牛迎春"为事实性错误。 例：PPT列举了评估智能交通项目社会影响力的方法，而没有对项目的社会影响力做出具体的评估。 社会影响力评估 确定联欢会主题 对城市环境改善情况评价 社会反馈收集及调整方案分享 提升居民生活品质成果分享 选择与2024年春节相关的主题如“金牛迎春”或“花开富贵” 比调装完重智能交通系统 分享居民生活湿升的去例或调研结果 方环境改垂情况进行客观评价 01 生成质量：内容完整性较高、整体“可用”，但专业深度仍有不足 02 例：部分PPT内容流畅度较高。 3.生成质量一一流畅性 03 流畅性考察生成的语言文字的流畅程度，本次评测的产品文字流畅度整体较高，平均得分为71.61分。语法错误、不通顺的情况相对较少，但有部分产品出现标点错误、缺字等现象，有少数产品存在完全一样的内容或意思近似的内容在多个地方重复出现的现象。 例：部分PPT内容存在缺字、多余字、标点错误等问题。年新春联欢会概述 ABOU “年新春联欢会概述"PPT正文：新春联欢会旨在加强员工间的交流与合作，提升团队凝聚力，营造欢乐祥和的节日氛围。 营销策划与品牌塑造 【"论点"："营销策划的重要性，数据支持显示其对企业业绩的影响""论述"：“据统计，营销策划对企业的业绩有显著影响。通过有效的营销策划，企业可以提作用，数据支持显示其与消费者忠诚度密切相关“论述"：“品牌塑造是营销策略的重要组成部分，它通过强化品牌形象和提升品牌价值来增强消费者忠诚度。 01 生成质量：内容完整性较高、享整体“可用”，但专业深度仍有不足 02 4.生成质量一一逻辑性 03 大多数PPT内容符合人的逻辑习惯，但部分PPT的内容存在前后矛盾、发散过头、拼凑感强、角色视角混乱等现象。 例：在同一份PPT的不同章节里重复出现“跨境电商的市场规模"的内容，内容堆叠感较强，逻辑性不足。 主要跨境电商市场现状分析 口跨境电商市场规模 全球跨境电商市场规模 近年来，全球跨境电商市场规模持结扩大，尤其在衰情影构下，续上购物需求微增，推动了电商市场的·决速发展。 全球湾境电育市场规模持续扩大，预计木来几年将保持高增长，这标志若全球贸易的泽度变革和全球轻济一体化的进程。 跨境电商主要品类 鹿城电商的主要商品种类包括服装、电子产品、家居用品等，其中电子产品和时尚廉饰是最受销费者欢迎的品共。 跨境电商主要业务模式 跨境电商的主要业务模式包括B2B、B2C和C2C，其中B2B碳式占据主导地位，但B2C和C2C黄式也在快违发展，这些业务模式的变化质呗了消费者需求和市场环境的变化。 图跨境电商消费人群分析 随着互联网昔及和支付方式的便利，越来越多的消费者选择通过湾境身高平自购买商品其中以年轻人和中产阶轻为土号的消费人群正在不断壮大。 制定市场定位策略 突出产品特点与优势 1.精准的市场定位对于x品牌智能手机成功至关重要 1.市场定位 市场定位是品牌成功的关键因素。根据市场调查数据显示，x品牌智能手机的目标消费者当主要是年轻人群，他们注重时尚、科技和性价比。因此，x品牌智能手机应专注于打造具有创新技术和高质量的智能手机，以满足这一目标消费者的需求。通过精准的市场定位，x品牌智能手机可以更好地与其他品牌区分开来，并在竞争中脱颖而出2.市场细分策略：如何实现市场定位 x品牌智能手机的市场定位明确，主要面向中高端消费者，通过精准的市场定位，，x品牌智能手机的用明了x品牌智能手机的成功市场定位。 Cic工信安全 01 生成质量：内容完整性较高、整体“可用”，但专业深度仍有不足 02 5.生成质量一一专业性 03 专业性考察生成内容的深度、创新性、时效性等，平均得分为63.28分，为生成质量维度得分最低的二级指标。除少数头部产品内容在教育培训、产业研究等少数场景的内容专业性有突出表现外，其他产品和领域生成内容的专业性表现仍有较大提升空间。例：“班主任工作总结"PPT没有体现班主任工作的 特点和内容，而是一个通用的工作总结，专业性较差。 例：在"大学生就业指导"PPT中，百度文库生成的PPT在内容中分点介绍了简历制作的技巧和面试技巧，讯飞智文生成的PPT在内容中分析了当前就业形势，预测了未来就业趋势，专业性较强。 评测结果 自身不足与反思 ■木来五年就业趋势预测 技术驱动的就业增长 再生能源专家 01 生成质量：内容完整性较高、享整体"可用”，但专业深度仍有不足 02 6.生成质量一一充实性 03 充实性考察PPT内容文字的丰富性，平均得分为67.97分。接近一半产品生成的PPT时具有充实的文字内容，并在必要时提供了数据、案例等，对内容加以佐证。（注：部分数据存在编造或用"XX"代替，评分由准确性维度体现，不在充实性维度体现）。 例：讯飞智文分十章展开论述了支持镇域经济发展的学术报告，内容充实。 例：部分PPT只列出了小标题或提示词没有提供必要的观点、数据、案例等内容加以佐证，充实性较差。 例：百度文库在“全球跨境电商发展情况研究"PPT中列举了若干跨境电商的案例。 01 生成质量：内容完整性较高、享整体“可用”，但专业深度仍有不足 02 7.不同场景生成质量情况 03 产业研究、产品营销、教育培训、学术报告等主题PPT内容整体具有较高的可用性。 01 排版美化：排版合理美观，但配图水平与呈现形式有待提升 02 排版美化考察产品将PPT内容进行美观呈现的能力，包括排版布局、色彩搭配、字体选用、配图水平、形式丰富等五大维度，平均得分为71.08分，总体来看各产品排版美化能够满足日常PPT使用需求，尤其是在排版布局、色彩搭配、字体选用等维度表现较为突出，在配图水平和呈现形式方面仍待提升。 01 排版美化：排版合理美观，但配图水平与呈现形式有待提升 02 1.排版美化一一排版布局 03 排版布局考察PPT各元素布局的合理、有序程度，及段落的对齐、编号统一程度，平均得分为74.22分·本次评测产品的排版布局能力总体较强，生成的PPT的排版布局合理性较高，符合主流审美和一般用户的使用习惯，部分产品在不同页能够生成丰富多样的布局形式。但在少数PPT中存在目录页分页展示、内容与模板不匹配、段落未对齐、文字被挡住等现象。 例：内容与模板不匹配，模板中“添加标题"的位置没有添加内容。 例：AiPPT采用"田"字的布局，文字图形错落有致，编号统一，页面各元素排版合理美观。 例：百度文库采用上图下文的布局，图片和文字相互对应，排列整齐，编号统一，页面各元素排版合理美观。 01 排版美化：排版合理美观，但配图水