通用Agent 写报告能力测试报告

研报总结

核心观点

• 本次报告测试了5个PPT任务和4个报告任务，评估了Genspark、Manus、OpenAI和Comet四家通用AI Agent在生成文档方面的表现。
• 测试结论表明，通用AI Agent生成文档已达到初步可用水平，但存在一些问题，如生态各平台短板明显、数据幻觉风险、步骤复杂等。
• 报告强调，现阶段AI生成内容必须全面验证，直接承认能力局限并积极反馈，才能推动生态整体进步。

测试感受

• 团队成员1dyr：测试了22个任务，发现AI生成内容必须仔细验证，功能、诚实度和内容质量各有优劣，生态不成熟，需持续迭代。
  • 问题：Manus存在幻觉问题，OpenAI耗时过长，Genspark导出Bug，OpenAI PPT质量差，AI Agents教程指南内容冗长。
• 团队成员2zwt：测试了5个任务在OpenAI的表现，认为其在技术能力上有优势，但在用户体验（效率、内容质量、问题解决）上不足，性价比有待提升。
  • 问题：OpenAI耗时过长，PPT质量差，遇到问题采取“绕路”方式。

难度分级说明

• 难度等级分为1-5分，1-2分为简单级，3-4分为中高级，5分为专家级。
• 关键难度因素包括大型输出要求、专业领域知识、多维度分析、实时信息搜索、多步骤任务等。

Prompt难度评级分析表

• 测试了9个任务，包括ETH价格预测、会员经济GDP分析、美股历史跌幅分析、制定提前退休计划PPT、制作巴黎旅行PPT、纽约租房PPT、LLM产业报告+PPT、AI Agents教程指南、奈飞电影Excel+邮件。
• 每个任务都分析了难度等级、来源、任务难度和任务分析。

各任务测试结果

• ETH价格预测：Comet和Manus成功，OpenAI失败，Genspark成功但需验证。
• 会员经济GDP分析：OpenAI、Comet和Manus成功，Genspark成功。
• 美股历史跌幅分析：OpenAI和Comet成功，Manus最详细，Genspark准确。
• 制定提前退休计划PPT：OpenAI和Manus成功，Genspark成功，Comet失败。
• 制作巴黎旅行PPT：OpenAI和Manus成功，Genspark成功且排版最佳。
• 纽约租房PPT：OpenAI部分成功，Manus和Genspark部分成功，Comet和Comet失败。
• LLM产业报告+PPT：OpenAI成功但PPT简陋，Manus部分成功但信息来源不明，Genspark成功但日期错误。
• AI Agents教程指南：OpenAI、Manus和Genspark成功，Genspark更通俗且附加视频教程。
• 奈飞电影Excel+邮件：OpenAI部分成功，Comet失败，Manus部分成功，Genspark部分成功。

关键数据和研究结论

• 流量分析：
  • Manus流量3月爆发，5月功能更新频繁。
  • Genspark流量4月转折，5月功能更新频繁。
  • Manus和Genspark流量呈现工作日规律。
• 结论：
  • 通用AI Agent生态不成熟，各有短板，需持续反馈和迭代。
  • AI生成内容必须全面验证，避免数据幻觉。
  • 直接承认能力局限，积极反馈，推动生态整体进步。