OpenAI Agent 长视频总结测试报告

OpenAIAgent长视频总结测试报告 2025.8.5 郎瀚威/GPTDAO猫猫头 AIwatch.ai 目录 aiwatch.ai｜2 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 01 目录 02 关于作者 03 测试感受 04 测试结果 05 难度分级说明 06 总结视频链接 07 对视频提问 08 YouTube生成创意 09 YouTube账户分析 10 结尾 11 附件 12131415161718 视频相 关任务 •作者郎瀚威及团队，郎瀚威现居美国硅谷PaloAlto，GPTDAO分析师，第二作者猫猫头，也在硅谷，小红书：107279551 •更多数据内容请关注公众号：郎瀚威Will，新闻资讯请关注推特：@financeyf5获取更多信息 •官网飞书：https://aiwatch.ai/；GenAI网页数据2025Q1报告：链接 •加数据报告群：下方企业微信扫码，备注加Will的数据报告分享群，请简单自我介绍，仅用于讨论行业数据，发广告会飞机。 •商务合作洽谈，请加微信lang2057，请备注公司信息，因为作者微信已经满了 •服务包括：1对1推特增长咨询服务等。数据库服务，包含对于市场上产品的详细跟踪和打标，了解商机先人一步。咨询服务包含专业团队对于公开数据的收集，调研，增长分析等，4000美元/月。推特增长顾问服务，分析欧美竞对，构建推特增长路径。价格同上。 关于作者 aiwatch.ai｜3 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 Will小助手企业微信 进不去群扫这个 数据报告群2 微信公众号 测试结果 aiwatch.ai｜4 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 时间单位：秒 OAIAgent PerpComet Manus Genspark Prompt 综合难度 时间 结果 时间 结果 时间 结果 时间 结果 1 总结视频链接 2.1 180 成功 27 成功 2 40 成功 113 成功 2 对视频提问 2.1 53 成功 15 成功 60 成功 18 成功 3 YouTube生成创意 3.3 180 部分成功 16 成功 300 成功 140 成功 4 Youtube账户分析 3.5 420 部分成功 77 成功 480 成功 74 成功 平均时间 20 8 34 270 86 正确/错误比例 5/0 5/0 5/0 5/0 注释：该表格中测试结果成功与否均为人工评价，会存在人工评价与AI不一致的情况 视频总结赛道TOP产品数据 aiwatch.ai｜5 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 •几款Agent价格：Manus单任务耗费大约200积分，大约1美元；Genspark单任务耗费大约110Credits，大约0.25美元。 •AI能力的提升让通用Agent成为新趋势，正在逐步替代第一波专业的AI工具，无论是视频提取总结，还是我们之前评测过的Word、Excel、PPT，都处在被功能更强大的通用Agent取代的过程中。 $5.99/月 1KomeSummarizer 100 80 60 40 20 0 71 858279 62 45 53 42 56 364044 64 53 424045 30 12 1817 23年6月23年12月24年6月24年12月25年6月 免费 2Glarity 1,500 962 1,000 500 280394 71188923 925252447494144504352495863 0 23年6月 23年12月 24年6月 24年12月 25年6月 1,000 800 600 400 200 0 3Eightify 919743 660 465712 230 474973 461 109625461624845179121619366640 23年6月23年12月24年6月24年12月25年6月 各Agent长视频总结能力表 aiwatch.ai｜6 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 Agent产品 视频字幕 视频介绍 视频评论 其他信息源 （如网页等） OpenAIAgent √ （通过第三方） √ √ √ PerplexityComet √ √ × - Manus √ √ √ - Genspark √ √ × 进行尝试 byWill团队成员dyr 测试感受 aiwatch.ai｜7 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 本次我针对OpenAIagent、Manus、Genspark三款AIAgent的横向测评，测了4个不同的Prompt。总体结论是： Manus最好。可完整抓取视频字幕、评论并精准分段总结；Genspark第二。能取字幕与频道数据，无法获取评论； OpenAIagent第三。借yewtu.be获取字幕与评论但无法直接访问YouTube。 Manus： 1.Manus可以获取到视频字幕、视频介绍、视频评论。在虚拟机界面，可以看到Manus模拟真实用户操作，播放了视频。测试过程有“提取文字记录”“分析VSL结构”“用AI分析成功脚本”这样的记录，说明Manus通过字幕或转录文本获取了视频的实际语音内容。报告中有正确的用户评论、视频的基本信息，还有详细的时间戳，和视频内容能精准的对应起来，并且对片段进行总结，我看过是正确的，而且总结的很好。 2.Manus能成功进入Youtuber的主页，获取了粉丝量、频道简介、视频数、播放量等基础信息。 byWill团队成员dyr续 测试感受 aiwatch.ai｜8 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 OpenAIAgent： 1.OpenAIagent使用yewtu.be获取视频的字幕内容，能抓取视频描述和视频评论。Youtube抓取评论的方式是像人一样，OpenAIagent会点击‘展开更多评论’按钮，逐层抓取折叠内容。 2.OpenAIagent无法浏览Youtube，分析FlorianCamiade这个Youtuber任务中，由于跨站点限制，Youtube页面无法加载。OAI只能去网搜“@itsfloai”频道，并从其他网站收集摘要或文字记录了解内容。 Genspark： 1.Genspark可以获取到视频字幕、视频介绍，无法获取视频评论。 2.Genspark给出的报告有分段要点总结，但没有视频分段时间戳，但翻看记录得知Genspark虽获取了时间戳，但未在报告中展示，可能为了简化阅读体验，有所取舍。 3.Genspark能成功进入Youtuber的主页，获取了粉丝量、频道简介、视频数、播放量等基础信息。 byWill团队成员zwt 测试感受 aiwatch.ai｜9 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 回看了OAIAgent、PerpComet、Manus和Genspark在长视频总结任务的表现，有以下感受： 总体感受：Manus>Genspark>PerpComet>OAIAgent OAIAgent：OAIAgent在访问Youtube视频上处于比较劣势的地位，因为其他三家都可以直接访问到Youtube视频，只有它是通过第三方工具来进行访问Youtube视频而非直接访问，虽然说通过这种方式可以间接达成用户的要求，但是它完成任务的过程是不可见的，给我的感觉就是它给出的答案我并不信任，我需要去核对结果的真伪。 PerpComet：PerpComet在这方面的表现有种“人狠话不多”的感觉，给出的结果很清晰明了，并且耗时最短。但是它执行任务的过程不可见，让人有点不太敢完全相信。 Manus：Manus在这个赛道综合来看还是比较强的。Manus能直接访问Youtube视频获取到标题、数据（浏览量等）以及评论等信息，能够直接读取视频中的字幕，并且Manus的过程是非常透明的，你能看到它每一步在干什么，用户也可以去回溯，给足了用户信任感。 Genspark：Genspark在读取视频字幕这方面还是很强的，它能精确到2-3秒一个时间戳把字幕提取出来，所以这一点真的没 得说，不过它无法提取评论，这是它对标Manus的一个短板。 难度分级说明 aiwatch.ai｜10 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 我们用Claude做了难度分级，相关Prompt，难度评级分析表https://claude.ai/share/a71bf4c9-de89-4204-b3dc-590b96dd25c1 难度等级说明 1-2分：简单级-基础任务，单一工具，minimal专业知识 2-3分：中低级-需要一定理解和分析能力 3-4分：中高级-需要专业知识和多步骤思考 4-5分：专家级-需要深度专业知识和综合能力 关键难度因素 1.高难度驱动因素：大型输出要求（2万字）、高度专业领域知识、多维度分析 2.中等难度特征：实时信息搜索、内容理解和提取、多步骤任务 3.复杂度escalation：从简单信息检索到专业投资分析的跨度很大 特殊注释：*这个prompt虽然表面简单，但实际上AI无法直接执行购买操作，需要用户自行完成或使用专门的购物API工具。 Prompt难度评级分析表 aiwatch.ai｜11 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 难度评级分析表https://claude.ai/share/a71bf4c9-de89-4204-b3dc-590b96dd25c1 任务：总结视频链接 aiwatch.ai｜12 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 总结视频链接 任务：总结视频链接 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 aiwatch.ai｜13 Prompt： Providemewithadetailedsummaryandallthelinksmentionedinthisvideohttps://www.youtube.com/watch?v=R_plRtH2rnw 任务难度：低任务来源：链接任务难度：2.1 任务分析：涉及访问链接，提取信息和生成摘要 耗时&结果 任务：总结视频链接 aiwatch.ai｜14 目录|作者|测试感受|难度分级说明|总结视频链接|对视频提问|YT生成创意|YT账户分析 Prompt：Providemewithadetailedsummaryandallthelinksmentionedinthisvideohttps://www.youtube.com/watch?v=R_plRtH2rnw 产品 耗时(s) 人工评价 AI评价 AI分析 相关链接 OAIAgent 180 成功 成功 准确地概括了视频的操作流程，并成功提取了视频中提到的所有工具和网站链接，完整地回应了用户的双重指令。 对话链接 PerpComet 27 成功 成功 提供了带有时间戳的详细章节摘要，并列出了所有提到的链接。执行效果好，交付内容完整。 对话链接 Manus 240 成功 成功 不仅完成了摘要和链接提取的核心任务，还额外提供了视频基本信息、详细的时间分析和评论区内容，功能全面。 对话链接 Genspark 11 3 成功 成功 提供了详细的视频内容摘要和步骤流程，并成功提取了视频中提到的平台与工具链接，完整地满足了原始指令的要求。