OpenAI Agent测试报告.pdf

6月我预测,Browerser和通用Agent,必有一战,但我还是没想到,Agent大战到来比想象的还要早的多!
从2023年Agent概念兴起,沉寂了一年多,到2024年末ComputerUse,2025年Claude模型能力的持卖提高,再到产品的井喷涌现,Perplexity,OpenA纷纷下场,新赛道的出现已经成为必然究竞鹿死谁手?乾坤未定,你我皆是黑马.
总体来看,目前Agent已经能做到很多事情!
敲下这段文字,已经是硅谷的凌晨7点,我还足很兴奋,从2014年进入互联网行业,听了很多的故事,到有机会在硅谷亲眼见证经历这一切,有机会和从业者们分享,我感到很幸运
我知道这个报告会出现在各家大小公司的投屏上,借此机会打破第四面墙,向各位一线工作者们,开发们,产品们,运营们,产品极客们,自媒体们,VC们,致敬!You know,you know,
这个结果,仅仅是今天的结果不代表明天,明天创始人就会更新,我们可能也会持续测试。所以别拿这个报告当个事,就是个讨论看板而已.
欢迎到推特和公众号留言,我们会持续收集Prompt,目前已经将Prompt看板开源(到Notion:https://three-recorder-52a.notion.site/234fc520994e806db6b1da924e7f67dd)
电脑端Agent需要选按钮,可以提升性能。这次时间有限,并未对应选择,全部是默认。这个交互Genspark作了引导,但OpenA和Manus引导不是很明显Al浏览器不需要选择。
像sheets这类case,prompt其实没说清楚要多少数据,agent会先做一些任务看是否满足你的要求

猫猫头使用感受:
1.给全部5款产品测试了4个prompt,prompt等级均为Level3
2.OpenAl的Agent功能只在网页版更新了,如何开启Agent功能没有任何提示,像是在跟用户玩找彩蛋。已经是Pro用户了,也只能抱着试试看的心态自愿上缴200刀开盲盒,看看有没有可能开启agent功能。某种程度上,算是隔绝了大批非死忠粉用户,保护服务器别崩,非常鸡贼。Perplexity上线comet时,也采取了同样的trick。区别在于,Comet本身是一个独立的电脑端软件,虽然也很贵(5199),但胜在明码标价、童叟无欺。
3.OpenAl:交付非常失望,等待时间过长,同时无去track进展,让人有火没处发。唯一的优点是,等待时的UI很好看,不过着实脱裤子放屁
4.Fellou:没有幻觉足绝对的优势;同时有订餐厅这样的任务是真能执行,很棒。但是,不能全托管,需要手动补齐信息,陷入死循环还在耗credit策划案出来之后,还得手动run.单一任务执行成本其高,堪比manus(btw,执行过程中,我的mac电脑风扇第一次开了;and没有分享功能)
5.Genspark:个别任务执行幻觉程度跟comet差不多,但价格只有comet的1/10(还要什么自行车)。GENSPARK,我的天神!(但是,交付结果直接上云,无法直接下载,需要好几个跳转,贼啦麻烦excel导出是cvs恪式,ppt除非直接是pdf下载,download为pptx格式时经常出现乱码。虽然昨天的AI Slide上新了更多edit功能,但UX体验还不够丝滑
6.Manus:视频读取能力比genspark差,cedit贵
7.Comet:绝杀!七步之内,枪又快又准。别家任务还在reasoning的时候,Perplexity已经交付了。(测试以外的日常:我愿称为“学生写作业的神”:从读homework要求,到执行,再到文件下载、回传,只需要1分钟。老师对assignment的交付评分50/50,同比Fellou的交付只有48.5/50)1.订餐等任务支持:OpenAl Agent能帮助我完成一些实际的任务,比如订餐、预定等,虽然需要手动填写手机号码等信息,但操作还是相对简单。
2.速度还可以:处理任务的速度总体上还可以,虽然比不上某些即时的工具,但完成任务的效率相对稳定。
3.多任务处理:可以同时处理多个任务并通过多窗口提高效率,这样可以节省不少时间,特别是同时处理简单任务时。Fellou给我的感受是:
1.处理速度较慢:相比OpenAl Agent,Fellou处理任务的速度要慢一些,特别是复杂任务时,会明显感觉到慢。
2.卡住死循环:当任务比较复杂时,Fellou有时会在某些环节卡住,进入死循环,任务无法继续进行。
3.消耗较多Credit:复杂任务的消耗非常大,1000-2000个Credit可能就不够,做一个复杂任务比较烧钱
4.赠送5000 Credit:好在注册后会赠送5000个Credit,可以暂时抵消一些费用,这在一定程度上缓解了压力。
5.购物与餐厅预定非常有用:Fellou能够协助购物等任务,表现不错,实际应用中确实能带来便利

本文来自知之小站

 

PDF完整报告已分享至知识星球,微信扫码加入立享4万+最新精选报告

(星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com)