·揭秘这与世隔绝的“女巫集中营” ·神州霾伏,中国还不能忽略的三个人 ·远离那些只抢红包不发红包的人
·英国木匠发明“水上行走器”上演奇迹“水上漂” ·范冰冰挚友雌雄难辨比明星还抢镜 ·说康熙与乾隆两帝死于“雾霾”靠谱吗?
·种香死人馅饼做法简单易学哦 ·宋代“娱乐圈”生态:女艺人收入高 ·战机侧颜也很美:中美俄五代机同角度比较
发新帖  新投票  回帖  关闭侧栏
217322个阅读者,14条回复 | 打印 | 订阅 | 收藏
隐身或者不在线 大蟀锅
发帖692|玫瑰598
花生: 620
金币: 0
等级:老虾级

发表时间:2024-7-19 09:22

分不清9.11和9.9大小,暴露大模型逻辑推理能力短板



大蟀锅 发表在 辣眼时评 华声论坛 https://bbs.voc.com.cn/forum-76-1.html

  
  一道小学数学题,成功难倒了超过一半的大模型。近日,据第一财经报道,经测试,在“9.11和9.9两个数字哪个更大”这个基础的数学题上,国内外12个大模型之中只有4个答对了,剩下8个全都回答错误。在答错者中,还包括了知名的ChatGPT-4o。



  数学相关的逻辑推理能力一直是当下大模型的短板。但一道小学生级别的数学题,却成了各家标榜成为“生产力升级”的大模型面前的绊脚石,这在公众舆论之中引发了不小争议。究其原因,是近期公众对于“大模型无所不能”的传统认知与大模型当下仍处在测试探索期的现实之间产生了冲突。



  实际上种种迹象显示,大模型当前在纯数学问题上的真实能力应该就处在小学水平的区间。2023年底,OpenAI(美国人工智能研究公司)内部曾被曝光有一个代码为Q的“绝密大项目”,该项目正是致力于解决大模型在数学运算能力上的问题。



  这一项目被曝光后在行业内引发了激烈争论。马斯克曾公开表示,“该项目对人类造成了威胁”。但经媒体报道,这样一个“威胁人类”的项目,其真实的纯数学逻辑运算能力只是小学生水平。



  今年高考期间,有媒体同样用高考数学题“考验”了大模型,参与测试的7个大模型在高考数学上全部“不及格”,最高分也只有75分。



  综合上述大模型真实的数学能力来看,这并不能理解为大模型有了高考数学75分的水平。更为准确的理解是,大模型是一个“不怎么懂数学运算、但懂得大量搜索文字资料分析”的主体,而75分是其可以通过资料搜集比对分析所能取得的最好成绩。



  从这个角度看,外界认为大模型是“文科生”似乎也不算是一种偏见。当前用户可以感知到的大模型,是基于海量文本的相关性进行训练分析,从而达到文本生成的人类平均水平。



  但是,除了文本的分析和生成之外,人类对信息的搜集分析处理中最重要的是推理能力,包括了逻辑推理、认知推理等。



  数学运算是典型的逻辑推理能力。即根据前提条件给出符合逻辑或潜在逻辑关系的结论,而数学运算是用精确的语言和符号进行纯逻辑的推演,因此,如此理解的话,更能直观地感受到大模型的逻辑推理能力。



  逻辑推理被认为是当前大模型最难攻克的一道关卡。而除了逻辑推理之外,对有限的碎片信息进行不断重组、搜寻以找到信息全貌等,类似于传统侦探推理小说所呈现的“碎片信息拼凑分析”,也在大模型当前的能力范围之外。



  逻辑推理对于大模型的未来发展为什么重要?从应用场景上看,推理能力意味着可靠性和适配性的问题。



  目前,大模型所展现的应用场景主要局限在资料分析、内容生成等领域,而在涉及数字分析、逻辑推演等行业领域,大模型的想象空间依然有限。很难想象,一个难以判断小数点后数字大小的大模型,能够在工业生产制造、金融计算等领域有广泛应用前景。



  因此,国内外的大模型企业已经开始有意识地探索“如何训练大模型在特定条件下的推理能力”。此前所提及的OpenAI的内部项目,这几天也传出了新消息,该项目旨在提高大模型的“自主浏览和深度研究”能力,目前已经确认更名为“草莓”,并在行业内引发了进一步的讨论。



  从消费者的角度看,如果希望大模型能够在数理分析、逻辑推理等领域成为有效助手,或许还有赖于大模型在推理训练上的下一阶段突破。但或许更值得思考的问题是:当大模型掌握了推理能力,那么,距离进一步攻破人类的思维活动或许就真的不远了。一些人对此有所担忧,人类真的做好准备了吗?

  

隐身或者不在线 lsl2004
发帖88|玫瑰36
花生: 28
金币: 14
等级:新手上路

笑死,人工智能分不清小数点后的数字大小,看来还很初级

隐身或者不在线 上扬45度
发帖38|玫瑰39
花生: 27
金币: 14
等级:新手上路

也是服了

隐身或者不在线 shepherd52
发帖60|玫瑰36
花生: 27
金币: 14
等级:新手上路

人工智能也是分强弱的

隐身或者不在线 山顶洞交警
发帖169|玫瑰36
花生: 28
金币: 14
等级:小虾客

9.11比9.9,转不过来;9.11比9.90,这样是不是就清晰一点

隐身或者不在线 千千之手
发帖95|玫瑰36
花生: 28
金币: 14
等级:新手上路

挺离谱的

隐身或者不在线 llx680712
发帖364|玫瑰36
花生: 30
金币: 10
等级:大虾辈

所以这些大模型都是同根同源?

隐身或者不在线 vanciue
发帖14|玫瑰36
花生: 28
金币: 14
等级:新手上路

也就是要像小学初中生一样,大量刷题

隐身或者不在线 xuyao1982
发帖9|玫瑰36
花生: 27
金币: 14
等级:新手上路

人都搞不清楚

隐身或者不在线 耶加雪菲
发帖566|玫瑰233
花生: 345
金币: 7
等级:大虾辈

不是这都搞不清楚的是不是没上过小学啊

隐身或者不在线 让雅克米歇尔
发帖1506|玫瑰89
花生: 98
金币: 14
等级:英雄

说明都是抄袭,一错全错

隐身或者不在线 无虹雨
发帖27|玫瑰36
花生: 27
金币: 44
等级:新手上路

别说AI,很多人也分不清

隐身或者不在线 蚂蚁胖子
发帖16|玫瑰36
花生: 28
金币: 14
等级:新手上路

这是训练模型,本身就是不断完善的

隐身或者不在线 耿浚枫
发帖217|玫瑰36
花生: 29
金币: 14
等级:小虾客

钉钉上的AI助理完败

隐身或者不在线 sdslmwg
发帖9531|玫瑰60
花生: 317
金币: 20
等级:掌门元老

什么都不是万能的!技术在先进也是有漏洞的

发新帖 新投票
 回帖
查看积分策略说明快速回复主题
你的用户名: 密码:   免费注册(只要30秒)


使用个人签名

清除文本格式
撤销
重做
粗体
斜体
下划线
字体
大小

居左
居中
居右
左浮动
右浮动
排序的列表
未排序列表
减少缩进
增加缩进
插入邮箱链接
插入图片
插入引用
插入代码
flash
ra
rm
wma
wmv
fly
at
请选择表情分类:显示表情
(请您文明上网理性发言!并遵守相关规定贴文发布前,请确认贴文内容完全由您个人创作或您得到了版权所有者的授权。版权声明
   

回顶部

[时政军事] [精彩贴图] [影音帝国] [轻松休闲] [旅 游 区] [38℃生活] [华声文苑] [华声版务] 新手上路 投诉&建议
************************ 特色版面推荐:************************
辣眼时评 军事贴图 军事杂谈 战史风云 特效绝美 网友自拍 摄友摄色 影视时空 音乐地带 FLASH帝国 娱乐八卦
千奇百怪 哈哈笑话 灌水专区 驴友自助 情感酒廊 长沙网 湖南论坛区

Processed in 0.030770 s, 9 q - sitemap,