大语言模型中的涌现现象是不是伪科学？_快资讯
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图片)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf上一篇：魔将108_关于魔将108简述
下一篇：最后一页
大语言模型中的涌现现象是不是伪科学？_快资讯
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
上海体育学院将更名上海体育大学
5月22日，教育部发展规划司公示了新一批拟同意设置本科高等学校名单，其中上海体育学院将更名为上海体育大
魔将108_关于魔将108简述
小伙伴们，你们好，今天小夏来聊聊一篇关于魔将108，关于魔将108简述的文章,网友们对这件事情都比较关注，
天天热点！石家庄发布12条人才新政 来石创业最高可获3000万元启动资金
中新网石家庄5月22日电(俱凝搏韩聚晓)22日，石家庄市政府新闻办召开《关于进一步加大人才引进力度助推现代
2023年河南省高招咨询大会6月25日启幕_当前快报
央广网郑州5月22日消息（记者彭华）5月21日，记者从河南省教育考试院获悉，2023年河南省普通高招现场及网上
宿州男科排名 男科医院
对于我们大家来说，正确认识到男科疾病，早点去医院进行治疗，不要等到疼痛时，才意识到疾病的危害，不然，
AcWing905.区间选点
题目详情“当地牧场收割以后，通过揉丝截断、压包牧草，真空保存，延长保存时间。通
世界快播：不堪入目！DAZN披露球迷辱骂小熊内容：在你死去的家人身上拉屎
今天凌晨，维尼修斯在皇马0-1不敌瓦伦西亚的比赛中遭遇对方球迷的种族歧视，DAZN今日披露了瓦伦球迷对球员
环球报道:加拿大和欧洲时差_欧洲时差
1、西欧旅游城市与中国时差英国-英格兰-伦敦*时差：-7个小时比利时-布鲁塞尔*时差：-6个小时荷兰-阿姆斯特丹*
“劳”以启智，“动”以润心，上海师大的劳动育人“亮”了！|快看
“劳”以启智，“动”以润心上海师大2023年“劳动育人宣传周”系列活动广泛开展劳动教育活动引导学生学...
富瑞：予银河娱乐(00027)“买入”评级 目标价60港元
富瑞发布研究报告称，予银河娱乐(00027)“买入”评级，目标价60港元。公司今年首季业绩与同行近期表现一...
32个中国最美古村落，余生慢慢走遍
小桥流水，石板巷陌微醺的岁月，醉人的暖风……有古镇情结的人，骨子里都有那么一丝丝浪漫因子，总想将...
环球速读：晋江市政府第27次常务会召开
晋江市政府第27次常务会召开
今年以来广东立案查处餐饮浪费案件341件-精彩看点
据广东省市场监督管理局消息，自3月部署开展制止餐饮浪费专项行动以来，广东省市场监管局聚焦餐饮浪费重点
投资123亿元 湖北现代煤化工项目进展
投资123亿元湖北现代煤化工项目进展,近日，中国化学工程第三建设有限公司承建的华鲁恒升（荆州）有限公司合
曝CBA国字号内线与老东家闹翻！索要顶薪遭拒，或被交易 快资讯
曝CBA国字号内线与老东家闹翻！索要顶薪遭拒，或被交易,内线,吴冠希,cba,江苏队
知乎正式上线“盐言故事”，历时三年领跑网文短篇赛道|全球观焦点
5月18日，知乎宣布旗下全新故事品牌“盐言故事”App正式上线。新品牌脱胎于知乎原故事业务，定位原生短...
2023年退休人员基本养老金上调3.8% 每日精选
明确从2023年1月1日起，为2022年底前已按规定办理退休手续，并按月领取基本养老金的企业和机关事业单位退休
马拉松，带动城市步入“新跑道”
原标题：马拉松，带动城市步入“新跑道”近期，北京密云和大兴、吉林长春、河北定州安国等多地全程和半...
瞬间就是一年，转眼就是一生（写得真好）-环球热消息
在生命里，不管有多少遗憾，多少酸痛，幸也好，不幸也好，都是过去，全是曾经，放下，就会轻松。于人生中，
当前要闻：《英雄时代》定档5月26日 辛柏青李光洁英雄本色 刘佩琦倪大红正邪对垒
《英雄时代》是由中国国家话剧院推出的线上演播品牌——CNT现场的首部作品。该剧由剧院青年导演白皓天执...
