Datawhale干货
(资料图片)
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf
2.https://arxiv.org/pdf/2301.05217.pdf
标签：
上一篇 : “五一”房山行丨时尚商圈行，邀您开启休闲购物之旅
下一篇 : 最后一页
最新推荐
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
这个“五一”假期，房山区精心准备了4大类、40余项丰富的文旅活动，努力为广大市民朋友“小长假”的出游...
“五一”假期来啦！旅游、探亲需求加速释放4月28日节前最后一个工作日就传来了“车票售罄”、“门票约满...
00:28五一长假首日，上海外滩再现“人从众”。4月29日晚上，外滩滨水区瞬时峰值达到4 5万人，累计总客流42 5万人
OpenAI估值已达290亿美元：新一轮融资宣告完成,因为ChatGPT的发布，OpenAI成为了目前最炙手可热的创业公司
安全用电手抄报，安全用电这个很多人还不知道,现在让我们一起来看看吧！1、安全用电”是指在采取必要的...
4月29日，“五一”长假第一天，龙江大地游人如织。黑龙江省首届自驾登山节暨千车万人驾游黑龙江大型自驾...
近日，天津地铁上一女孩突然晕倒正当同车厢的乘客惊慌错愕之际一个身影站起来疾步走上前去4月24日早晨8时许
原标题：港珠澳大桥车辆通行创单日新高新华社广州4月29日电（记者王浩明）珠海边检总站港珠澳大桥边检站发
1、选矿回收率指选矿产品(一般为精矿)中某一有用成分的质量与入选原矿中同一有用成分质量的百分比：ε=γ×
1、不是，只是都姓胡。2、胡兵的哥哥是胡东。本文到此分享完毕，希望对大家有所帮助。
【来源：长江日报-长江网】“吃饭了没？没吃的话等一下，给你炒碗盖浇饭。”李勇（左）将盖饭送到张祖睿...
1、宋补记（？-1953年6月），男，山西省原平人。2、生前为野战兵团班长，1953年6月在朝鲜牺牲。本文到此分
教主夫人本来只是习惯性的跟在这个男人身边，并不是真的蠢到当了电灯泡还不知道，尤其是对于自家男人的了解
4月29日，由商务部、中央广播电视总台、上海市人民政府共同举办的2023国际消费季暨第四届上海“五五购物节
基耶利尼：“米兰德比将是一场平衡的半决赛，但如果我必须选择，我会说是国际米兰。我认为蓝黑军团有优...
去年归母净利润同比增长超94%，国联股份将把更多业务重心放到实体工厂,工厂,国联股份,公司股东
经济学家管清友：二季度中国经济将呈现较高增长,中国,管清友,宋志平,高通胀,低通胀,经济学家
01:49央视网消息：民宿平台数据显示，“五一”期间乡村民宿预订量占比近四成。其中，乡村原生态的一些体...
股价坐上过山车，被称为光伏0-1的颠覆性技术的钙钛矿在产业端有何痛点，产业化究竟走到哪一步了值得探讨。
封面新闻记者赖芳杰“现在高校的老师都这么宠学生吗？”“好可爱的老师，比台上的还要嗨！”近日，一位...
1、实证分析简言之就是分析经济问题“是什么”的研究方法 。2、侧重研究经济体系如何运行,分析经济活动...
坐落于中原农谷核心区平原示范区内的神农种业实验室，聚焦于世界种业科技前沿，是河南省政府批准建设的首批
1、哗众取宠huázhòngqǔchǒng释义以迎合众人的言语行动来博取他人的注意。2、汉书˙卷三十˙艺文志：
为全面保障延吉市“网红打卡地”路段基础设施规范有序，4月24日至28日，延吉市住建局成立4个工作小组，...
由北京市网球运动协会指导的北京“温菲尔德”青少年网球级别联赛将于2023年5月21日在中网名人网球俱乐部...
4月29日，北京，清华大学西操场，参加接力长跑活动的校友们在跑步中。当日，是五一小长假的第一天，也是清
SignatureBank数字资产前负责人JosephSeibert和他的Signet支付团队的四名成员加入了FortressTrust，这是一家总部位于
所谓学长自称有门路实为布下招聘诈骗陷阱（副题）新民晚报记者郭剑烽预留名额，面试包过，所谓学长的“...
中国日报4月29日电（记者庄乾阁）“2023首届家政博览会”于4月28至30日在北京展览馆举办。本次博览会以...
1、我是多年乳糜尿患者，在这个淮阴吴鞠通中医研究院住院治疗了一个多月，让天天睡。2、不让吃一点油，天天
4月26日，广汽本田推出全新外观和丰富配置的新飞度，新车售价8 68万-10 88万元，本次改款的新飞度沿袭海外F
琳琅满目的美食、粤韵悠悠的粤剧、百年传承的太平清醮、激情澎湃的国际七人橄榄球赛……4月28日，由香港...
1、《神魔养殖场》是2011年首发于起点中文网的进化变异类型的网络小说，现已完结，作者是黑瞳王。2、小说主
1、指挥观察所是指指挥员指挥作战、观察战场情况的机构和场所。本文到此分享完毕，希望对大家有所帮助。
1、在游戏论坛里有高手，不妨去看看一下其他的游戏，可以去登陆下载其他版本简单好玩的游戏。2、正版分享激
1、将虾滑放入锅中熬煮三分钟左右即可。2、虾滑是一种口感很爽脆的美食，它是把虾肉经过多次摔打后制成的，
航天动力（SH600343，收盘价：9 69元）4月28日晚间发布公告称，截至本公告披露日，公司提供担保总额为2 35
直播吧4月28日讯中国足协官方今日宣布，津门虎球员杨帆在第二轮比赛中对对手实施暴力行为，对其停赛4场罚款
1、1 减肥瘦身功效：枸杞、菊花泡水喝，可以促进体内脂肪的分解代谢，降低血脂，减少体内脂肪的堆积，从而
02:02五一假期去哪儿玩？自驾游吗？道路千万条，安全第一条。自驾游的话请记住九字警句：车靠边、人撤离、
近日，南方电网控股的三家上市公司南网能源（003035 SZ）、南网储能（600995 SH）、南网科技（688248 SH）
新华全媒+|科技成果“上新”产业价值“落地”——从第二届科交会看高质量发展新气象4月26日至28日，第二...
1、因为文彦在海边救了品如，然后在医院的日子无意中听到文彦再也没有高珊珊这个人了，然后品如报名参加彩
德国Q1季调后GDP环比持平不及预期衰退担忧重燃,联邦,欧元区,IMF,德国政府
图片来源：度哥1948年，一个爱折腾的英国年轻人柯林·查普曼将一辆旧的奥斯汀7改造成了一辆赛车，并将其
红网时刻张家界4月28日讯（通讯员龚素禾熊恩琴）4月28日，学生在湖南张家界国家森林公园研学旅行。今年以来
4月28日上午，中老铁路（广元—万象）国际班列首发仪式在广元南站货场举行，这也是四川广元首次开行中老...
信用卡17000逾期怎么办?1、向银行表达还款意愿信用卡逾期还不上时，千万不能不管不顾。首先要与银行取得
电梯行业市场投资情况如何?受房地产市场增长带动，家用电梯行业发展迅速，目前，我国已经成为世界最大的新
成都抗疫的外籍志愿者：愿为城市“康复”贡献力量
大行评级|瑞信：上调中国平安目标价至71港元评级跑赢大市_环球今亮点
dacoml05蓝牙耳机说明书 dacom蓝牙耳机说明书|今日聚焦
快看：“2023年海智论坛”海外人才创新创业项目路演在长春新区举行
光启技术：公司在积极探索更多的超材料应用领域 为未来拓展业务领域提前准备
光启技术：营业收入首次突破十亿元，业绩连续五年创历史新高_今日关注
海泰新能：4月27日融资买入12.33万元，融资融券余额198.8万元
热资讯！打造长三角地区国际版乡村振兴样板！航头田园综合体项目签约
全球焦点！静态体验探险者昆仑巅峰版，福特要破局豪华硬派越野市场？
广州规范中小学校园开放日：严禁面试、评测、接收简历…… 全球热消息
【当前热闻】同享科技2023年第一季度净利2117.54万同比增长110.95% 综合毛利率有所增长
派特尔2023年第一季度营收4130.81万 净利518.49万 观察
南京公用2023年第一季度营收13.66亿 处置杭州朗宁股权确认收益
百事通！超越科技：汽车拆解项目已经开始正式运营，锂电池回收项目正在积极建设中
受降雨影响 湘西南、湘东、湘南部分区域发生突发性地质灾害风险较高 今日要闻
律师：代理球员胜诉北京国安，15日内等待支付全额欠薪 世界微动态
微资讯！荣旗科技：可以做到更快更准确的分析图像中出现的尺寸误差与缺陷，检测准确率最高可达99.95%
Copyright © 2015-2032 华西律师网版权所有 备案号：京ICP备2022016840号-35 联系邮箱： 920 891 263@qq.com
