大語言模型中的涌現現象是不是偽科學?|天天微資訊
Datawhale干貨
(相關資料圖)
作者:平凡@知乎,諾桑比亞大學,在讀博士
今天晚上,花了一點兒時間看了兩篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior,即涌現現象。
大規(guī)模神經網絡下的涌現現象在機器學習中使用大規(guī)模神經網絡時,由于增加了參數數量、訓練數據或訓練步驟等因素,出現了定性上的新能力和性質,這些能力和性質在小規(guī)模神經網絡中往往是不存在的。
第一篇文章舉了這個例子,每個圖都可以理解為一個任務,橫軸是神經網絡的規(guī)模,而縱軸是準確率,可以理解為模型的性能。
我們拿圖一來看,在10的22次方前,這些模型基本上的性能基本上都很穩(wěn)定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:
作者發(fā)現,當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時,網絡在某個時間突然獲得了 100% 準確率。分析發(fā)現,神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法!這個算法可以證明是正確的, 反人類直覺的。
從這倆例子里面我的感受是,只要數據量足夠且真實,且模型沒有硬錯誤的前提下,不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少,但是系統(tǒng)的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話,我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽:
相關閱讀
-
【楚天評】東湖評論:打造全域旅游,賦能高質量發(fā)展
【楚天評】東湖評論:打造全域旅游,賦能高質量發(fā)展---通過精彩的節(jié)目表演,展現了秭歸獨有的屈原文化、...
2023-04-11 -
哈爾濱醫(yī)科大學有哪些專業(yè)?哈爾濱醫(yī)科大學是幾本院校?
哈爾濱醫(yī)科大學有基礎醫(yī)學、臨床醫(yī)學、麻醉學、醫(yī)學影像學、兒科學、口腔醫(yī)學、預防醫(yī)學、藥學、臨床藥...
2023-04-11 -
服務外包專業(yè)就業(yè)方向是什么?什么是崗位外包?
服務外包專業(yè)就業(yè)方向是什么?1、就業(yè)方向與就業(yè)崗位面向國際服務外包接包業(yè)務員、國際服務外包項目管理...
2023-04-11 -
貴州醫(yī)科大學錄取分數線是多少?貴州醫(yī)科大學什么專業(yè)比較吃香?
2020年貴州醫(yī)科大學錄取分數線【全國】2020年貴州醫(yī)科大學貴州省錄取分數統(tǒng)計錄取批次 錄取專業(yè)理工(...
2023-04-11 -
2022清華大學錄取分數線是多少?清華大學最厲害的專業(yè)有哪些?
2022清華大學錄取分數線【全國】1、2022年清華大學分數線【統(tǒng)招批】北京不限組689分、物理組688分、物化...
2023-04-11 -
21+4+301記三分!庫里最佳搭檔,還要交易他嗎?夏天預定大合同
盡管本賽季常規(guī)賽勇士一路波折,但最終還是以西部第6的身份直通季后賽。對于勇士來說,這已經算是取得了...
2023-04-11 -
寧夏理工學院學費多少錢一年?寧夏理工學院是雙一流大學嗎?
寧夏理工學院學費:本科普通類專業(yè)19800元 年、體育教育專業(yè)19800元 年、藝術類專業(yè)22000元 年,???..
2023-04-11 -
iPhone 15 Pro敲定:手感大幅升級!
根據此前爆料的消息,iPhone15Pro將迎來大幅升級,近日外媒9to5mac曝光的iPhone15Pro的高清渲染圖進一步...
2023-04-11 -
世界快訊:瓜帥臨陣潑水減壓,主場迎戰(zhàn)拜仁應該火上澆油才符合心理學規(guī)律!
瓜帥臨陣潑水減壓,主場迎戰(zhàn)拜仁應該火上澆油才符合心理學規(guī)律吧!瓜帥賽前發(fā)布會,提到了喬丹在15年里...
2023-04-11 -
河南開封科技傳媒學院是幾本?河南開封科技傳媒學院王牌專業(yè)有哪些?
河南開封科技傳媒學院是幾本?首先,需要說明的是教育部門并沒有劃分河南開封科技傳媒學院是二本還是三本...
2023-04-11 -
名菜典故(中國名菜典故、你知道幾個?) 一起來看看吧|天天快消息
名吃典故(中國名吃典故,你知道幾個?)紅燒腸這道菜是清光緒初年濟南九華樓首創(chuàng)的。這棟樓烤的大腸是硬...
2023-04-11 -
怎么查看自己電腦的IP地址呢?電腦ip地址為什么老是變動?
電腦IP地址怎么看?怎么查看自己電腦的IP地址呢?電腦IP地址查看方法一:1、使用Windows+R打開運行窗口,...
2023-04-11 -
羽毛球團體賽規(guī)則(具體規(guī)定如下)
羽毛球團體比賽規(guī)則(羽毛球常規(guī)比賽規(guī)則)光明網03-1910:38又到了運動季,很多朋友會在休息的時候約上三...
2023-04-11 -
【時快訊】單車與跑車(山地自行車和賽車有什么區(qū)別)
用自行車跑車(山地車和賽車有什么區(qū)別)2021-06-1610:41百科你可能不信,法國人創(chuàng)造的超級自行車,完全是...
2023-04-11 -
【楚天評】東湖評論:打造全域旅游,賦能高質量發(fā)展
【楚天評】東湖評論:打造全域旅游,賦能高質量發(fā)展---通過精彩的節(jié)目表演,展現了秭歸獨有的屈原文化、...
2023-04-11 -
昆侖萬維2022年凈利潤11.5億 經營性凈利潤同比大增112% 環(huán)球新要聞
4月10日晚間,昆侖萬維(300418 SZ)披露2022年年度業(yè)績報告。2022年,公司實現營業(yè)收入47 4億元,實...
2023-04-11 -
鱷魚龜養(yǎng)殖技術(.鱷龜的生物學特性)
鱷龜養(yǎng)殖技術(如何養(yǎng)鱷龜)鱷龜又稱肉龜、美洲鱷魚、蛇鱷,原產于中美洲和北美洲。鱷魚有兩種,即大鱷魚...
2023-04-11 -
天天信息:劍網三哪個職業(yè)厲害(劍網3最強職業(yè)排行)
劍三經營了十一年多,是不折不扣的老游戲。即便如此,由于王劍三世有著深厚的古文化底蘊和豐富優(yōu)秀的扇...
2023-04-11 -
網線和WiFi哪個信號網速好?網線和wifi有什么區(qū)別?
網線wifi哪個信號好?網線和WiFi哪個信號、網速好?網線和WiFi對于上網來說,兩者使用感覺都差不多,因為...
2023-04-11 -
仙劍98地圖(仙劍奇?zhèn)b傳)一起來學習吧
仙劍圖98(仙劍奇?zhèn)b傳)試煉洞穴,仙劍奇?zhèn)b傳(DOS 98)系列地圖解析之九。序試洞的難點在于單層電路和多層...
2023-04-11 -
天天微速訊:ps3破解游戲(ps3完美破解教程) 一起來學習吧
Ps3破解游戲(ps3完美破解教程)最近買了一個2TB容量的移動硬盤,專門用來存儲游戲。因為我的PC硬盤不豐富...
2023-04-11
精彩推薦
閱讀排行
相關詞
- 沃爾沃XC90
- 偶爾運動不等于健身
- 報道:行道樹間距(行道樹間距的規(guī)范是幾米一顆) 綠化間距怎么算
- 網線連上后提示IP地址沖突怎么辦?電腦連網線顯示無internet什么原因?
- 每日快看:柴門文(愛情白皮書柴門文小說)
- 后海怎么走(到北京后海坐什么公交車)一起來看看吧
- 天天日報丨個人所得稅計算器2012(綜合所得年度計算器)
- 海洋女神(海上遇險電影都有哪些)不知道的看過來
- 成都九寨溝旅游攻略(九寨溝風景導游) 天天觀察
- 河南洛陽宋麗(被執(zhí)行人多久變成失信執(zhí)行人) 詳細情況介紹_焦點簡訊
- 蘋果電腦黑屏是什么原因?蘋果電腦黑屏按什么鍵恢復?
- 服務器間網絡通訊錯誤(服務器間網絡通訊錯誤怎么解決) 環(huán)球最新
- 熱消息:摔角動態(tài)AJ·斯泰爾斯欲戰(zhàn)塞納、奧頓和羅林斯
- 陳楚河女友(陳楚河蜜戀4年女友突然宣告單身 怎么一回事呢)
- 汽車之家報價準嗎(哪個汽車平臺報價最真實)
- 世界最資訊丨如何取一個好名字(這4個命名錯誤不能有)
- 氫氧化鋰溶解度(氫氧化鋰水溶性)知識科普 世界快播
- 王者榮耀遠古生物是什么意思 王者榮耀遠古生物刷新時間 觀點
- 為什么電腦用一會就自動關機?電腦主機只響無法啟動怎么辦?
- 我市今年安排近億元資金助力政務信息化建設
- 怎么看日食不傷眼睛 看日食不傷眼睛方法有哪些|速訊
- 【全球時快訊】螞蟻森林網購火車票能量是多少 相關內容為你介紹
- 電腦屏幕閃爍橫向條紋怎么辦?電腦屏幕閃屏是怎么回事?
- 信息:李米的猜想到底講什么 一起來學習吧
- 世界微資訊!哥斯達黎加簽證(哥斯達黎加護照移民條件)
- 武漢鸚鵡洲大橋晃動怎么回事 武漢鸚鵡洲大橋晃動原因簡述
- 電腦一開機就藍屏什么原因?電腦藍屏出現一堆英文怎么回事?
- 小人物的成長史(小人物的成長史筆趣閣) 資料介紹
- 環(huán)球新動態(tài):土豆韋伯(土豆韋伯彈跳)相關資料了解
- 環(huán)球通訊!清明節(jié)是每年的幾月幾日 相關內容了解
- 達斯 西迪厄斯(阿索卡)讓我們一起看看吧
- 電腦開機后藍屏怎么辦?電腦為什么一開機就卡死?
- 天天觀焦點:孔子觀于魯桓公之廟(原文及翻譯發(fā)布)
- 焦點簡訊:價值觀的導向作用(價值觀的導向作用是什么?)
- 美股熔斷機制觸發(fā)條件是什么 小編來告訴你
- 【時快訊】蜂房的功效與作用的功能與主治(假定有一排蜂房)
- 撲克牌大小王分別代表 撲克牌的歷史
- CAD怎么標注尺寸?cad怎么轉換為pdf?
- 當前熱門:暗黑3怎么刷裝備 暗黑三刷裝備教程
- 2022年人口自然增長率(各省人口自然增長率為負或是必然)
- 微信怎么加自己為好友 方法教給你 環(huán)球快看
- 小鳥游六花cv_小鳥游六花h本子
- 忘記MAC電腦開機密碼怎么辦?MAC電腦卡頓什么原因?
- 天天播報:銅官區(qū)“政企銀同心”沙龍活動舉行
- 如何不讓迅雷接管其他下載?迅雷怎么下種子鏈接?
- 環(huán)球熱議:qq怎么弄透明皮膚 幾個步驟教給你
- 天天觀天下!關于中超進一步降薪的事情國內球員或降至稅前500萬元
- 發(fā)掘特色打造長江國家文化公園(銅陵段)樣板
- 圖畫怎么修改照片大小?圖畫怎么掃描成電子版?
- 食品的保質期其實指的是 這里有明確解釋 焦點關注
- 黑衣服變紅原因 黑衣服變紅原因簡述-全球快訊
- 微信我愛你代碼是什么 小編來教你
- 最強大腦黃明睿個人資料 最強大腦黃中華個人資料
- 管仲與齊桓公的故事 管仲與齊桓公的故事簡述
- 再見上半年你好下半年的句子 上半年結束的說說句子
- dnf附魔任務怎么做 文章告訴你答案
- 仝卓承蒙厚愛后會有期什么意思 應屆生身份引發(fā)熱議-觀速訊
- 天天快訊:常先生是誰 國民黨軍統(tǒng)常先生是什么人
- 微頭條丨小米首款智能魚缸僅需449元 半年不用換水
- 環(huán)球即時看!顏值無敵!小龜王2023新款電摩1228元
- QQ PC 版 9.4.1 測試版更新了什么?macOS Big Sur 11.1Beta 2更新了什么?
- 電腦怎么截圖?ctrl加什么能隨意截圖?
- 電腦開機密碼忘記了如何開機?電腦開機密碼正確但老是提示錯誤怎么回事?
- win10電腦怎么連接公司內網?win10電腦怎么連接共享打印機?
- 曼聯俱樂部官方宣布C羅重返曼聯
- MAC怎么卸載軟件?mac怎么安裝windows系統(tǒng)?
- 怎么查看MAC地址?mac地址能隨便修改嗎?
- 如何看筆記本電腦配置?筆記本電腦配置低怎么提升?
- 摔角動態(tài)AJ談論羅曼·雷恩斯出戰(zhàn)摔角狂熱主戰(zhàn)賽
- 0xc000000f進不了系統(tǒng)怎么修復?0xc000000f錯誤代碼如何修復?
- 電腦關機快捷鍵是什么?windows11關機快捷鍵是什么?
- 電腦上的軟件怎么完全卸載?電腦上的軟件怎么發(fā)給別人安裝?
- 焦點關注:作為足壇新賽季開幕大戲的超級杯在時隔3年后粉墨登場
- 世界通訊!每一個人從事羽毛球運動的目的是不同的
- 騰訊會議怎么投屏到電視上?騰訊會議怎么關閉麥克風?
- 尤文圖斯在出售C羅之后希望引進皇馬的阿扎爾填補空白|微資訊
- 天天觀焦點:甘油三脂升高了,用“貝特”還是用“他汀”,可以合用嗎?
- 誰也走不掉,周琦的努力白費了,他拿到了一份長期合同 今日要聞
- 銀河微電:4月10日獲融資買入361.13萬元 全球熱門
- 黑七黑八概率有多大?東部太穩(wěn),掘金灰熊危險,湖人有望逆襲|當前觀點
- 焦點熱訊:貝勒斯批評詹姆斯在對陣爵士的比賽中加冕自己為國王
- 環(huán)球滾動:利雅得勝利綽號將改為皇馬二隊?C羅帶刀侍衛(wèi)水爺拉莫斯即將加盟
- 環(huán)球新消息丨天氣越來越涼,有高血壓的人,要注意根據血壓值調整降壓藥了
- C羅何時上演回歸曼聯后的首秀
- 撲克學校國外游戲平臺(撲克學校)|環(huán)球熱文
- 摔角動態(tài)貝拉姐妹曬孕照視頻 尼基再談到前未婚夫|天天即時
- 牢記在心!17個基本健身訓練術語
- C羅回到昔日效力過的曼聯
- 卡位iPad!曝三星將于今年推出首款可折疊平板電腦Galaxy Z Tab
- 老電腦升級首選 8G DDR3不到35元
- 摔角動態(tài)[觀影識人第17期]敢不敢來挑戰(zhàn)一下?猜猜這兩位選手分別是誰?
- 摔角動態(tài)惡鬼直言如今的自己全怪塞納 后者強勢回應
- 摔角動態(tài)神秘人雷爾 當毀容院長以墨摔風格回歸 必將驚艷全球 天天訊息
- 【天天熱聞】C羅結束了3年多的尤文之旅
- 滬上雙雄上海申花隊和上海上港隊將先后出戰(zhàn)2020賽季亞冠聯賽小組賽
- 全球快資訊:RTX4070有FE版!圖片流出
- 生態(tài)農場帶來高品質生活好前景_天天新消息
- 雙接口 ??低?28GU盤37.9元 焦點消息
- 焦點訊息:沒事用中藥進補?三種常見中藥,正悄悄傷肝!
- 反腐大結局!總局官宣重大決策,馬寧被抓懸念揭曉,賈秀全安全了|環(huán)球最新
- 世界今亮點!術中肝造影在結直腸癌肝轉移消失病灶治療中的應用
- JBL藍牙無線耳機179元
- 我能把你揍扁!中國男籃準歸化安德森被揍后放話,周琦自由身破滅
- 奧沙利文:“沒人有資格去諷刺亨德利,他是斯諾克界的最大英雄” 每日時訊
- 東契奇對無緣季后賽感到憤怒,首次插手球隊交易,計劃送走歐文|今日最新
- 意甲邊攻排行!朱婷效率高居第二!天才少女兩個第一,一個第二
- 筆記本數字鍵盤切換字母_筆記本數字鍵盤切換-天天資訊
- 摔角動態(tài)外媒爆料王大錘看似升職實為降權?
- 重點聚焦!來自中超的球隊上海申花將迎來本賽季亞冠的首場比賽
- 紫砂電飯鍋是真的還是假的(紫砂電飯鍋)
- 【天天快播報】C羅加盟曼聯帶來了巨大的轟動效應
- 全球關注:睡眠和護膚的最佳時間
- 看熱訊:搬家?guī)屧竭^越發(fā)是嗎(搬家我抱媽媽座后面)
- 每日消息!成長作文600字初中生敘事(成長故事作文600字)
- 當前關注:興業(yè)銀行發(fā)布《2022年年度可持續(xù)發(fā)展報告》
- 【當前獨家】FIFA官方宣布了2020卡塔爾世俱杯延期至2021年2月的公告
- 埃及男性二頭肌80厘米厚
- 摔角動態(tài)大秀哥確認接拍新電視劇 回歸擂臺時間恐后移
- 丈夫犧牲后的16年里,她一直在做一件事……
- 天天熱門:中老年熱衷的盤手串,成小學生新寵?小心!夏季氣溫升高手串易生蟲
- 每日熱聞!今日申花率先代表中超球隊出戰(zhàn)亞冠聯賽
- 關于直方圖以下說法正確的是什么A直方圖可以幫助了解(關于直方圖以下說法正確的是什么)-當前快報
- 法甲第4輪巴黎客場2比0擊敗蘭斯梅西替補完成巴黎首秀_每日熱訊
- 臺州百度人才網招聘信息(臺州百度人才網)-觀焦點
- 肯定的反義詞是什么詞語呢一年級下冊(肯定的反義詞是什么詞)|環(huán)球微資訊
- 七通一平與基礎設施建設的區(qū)別_七通一平 環(huán)球精選
- 全職獵人:西索那么強,卻喜歡考場虐菜,那是你不懂蘋果的味道 環(huán)球報道
- 【全球報資訊】山東男籃還是用自己人好,王晗、丁偉與球迷起沖突,高詩巖低迷!
- 今日辟謠(2023年4月10日)
- 郭言:美抗疫亂象凸顯社會治理失能
- MVP評選前三次數:哈登5次,科比5次,喬丹10次,詹姆斯多少次呢
- 美國前財長薩默斯:美國經濟衰退可能性上升|世界觀熱點
- 中超迎來6座專業(yè)足球場!上海雙雄主場在列,一座歷史悠久_熱訊
- 核心觀 | 巴西學者:中巴元首會晤將雙邊關系推向新高度 天天看熱訊
- 【世界說】漠視移民人權和生命!英媒:美邊境“監(jiān)視塔”增加造成移民死亡人數飆升
- 央視體育頻道將直播亞冠東亞區(qū)小組賽復賽之后的第一場比賽
- 世界熱消息:打牙跌嘴的意思和造句(打牙跌嘴)
- 尋找你正確的剃須方法
- 摔角動態(tài)2018《澳大利亞超級秀》勝率曝光 圣盾真的穩(wěn)了嗎? 世界快看點
- 亞冠H組第1輪硝煙四起將迎來一場強強對決|環(huán)球熱資訊
- 世界訊息:晶盛機電擬將美晶新材分拆上市,后者主要為光伏等行業(yè)提供配套石英制品
- 實控人配偶曾在保薦機構任職,股權清晰性備受拷問,裕鳶航空闖關創(chuàng)業(yè)板 要聞速遞
- 東湖評論:讓更多“師傅”成為“老師”_全球今日訊
- 東湖評論:“紙巾刺客”侵犯了消費者的知情權-熱點聚焦
- 世界觀速訊丨藝術包括什么(公共藝術包括什么)
- 每日看點!新征程·江淮行|蒙城:科技裝備硬支撐 奮楫現代強農路
- 走月亮的走是什么意思(走月亮是什么意思)
- 摔角動態(tài)斯泰爾斯被贊暖男 網友直呼同為選手 為啥差距這么大
- 2010世界杯冠軍(2014世界杯冠軍)
- 中超剛剛結束馬上迎來亞冠的比賽|環(huán)球時訊
- 貓的說明文500字(貓的說明文)