首頁 > 技術(shù) > 正文

聊天機器人ChatGPT能力波動：質(zhì)數(shù)識別準確率下降

2023-09-08 08:04:14來源：中關(guān)村在線  


(資料圖)

斯坦福大學(xué)的一項新研究發(fā)現(xiàn)，熱門生成式人工智能（AI）聊天機器人ChatGPT的能力在幾個月內(nèi)有所波動。研究人員評估了ChatGPT在幾個月內(nèi)如何處理不同的任務(wù)，發(fā)現(xiàn)ChatGPT的能力隨時間推移而出現(xiàn)不一致。目前，ChatGPT有兩個版本，免費的GPT-3.5模型和更智能、更快速的付費GPT-4版本。研究人員發(fā)現(xiàn)，GPT-4在3月份能夠有效地解決數(shù)學(xué)問題，識別質(zhì)數(shù)的準確率為97.6%。但三個月后，其準確率下降到了2.4%。而另一方面，GPT-3.5卻變得更好，從7.4%的準確率提高到了86.8%。研究人員還注意到，在編寫代碼和視覺推理方面也有類似的波動。斯坦福大學(xué)計算機科學(xué)教授James Zou表示：“當我們調(diào)整一個大型語言模型來提高它在某些任務(wù)上的表現(xiàn)時，那可能會有很多意想不到的后果，可能會損害這個模型在其他任務(wù)上的表現(xiàn)……這個模型回答問題的方式有各種各樣的相互依賴性，這可能導(dǎo)致我們觀察到的一些惡化行為?！毖芯咳藛T認為，結(jié)果并不能真正反映ChatGPT性能的準確性狀態(tài)，而是顯示了微調(diào)模型帶來的意外后果。本質(zhì)上，當修改模型的一部分來改善一個任務(wù)時，其他任務(wù)可能會受到影響。為什么會這樣很難確定，因為沒有人知道ChatGPT是如何運作的，而且它的代碼也不是開源的。隨著時間的推移，研究人員注意到，ChatGPT的回答不僅變得不太準確，而且還停止了解釋其推理過程。由于ChatGPT的運作方式，要研究和衡量其表現(xiàn)可能很困難。這項研究強調(diào)了觀察和評估驅(qū)動ChatGPT等工具的大型語言模型（LLM）性能變化的必要性。該研究已經(jīng)在arXiv上發(fā)布，并正在等待同行評審。

標簽：

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀