魚羊 發(fā)自 凹非寺量子位 | 公眾號 QbitAI
最強(qiáng)開源大模型Llama2，性能更進(jìn)一步~
(資料圖)
7B、13B、70B三個(gè)版本全都有，均可以直接調(diào)用部署。
你可能想不到的是，這波操作還是百度搞出來的。
最新消息，百度智能云千帆大模型平臺又雙叒升級了，這回還悄然變身國內(nèi)擁有最多大模型的平臺：
不僅能跑文心大模型，Llama2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等共33個(gè)大模型也已全面接入。
還都是經(jīng)過性能、安全雙重增強(qiáng)的那種——
通過優(yōu)化模型吞吐、降低模型尺寸，實(shí)測調(diào)優(yōu)后模型體積可壓縮至25%-50%，推理成本最多可降低50%。百度智能云還基于自身安全積累，完成了二次安全增強(qiáng)。
于是，一聽說千帆大模型平臺已經(jīng)開放申請測試，我們趕緊第一時(shí)間上手體驗(yàn)了一把。
有意思的是，我們親測發(fā)現(xiàn)，這波更新之后，用大模型的門檻還肉眼可見越來越低了。
大模型數(shù)量國內(nèi)第一，還是“千帆優(yōu)選”
如果你還沒搞清楚“千帆大模型平臺”究竟是什么，那么可以簡單這樣理解：
一個(gè)支持各種大模型開發(fā)部署的“煉丹爐”。
在千帆這個(gè)一站式大模型平臺上，企業(yè)用戶可以按照自身的需求，直接把大模型接入自家應(yīng)用，或者干脆重新訓(xùn)練、調(diào)優(yōu)出一個(gè)屬于自己的大模型。
正如前文所言，為了滿足企業(yè)對大模型多樣的需求，千帆大模型平臺除百度自研的文心大模型外，還支持Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33個(gè)大模型。
從后臺界面可以看出，從數(shù)據(jù)服務(wù)，到大模型訓(xùn)練，再到大模型的評估、測試、部署，千帆都提供了完整的開發(fā)和應(yīng)用工具鏈。
在“模型倉庫”中的預(yù)置模型中，可以找到文心大模型、BLOOMZ-7B和此番更新的全部第三方大模型，一鍵就能開始部署。
辣么問題來了，其中不少都是開源模型，在千帆上調(diào)用跟直接拿代碼用相比，有啥好處？
直白一點(diǎn)說，就是便宜、易用，“千帆優(yōu)選”。
首先，在諸多開源大模型中，并不是每一個(gè)都效果理想，有可商用協(xié)議。而對上線千帆平臺的第三方模型，百度都會事先完成測試驗(yàn)證，確保模型在效果、安全性、可商用三個(gè)方面的可靠性。
其次，百度會提前對第三方模型進(jìn)行性能增強(qiáng)。具體而言，是通過優(yōu)化模型吞吐、降低模型尺寸，實(shí)現(xiàn)模型推理速度的大幅提升。
根據(jù)百度的測算，調(diào)優(yōu)后模型體積可壓縮至25%-50%，推理成本最多可降低50%。
實(shí)際上，推理恰恰是大模型應(yīng)用階段的算力消耗大戶。量子位智庫認(rèn)為，隨著大模型訓(xùn)練階段完成，未來AI服務(wù)器的主要需求將向推理側(cè)轉(zhuǎn)移。IDC的預(yù)測則顯示，到2026年，AIGC的算力62.2%將作用于模型推理。
再者，調(diào)用開源模型很大的一個(gè)問題就是，在安全合規(guī)方面不能滿足國內(nèi)的需求。為此，千帆對第三方大模型做了二次安全增強(qiáng)，接入了百度多年來在安全上的積累。另外百度也保證，客戶在千帆上調(diào)用第三方模型，享有平臺的安全保障。
最后，如果有進(jìn)一步調(diào)優(yōu)大模型的需求，那么在千帆這樣的平臺上，各個(gè)環(huán)節(jié)都集成了低門檻工具，上手十分方便，包括數(shù)據(jù)的標(biāo)注、處理、回流，SFT（全量參數(shù)微調(diào)、P-tuning、LoRA）、RLHF等調(diào)優(yōu)方法，以及大模型的評估、壓縮、測試、部署等。
此前，百度智能云就曾在技術(shù)交流活動中現(xiàn)場上演10分鐘微調(diào)大模型。
不會提示工程也能上手大模型
值得一提的是，在此番更新之后，百度智能云還上線了Prompt模板庫，長這樣：
關(guān)注大模型的小伙伴們想來沒少聽說過“提示工程”這個(gè)詞。所謂提示（Prompt）工程，就是通過聊天提問的方式，來影響大模型輸出內(nèi)容的質(zhì)量。
也就是說，只要你的提問技巧夠高明，在不耗費(fèi)大量資源更新模型權(quán)重（微調(diào)）的情況下，也能讓大模型的回答質(zhì)量更上一層樓。
不過雖說是“聊天”，但針對大模型的提問，那絕對是項(xiàng)技術(shù)活兒。吳恩達(dá)老師就專門出過有關(guān)提示工程的課程。
而千帆平臺的這個(gè)Prompt模板功能，實(shí)際上就是幫你在不熟悉提示工程的情況下，也能快速玩轉(zhuǎn)大模型。
比如讓某開源大模型幫忙推薦菜譜。
如果只是告訴它：想吃辣。
生成的回答是這樣的：
沒什么毛病但有點(diǎn)簡略。這個(gè)時(shí)候就可以一鍵引用千帆模型庫里的“廚師”模板：
我想讓你充當(dāng)我的私人廚師。我將告訴你我的飲食偏好和過敏癥，你將建議我嘗試的食譜。你應(yīng)該只回復(fù)你推薦的菜譜，而不是其他。不要寫解釋。想吃辣。
就能得到一份更為詳細(xì)的建議：
目前，千帆共預(yù)置了103款Prompt模板，覆蓋對話、編程、電商、醫(yī)療、游戲、翻譯、演講等十余個(gè)場景。
看來，很多問題不是大模型不會，是我問的不對。
待你“參透”這些咒語的通用規(guī)律，比如設(shè)定角色、細(xì)化要求，還可以在千帆上自制模板，方便測試效果和復(fù)用。
千帆大模型平臺研發(fā)團(tuán)隊(duì)認(rèn)為，很多企業(yè)使用大模型時(shí)，覺得效果不好是模型本身的問題。但其實(shí)很多情況下，企業(yè)無需花費(fèi)大量資源調(diào)優(yōu)大模型，基于模板優(yōu)化Prompt，即可得到滿意的模型效果。
工程師們還向我們透露，根據(jù)調(diào)研，隨著大模型能力的逐漸增強(qiáng)，越來越多的中小企業(yè)逐漸由監(jiān)督微調(diào)改為直接調(diào)用大模型。因此如何通過優(yōu)化跟大模型對話的方式，讓大模型輸出更好的內(nèi)容，其實(shí)正是大模型落地探索過程中的一大痛點(diǎn)。
千帆上線海量Prompt模板，實(shí)際上就降低了企業(yè)應(yīng)用大模型的門檻。
大模型應(yīng)用門檻正在降低
不難看出，千帆這波大更新，主打的就是一個(gè)簡單易用。
事實(shí)上，當(dāng)大模型走過最初的技術(shù)狂熱，真正來到探索應(yīng)用的階段，不僅是大模型正在激發(fā)全新的應(yīng)用創(chuàng)新，越來越多傳統(tǒng)行業(yè)也在積極融入大模型生態(tài)。
而在這個(gè)過程中，無論是前者還是后者，對于降低大模型的使用門檻，都有著迫切的需求。
千帆工程師也表示，從百度自身的實(shí)踐上來看，大模型最終要達(dá)到好的應(yīng)用效果，除了基礎(chǔ)模型本身的能力之外，更重要的是要“找到場景”。而只有降低門檻，才能讓更多專業(yè)的人把精力聚焦到對場景的理解和場景的應(yīng)用之上。
千帆大模型平臺，如今正是在這一方向上持續(xù)打樣。
這一方面是因?yàn)榘俣仍诖蛟煳男拇竽Ｐ偷倪^程中，對大模型技術(shù)本身有更深入的理解。
另一方面，在3月份率先發(fā)布國產(chǎn)大語言模型之后，百度是國內(nèi)“目前接觸用戶/開發(fā)者最多的大語言模型廠商”，手握國內(nèi)最豐富的大模型客戶測試經(jīng)驗(yàn)，對于行業(yè)當(dāng)下所面臨的痛點(diǎn)，有著更明確的認(rèn)識。
甚至可以說，在國內(nèi)的一眾大模型廠商中，百度無疑擁有從數(shù)據(jù)，到算力，到算法再到實(shí)踐經(jīng)驗(yàn)的最全大模型生成資料。
如今，百度不僅局限于自己打造大模型，還正在把越來越多第三方大模型做進(jìn)基礎(chǔ)設(shè)施，并不斷降低基礎(chǔ)設(shè)施的使用門檻。
在搜索時(shí)代的“百度一下”，或許也將在大模型時(shí)代，通過千帆賦予新的意義——
現(xiàn)在接觸大模型，最直接的方式還是：百度一下。
