NVIDIA 助力 DeepRec 為 vivo 推薦業(yè)務(wù)實現(xiàn)高性能 GPU 推理優(yōu)化
簡介
本案例中,vivo 人工智能推薦算法組自研的推薦服務(wù)平臺,使用阿里巴巴開源大規(guī)模稀疏模型訓(xùn)練和預(yù)測引擎 DeepRec,在稀疏模型訓(xùn)練(稀疏功能、I/O優(yōu)化)和高性能推理框架層面,實現(xiàn)其搜廣推各類業(yè)務(wù)場景下,算法開發(fā)和上線的全鏈路優(yōu)化。
【資料圖】
其中,在 GPU 線上推理服務(wù)優(yōu)化上,vivo 使用 DeepRec 提供的 Device Placement Optimization,以及 NVIDIA CUDA multi-stream,MPS (Multi-Process Service) / Multi-context 和 NVIDIA GPU 計算專家團隊在multi-stream 基礎(chǔ)上開發(fā)的 MergeStream 功能,顯著提升了線上推理服務(wù)的 GPU 有效利用率。
客戶簡介及應(yīng)用背景
vivo 人工智能推薦算法組的業(yè)務(wù)包含了信息流、視頻、音樂、廣告等搜索/廣告/推薦各類業(yè)務(wù),基本涵蓋了搜廣推各類型的業(yè)務(wù)。
為了支撐上述場景的算法開發(fā)上線,vivo 自研了集特征數(shù)據(jù)、模型開發(fā)、模型推理等流程于一體的推薦服務(wù)平臺。通過成熟、規(guī)范的推薦組件及服務(wù),該平臺為 vivo 內(nèi)各推薦業(yè)務(wù)(廣告、信息流等)提供一站式的推薦解決方案,便于業(yè)務(wù)快速構(gòu)建推薦服務(wù)及算法策略高效迭代。
圖片來源于 vivo
vivo人工智能推薦算法組在深耕業(yè)務(wù)同時,在積極探索適用于搜索/廣告/推薦大規(guī)模性稀疏性算法訓(xùn)練框架。分別探索了TensorNet/XDL/TFRA等框架及組件,這些框架組件在分布式、稀疏性功能上做了擴展,能夠彌補 TensorFlow 在搜索/廣告/推薦大規(guī)模性稀疏性場景不足,但是在通用性、易用性以及功能特點上,這些框架存在各種不足。
作為 DeepRec 最早的一批社區(qū)用戶,vivo 在 DeepRec 還是內(nèi)部項目時,就與 DeepRec 開發(fā)者保持密切的合作。經(jīng)過一年積累與打磨,vivo 見證了 DeepRec 從內(nèi)部項目到開源再到后續(xù)多個 release 版本的發(fā)布。在合作中,DeepRec 賦能 vivo 各個業(yè)務(wù)增長,vivo 也作為 DeepRec 深度用戶,將業(yè)務(wù)中的需求以及使用中的問題積極回饋到 DeepRec 開源社區(qū)。
DeepRec (https://github.com/alibaba/DeepRec) 是阿里巴巴集團提供的針對搜索、推薦、廣告場景模型的訓(xùn)練/預(yù)測引擎,在分布式、圖優(yōu)化、算子、Runtime 等方面對稀疏模型進行了深度性能優(yōu)化,提供了豐富的高維稀疏特征功能的支持。基于 DeepRec 進行模型迭代不僅能帶來更好的業(yè)務(wù)效果,同時在Training/Inference 性能有明顯的性能提升。
圖片來源于阿里巴巴
通過業(yè)務(wù)實踐,在稀疏模型訓(xùn)練層面,vivo 使用 DeepRec 提供的基于 Embedding Variable (官方文檔鏈接) 的動態(tài) Embedding 功能和特征準(zhǔn)入 (官方文檔鏈接)/淘汰功能(官方文檔鏈接),解決了使用 TensorFlow 原生 Embedding Layer 的三個痛點,包括可拓展性差,hash 沖突導(dǎo)致模型訓(xùn)練有損,無法處理冗余的稀疏特征;并在內(nèi)部嘗試對訓(xùn)練數(shù)據(jù)存儲格式做 I/O 優(yōu)化。
圖片來源于阿里巴巴
使用動態(tài) Embedding 和特征準(zhǔn)入/淘汰功能實現(xiàn)的收益如下:
1.靜態(tài) Embedding 升級到動態(tài) Embedding:使用 DeepRec 的動態(tài) Embedding 替換 TensorFlow 的靜態(tài) Embedding 后,保證所有特征 Embedding 無沖突,離線 AUC 提升 0.5%,線上點擊率提升 1.2%,同時模型體積縮小 20%。
2. ID 特征的利用:在使用 TensorFlow 時,vivo 嘗試過對 ID 特征進行 hash 處理輸入模型,實驗表明這種操作對比基線具有負收益。這是由于 ID 特征過于稀疏,同時 ID 具有唯一指示性,hash 處理會帶來大量的 Embedding 沖突?;趧討B(tài) Embedding,使用 ID 特征離線 AUC 提升0.4%,線上點擊率提升 0.6%。同時配合 global step 特征淘汰,離線 AUC 提升 0.1%,線上點擊率提升 0.5%。
Embedding Variable 流程示意圖,圖片來源于阿里巴巴
在 I/O 優(yōu)化上,目前 vivo 內(nèi)部使用的是 TFRecord 數(shù)據(jù)格式存儲訓(xùn)練數(shù)據(jù),存在占用存儲空間大,非明文存儲的兩個缺陷。而 DeepRec 的 Parquet 是一種列式存儲的數(shù)據(jù)格式,能夠節(jié)省存儲資源,加快數(shù)據(jù)讀取速度。使用 Parquet Dataset 支持讀取 Parquet 文件,開箱即用,無需額外安裝第三庫,使用簡單方便。同時,Parquet Dataset 能夠加快數(shù)據(jù)讀取速度,提高模型訓(xùn)練的 I/O 性能。
vivo 內(nèi)部嘗試使用 Parquet Dataset 來替換現(xiàn)有 TFRecord,提高訓(xùn)練速度 30%,減少樣本存儲成本 38%,降低帶寬成本。同時,vivo 內(nèi)部支持 hive 查詢 Parquet 文件,算法工程師能夠高效快捷地分析樣本數(shù)據(jù)。
在高性能推理框架層面,由于在業(yè)務(wù)逐漸發(fā)展過程中,廣告召回量增長 3.5 倍,同時目標(biāo)預(yù)估數(shù)增加兩倍,推理計算復(fù)雜度增加,超時率超過 5%,嚴(yán)重影響線上服務(wù)可用性以及業(yè)務(wù)指標(biāo)。因此,vivo 嘗試探索升級改造現(xiàn)有推理服務(wù),保證業(yè)務(wù)可持續(xù)發(fā)展。vivo 借助 DeepRec 開源的諸多推理優(yōu)化功能,在CPU 推理改造以及 GPU 推理升級方面進行探索,并取得一定收益。
客戶挑戰(zhàn)
在 CPU 推理優(yōu)化層面,vivo 在使用 DeepRec 提供的基于 ShareNothing 架構(gòu)的 SessionGroup 后,明顯緩解了直接使用 TensorFlow 的 C++ 接口調(diào)用 Session::Run 而導(dǎo)致的 CPU 使用率低的問題,在保證 latency 的前提下極大提高了 QPS,單機 QPS 提升高達 80%,單機 CPU 利用率提升 75%。
但是經(jīng)過 SessionGroup 的優(yōu)化,雖然 CPU 推理性能得到改善,超時率依舊無法得到緩解。鑒于多目標(biāo)模型目標(biāo)塔數(shù)較多、模型中使用 Attention、LayerNorm、GateNet 等復(fù)雜結(jié)構(gòu)、特征多,存在大量稀疏特征三點原因,vivo 嘗試探索 GPU 推理來優(yōu)化線上性能。
應(yīng)用方案
Device Placement Optimization
通常,對于稀疏特征的處理一般是將其 Embedding 化,由于模型中存在大量的稀疏特征,因此 vivo 的廣告模型使用大量的 Embedding 算子。從推理的 timeline 可以看出,Embedding 算子分散在 timeline 的各個階段,導(dǎo)致大量的 GPU kernel launch 以及數(shù)據(jù)拷貝,因此圖計算非常耗時。
圖片來源于阿里巴巴
Device Placement Optimization 完全將 Embedding Layer placed 到 CPU 上,解決了Embedding layer 內(nèi)部存在的 CPU 和 GPU 之間大量數(shù)據(jù)拷貝的問題。
圖片來源于阿里巴巴
Device Placement Optimization性能優(yōu)化明顯,CPU 算子(主要是Embedding Layer)的計算集中在 timeline 的最開端,之后 GPU 主要負責(zé)網(wǎng)絡(luò)層的計算。相較于 CPU 推理,Device Placement Optimization P99 降低 35%。
NVIDIA CUDA Multi-Stream 功能
在推理過程中,vivo 發(fā)現(xiàn)單流執(zhí)行導(dǎo)致 GPU 的利用率不高,無法充分挖掘 GPU 算力。DeepRec 支持用戶使用 multi-stream 功能,多 stream 并發(fā)計算,提升 GPU 利用率。多線程并發(fā) launch kernel 時,存在較大的鎖開銷,極大影響了 kernel launch 的效率,這里的鎖與 CUDA Driver 中 的Context 相關(guān)。因此可以通過使用 MPS/Multi-context 來避免 launch 過程中鎖開銷,從而進一步提升 GPU 的有效利用率。
圖片來源于阿里巴巴
此外,模型中存在大量的 H2D 以及 D2H 的數(shù)據(jù)拷貝,在原生代碼中,計算 stream 和拷貝 stream 是獨立的,這會導(dǎo)致 stream 之間存在大量同步開銷,同時對于在 Recv 算子之后的計算算子,必須等到MemCopy 完成之后才能被 launch 執(zhí)行,MemCopy 和 launch 難以 overlap 執(zhí)行。基于以上問題,NVIDIA GPU 計算專家團隊在 multi-stream 功能基礎(chǔ)上進一步優(yōu)化,開發(fā)了 MergeStream 功能,允許 MemCopy 和計算使用相同的 stream,從而減少上述的同步開銷以及允許 Recv 之后計算算子 launch 開銷被 overlap。
圖片來源于阿里巴巴
vivo 在線上推理服務(wù)中使用了 multi-stream 功能,P99 降低 18%。更進一步地,在使用 MergeStream 功能后,P99 降低 11%。
編譯優(yōu)化-BladeDISC
BladeDISC(https://github.com/alibaba/BladeDISC)是阿里集團自主研發(fā)的、原生支持存在動態(tài)尺寸模型的深度學(xué)習(xí)編譯器。DeepRec中 集成了 BladeDISC,通過使用 BladeDISC 內(nèi)置的 aStitch 大尺度算子融合技術(shù)對于存在較多訪存密集型算子的模型有顯著的效果。利用 BladeDISC 對模型進行編譯優(yōu)化,推理性能得到大幅度提升。
BladeDISC 將大量訪存密集型算子編譯成一個大的融合算子,可以大大減少框架調(diào)度和 kernel launch的開銷。區(qū)別于其他深度學(xué)習(xí)編譯器的是,BladeDISC 還會通過優(yōu)化 GPU 不同層次存儲(特別是 SharedMemory)的使用來提升了訪存操作和 Op 間數(shù)據(jù)交換的性能。圖中可以看到,綠色是 Blade DISC優(yōu)化合并的算子替代了原圖中大量的算子。
圖片來源于阿里巴巴
圖片來源于阿里巴巴
另外,由于線上模型比較復(fù)雜,為了進一步減少編譯耗時、提升部署效率,vivo 啟用了 BladeDISC 的編譯緩存功能。開啟此功能時,BladeDISC 僅會在新舊版本模型的 Graph 結(jié)構(gòu)發(fā)生改變時觸發(fā)編譯,如果新舊模型僅有權(quán)重變更則復(fù)用之前的編譯結(jié)果。經(jīng)過驗證,編譯緩存在保證正確性的同時,幾乎掩蓋了編譯模型的開銷,模型更新速度與之前幾乎相同。在使用 BladeDISC 功能后,線上服務(wù) P99 降低 21%。
使用效果及影響
DeepRec 提供大量的解決方案可以幫助用戶快速實施 GPU 推理。經(jīng)過一系列優(yōu)化,相較于 CPU 推理,GPU 推理 P99 降低 50%,GPU 利用率平均在 60% 以上。此外,線上一張 NVIDIA T4 Tensor Core GPU 的推理性能超過兩臺 Xeon 6330 112Core 的 CPU 機器,節(jié)省了大量的機器資源。
基于 CPU 的分布式異步訓(xùn)練存在兩個問題:一是異步訓(xùn)練會損失訓(xùn)練精度,模型難以收斂到最佳;二是隨著模型結(jié)構(gòu)逐漸復(fù)雜,訓(xùn)練性能會急劇下降。未來,vivo 打算嘗試基于 GPU 的同步訓(xùn)練來加速復(fù)雜模型訓(xùn)練。DeepRec 支持兩種 GPU 同步框架:NVIDIA Merlin Sparse Operation Kit (SOK) 和HybridBackend。后續(xù) vivo 將嘗試這兩種 GPU 同步訓(xùn)練來加速模型訓(xùn)練。
NVIDIA 計算專家團隊也與 DeepRec 技術(shù)團隊深入合作,為在稀疏功能層面的 Embedding Variable GPU 支持、在同步訓(xùn)練層面的 Merlin SOK 集成,以及圖優(yōu)化層面的 Embedding 子圖 Fusion 功能開發(fā)提供技術(shù)支持。
Embedding Variable GPU 支持介紹(官方文檔鏈接)
DeepRec 設(shè)計并提供了一套支持動態(tài) Embedding 語義的 Embedding Variable,在特征無損訓(xùn)練的同時以最經(jīng)濟的方式使用內(nèi)存資源,使得超大規(guī)模特征的模型更容易增量上線。進一步地,因為 GPU 具有強大的并行計算能力,對于 Embedding Variable 底層的 Hash Table 查找、插入等操作也具有明顯的加速作用。同時,對于模型計算部分若使用 GPU,則使用 GPU 上的 Embedding Variable 也可避免 Host 和Device 上的數(shù)據(jù)拷貝,提高整體性能。因此增加了 Embedding Variable 的 GPU 支持。
GPU 版本的 Embedding Variable 通過 NVIDIA cuCollection 作為底層 Hash Table 的實現(xiàn),可以明顯加速 Embedding 相關(guān)的操作,而且使用方便,在具有 NVIDIA GPU 的環(huán)境中會自動啟用,也可以手動放置在合適的 GPU 設(shè)備上。性能測試顯示 GPU 版本相比于 CPU 版本,Embedding 部分會有 2倍 以上的加速。
分布式訓(xùn)練集成 Merlin SOK介紹(官方文檔鏈接)
DeepMerlin SOK 是 NVIDIA Merlin 團隊基于 Merlin SOK 提供的針對神經(jīng)網(wǎng)絡(luò)中稀疏操作的加速插件庫,使用 DeepMerlin SOK 可對 DeepRec 中相關(guān)的 Embedding 操作進行加速和分布式訓(xùn)練的支持。
該 SOK 的設(shè)計理念就是希望同時兼容靈活性和高性能。在靈活性方面,使用 SOK 不會對用戶使用 DeepRec 本身的功能有影響,可以和 DeepRec 提供的 Embedding Variable 完全兼容,也會集成到 DeepRec 的高級接口方便用戶的使用。在高性能方面,SOK 主要從兩方面去考慮,一方面,在算法設(shè)計上,通過 reduce 操作來減少搬運的數(shù)據(jù)量,另一方面,在實現(xiàn)上,主要通過算子融合技術(shù),融合多表的查詢和通信,提供稀疏操作的性能。性能測試顯示 SOK 能夠提供接近于線性的擴展能力,在 8 GPU 下相比 1 GPU 能夠達到 6.5 倍的加速效果。
Embedding 子圖 Fusion功能介紹(官方文檔鏈接)
DeepRec 及 TensorFlow 原生的 embedding lookup 相關(guān) API,如 safe_embedding_lookup_sparse,會創(chuàng)建比較多細碎的算子,且部分算子只有 CPU 實現(xiàn)。因此在 GPU 上執(zhí)行時容易出現(xiàn) kernel launch bound 的問題以及額外H2D & D2H 拷貝,造成低 GPU 利用率,降低執(zhí)行速度。
針對此場景,NVIDIA 計算專家團隊與 DeepRec 合作,共同定制開發(fā)了支持在 NVIDIA GPU 上執(zhí)行的 Embedding 子圖 Fusion 功能,并對 GPU 高算力高吞吐的特點進行了針對性優(yōu)化:提供一組接口以及相關(guān) Fusion 算子,通過算子融合,減少需要 launch 的 kernel 數(shù)量,優(yōu)化訪存,提供高性能的實現(xiàn),達到加速執(zhí)行的目的。
Embedding Fusion 功能易用,從 Python 層面提供接口及開關(guān),用戶無需修改代碼即可快速使用。加速效果方面,單獨從 Embedding 模塊看,GPU Embedding Fusion 可以提供 2 倍左右的加速。從整體模型來看,加速效果取決于 Embedding 模塊的耗時占比。在幾個測試模型上,此功能可以提供 1.2 倍左右的整體性能加速。
標(biāo)簽: 新聞資訊
相關(guān)閱讀
-
NVIDIA 助力 DeepRec 為 vivo 推薦業(yè)務(wù)實現(xiàn)高性能 GPU 推理優(yōu)化
簡介本案例中,vivo人工智能推薦算法組自研的推薦服務(wù)平臺,使用阿里巴巴開源大規(guī)模稀疏模型訓(xùn)練和預(yù)測...
2023-01-17 -
信通院大會“云治理”成新焦點:阿里云、暢捷通、作業(yè)幫樹新標(biāo)桿
2023年1月6日-7日,由中國信息通信研究院(以下簡稱:中國信通院)主辦的2022GOLF+IT新治理領(lǐng)導(dǎo)力論壇成功召...
2023-01-17 -
焦點信息:天津兩會代表歷軍:樹立天津信創(chuàng)產(chǎn)業(yè)城市品牌
從1月11日開始,天津市進入了“兩會”時間。天津《政府工作報告》顯示,五年來,12條重點產(chǎn)業(yè)鏈帶動作用持...
2023-01-17 -
【全球快播報】暴雪網(wǎng)易徹底談崩,暴雪將于 1 月 23 日中止國服游戲服務(wù)
2023年1月17日消息,今天中午暴雪中國官方發(fā)布公告表示,遵照網(wǎng)之易停服公告于1月23日中止國服游戲服務(wù)...
2023-01-17 -
【聚看點】福利延續(xù)!購七彩虹顯卡及整機送穿越火線限定禮包
《穿越火線》憑借爽快的節(jié)奏及刺激的玩法火爆至今,擁有無數(shù)的玩家,為了讓更多的CF玩家擁有獲得限定禮...
2023-01-17 -
當(dāng)前熱文:定金立減500元 攀升暴風(fēng)龍P3輕薄本預(yù)售
輕薄本是辦公領(lǐng)域的標(biāo)配產(chǎn)品,攀升在今年推出了暴風(fēng)龍P3這款全新輕薄本,不僅擁有小巧身材,還采用了12...
2023-01-17 -
焦點信息:天津兩會代表歷軍:樹立天津信創(chuàng)產(chǎn)業(yè)城市品牌
從1月11日開始,天津市進入了“兩會”時間。天津《政府工作報告》顯示,五年來,12條重點產(chǎn)業(yè)鏈帶動作用持...
2023-01-17 -
【全球快播報】暴雪網(wǎng)易徹底談崩,暴雪將于 1 月 23 日中止國服游戲服務(wù)
2023年1月17日消息,今天中午暴雪中國官方發(fā)布公告表示,遵照網(wǎng)之易停服公告于1月23日中止國服游戲服務(wù)...
2023-01-17 -
世界經(jīng)濟論壇調(diào)查:82%首席經(jīng)濟學(xué)家預(yù)測美國經(jīng)濟會疲軟
世界經(jīng)濟論壇2023年年會16日在瑞士東部小鎮(zhèn)達沃斯拉開帷幕海外網(wǎng)1月
2023-01-17 -
【聚看點】福利延續(xù)!購七彩虹顯卡及整機送穿越火線限定禮包
《穿越火線》憑借爽快的節(jié)奏及刺激的玩法火爆至今,擁有無數(shù)的玩家,為了讓更多的CF玩家擁有獲得限定禮...
2023-01-17 -
信通院大會“云治理”成新焦點:阿里云、暢捷通、作業(yè)幫樹新標(biāo)桿
2023年1月6日-7日,由中國信息通信研究院(以下簡稱:中國信通院)主辦的2022GOLF+IT新治理領(lǐng)導(dǎo)力論壇成功召...
2023-01-17 -
NVIDIA 助力 DeepRec 為 vivo 推薦業(yè)務(wù)實現(xiàn)高性能 GPU 推理優(yōu)化
簡介本案例中,vivo人工智能推薦算法組自研的推薦服務(wù)平臺,使用阿里巴巴開源大規(guī)模稀疏模型訓(xùn)練和預(yù)測...
2023-01-17 -
成習(xí)酒借殼對象?四連板泰永長征澄清:傳聞不屬實
財經(jīng)網(wǎng)資本市場訊1月17日,泰永長征盤中一度緊封漲停。截至收盤,報15 85元 股,換手率6 65%,成交額...
2023-01-17 -
摔角動態(tài)繼《自殺小隊》之后 約翰·塞納再接新片 這次還是主演
摔角網(wǎng)訊,自從約翰·塞納(JohnCena)進入影視界之后,他的片約就從未間斷過,在2019年里,他參與了《速...
2023-01-17 -
【環(huán)球速看料】公積金貸款后余額還能取出來嗎提取金額有什么限制
辦理住房公積金貸款后,住房公積金余額是可以提取的,不過需要符合相應(yīng)的提取條件,通常住房公積金貸款...
2023-01-17 -
當(dāng)前觀點:雙河彝族鄉(xiāng)“三舉措”保障群眾歡度春節(jié)
春節(jié)前夕,為給廣大人民群眾營造一個和諧穩(wěn)定的節(jié)日環(huán)境,保障群眾開開心心、平平安安過好年,雙河彝族...
2023-01-17 -
【全球獨家】國家級旅游休閑街區(qū)名單公示,云南2個入選
1月16日,文化和旅游部發(fā)布文件,公示國家級旅游休閑街區(qū)名單,云南省昆明市石林彝族自治縣中國石林雙龍...
2023-01-17 -
當(dāng)前快訊:好學(xué)生壞學(xué)生小品(好學(xué)生壞學(xué)生)
1、等級總是把人分成3,6,9等。成績不能決定一個人的好壞,因為人各有志。誰說考上大學(xué)的就一定能報國...
2023-01-17 -
【天天新要聞】2020年的中超冬窗將在今天關(guān)閉
記者蔡宗霖報道2020年的中超冬窗,將在今天關(guān)閉,對于“只出不進”的廣州隊,主帥卡納瓦羅也清楚,無法...
2023-01-17 -
籃球后衛(wèi)需要的基本能力
籃球后衛(wèi)需要的基本能力控球后衛(wèi)籃球基本功一1、視野:作為一個控球后衛(wèi),職責(zé)就是組織球隊進行進攻,使球...
2023-01-17 -
當(dāng)前熱文:定金立減500元 攀升暴風(fēng)龍P3輕薄本預(yù)售
輕薄本是辦公領(lǐng)域的標(biāo)配產(chǎn)品,攀升在今年推出了暴風(fēng)龍P3這款全新輕薄本,不僅擁有小巧身材,還采用了12...
2023-01-17 -
環(huán)球速看:360圖書館閱覽室(360個人圖書館推廣引流技巧)
360圖書館閱覽室(360個人圖書館推廣引流技巧)如果你經(jīng)常在網(wǎng)上搜索各類知識的話,你會發(fā)現(xiàn)360圖書館的...
2023-01-17 -
全球即時:最美的青春的演員(這兩人選擇從一而終,讓人感動)
最美的青春的演員(這兩人選擇從一而終,讓人感動)由郭靖宇監(jiān)制,巨興茂執(zhí)導(dǎo),劉智揚、何雨虹、趙恒煊...
2023-01-17 -
宣統(tǒng)帝(宣統(tǒng)帝溥儀:末代帝王和戰(zhàn)爭罪犯)
宣統(tǒng)帝(宣統(tǒng)帝溥儀:末代帝王和戰(zhàn)爭罪犯)(醇親王府)光緒三十二年,正月。天寒地凍,滴水成冰。搖搖...
2023-01-17 -
錦衣衛(wèi)指揮使(簡說明朝10大錦衣衛(wèi)指揮使 毛驤)
錦衣衛(wèi)指揮使(簡說明朝10大錦衣衛(wèi)指揮使)1、毛驤毛驤的父親毛騏是朱元璋建立明朝的功臣之一,曾經(jīng)與李...
2023-01-17 -
世界實時:2022年度云南12315為消費者挽回經(jīng)濟損失1.4億元
2022年云南全省12315共受理投訴、舉報、咨詢467171件。其中,投訴151112件,舉報53184件,咨詢262875件...
2023-01-17 -
當(dāng)前聚焦:round函數(shù)是什么意思(函數(shù)round的用法)函數(shù)舉例
round函數(shù)是什么意思(函數(shù)round的用法)在實際的應(yīng)用中,關(guān)系到數(shù)值取舍的時候,經(jīng)常會遇到四舍五入、...
2023-01-17 -
天天快報!未解之謎的中國神秘事件(三大未解之謎)孟照國神秘接觸事件
未解之謎的中國神秘事件(三大未解之謎)一、孟照國神秘接觸事件1994年5月末,正當(dāng)所有人都在期待“蘇梅...
2023-01-17 -
環(huán)球訊息:陳果 復(fù)旦大學(xué)(復(fù)旦大學(xué)陳果處理結(jié)果)事件經(jīng)過梳理
陳果復(fù)旦大學(xué)(復(fù)旦大學(xué)陳果處理結(jié)果)王爾德說:“我們都在陰溝里,但依然有人仰望星空”。經(jīng)過三年的...
2023-01-17 -
云南師范大學(xué)實驗中學(xué)盤龍校區(qū)正式簽約 預(yù)計2023年全面招生
為大力提升盤龍區(qū)教育教學(xué)質(zhì)量,打造高質(zhì)量基礎(chǔ)教育,共同推動盤龍教育改革發(fā)展,盤龍區(qū)人民政府與云南...
2023-01-17 -
【環(huán)球新視野】曰本海嘯(2016年日本海嘯)山崩地裂的智利大地震
曰本海嘯(2016年日本海嘯)進入20世紀(jì)以后,隨著科學(xué)的進步,人類對地震的監(jiān)測能力有了非常大的進步,...
2023-01-17 -
每日快看:雙磷酸鹽(抗骨質(zhì)疏松,雙磷酸鹽類藥物使用注意事項)胃腸道不良反應(yīng)
雙磷酸鹽(抗骨質(zhì)疏松,雙磷酸鹽類藥物使用注意事項)胃腸道不良反應(yīng)一過性“流感樣”癥狀腎臟毒性下頜...
2023-01-17 -
對數(shù)坐標(biāo)(你應(yīng)該知道的對數(shù)坐標(biāo)的使用規(guī)則)需要的進來看看
對數(shù)坐標(biāo)(你應(yīng)該知道的對數(shù)坐標(biāo)的使用規(guī)則)打開任意一款軟件,大家首先看到的無非就是k線量macd、這是...
2023-01-17 -
衛(wèi)星軌道(衛(wèi)星軌道的5種分類方式)什么是靜止軌道氣象衛(wèi)星?
衛(wèi)星軌道(衛(wèi)星軌道的5種分類方式)6月3日,風(fēng)云四號B星成功發(fā)射。此次B星的成功發(fā)射使我國風(fēng)云四號A星...
2023-01-17 -
快訊:矩陣行列式(淺析數(shù)學(xué)中的行列式與矩陣)一起來看看吧
矩陣行列式(淺析數(shù)學(xué)中的行列式與矩陣)引言線性代數(shù)(高等代數(shù))是進入大學(xué)之后學(xué)習(xí)代數(shù)的起點,和數(shù)學(xué)...
2023-01-17 -
資訊:人大代表希望建立生命博物館 做好臨終關(guān)懷
在今年江蘇兩會上,江蘇省人大代表、南京市江寧區(qū)善暉社會工作服務(wù)中心健康管理師高潔說起一段往事,不...
2023-01-17 -
天天速訊:傅首爾還原事件(傅首爾和董婧事件誰贏了)具體什么情況
傅首爾還原事件(傅首爾和董婧事件誰贏了)原創(chuàng)璃茉兒lucky2021-05-1923:54:37傅首爾在節(jié)目中說到她當(dāng)時...
2023-01-17 -
全球簡訊:許晴黑歷史(揭秘許晴身陷包養(yǎng)門驚人內(nèi)幕)到底怎么回事
許晴黑歷史(揭秘許晴身陷包養(yǎng)門驚人內(nèi)幕)近日,許晴接受了《人物》雜志專訪,其中她提到了那段與王雪...
2023-01-17 -
全球觀熱點:美贊臣一段奶粉哪種好(美贊臣1段奶粉哪款好)你會懂得挑選了嗎
自己作為一個營養(yǎng)研發(fā)人員,就給各位值友分享一下我當(dāng)初基于科學(xué)、營養(yǎng)和安全的思維去挑選嬰幼兒1段奶粉...
2023-01-17
精彩推薦
閱讀排行
相關(guān)詞
- 沃爾沃XC90
- 環(huán)球熱消息:王大治董潔(董潔現(xiàn)狀)董潔與潘粵明的關(guān)系
- 當(dāng)前滾動:周知黑歷史(周覓腦殘事件簿)
- 當(dāng)前最新:哪個睫毛膏的牌子好用(哪個牌子睫毛膏好用)一起來看看吧
- 上籃拉桿的技巧與注意事項
- 世界快訊:楊冪劉愷威分手 離婚原因曝光
- 最好用的雙卡雙待手機(小米雙卡雙待手機)
- 每日熱議!摔角動態(tài)兩位名人堂成員首談毒蛇蘭迪加盟的傳聞
- 全球快播:7個個子不高的女明星,你知道都有誰嗎(鞠婧祎資料介紹)
- 【當(dāng)前熱聞】什么牌子睫毛膏好用排行榜(什么牌子睫毛膏好用)產(chǎn)品測評介紹
- 孤島驚魂6最低配置要求(孤島驚魂2最低配置要求)
- 熱點!萬居隆空氣能熱泵怎么樣(空氣源熱泵怎樣)都有哪些優(yōu)點?
- 保護環(huán)境的宣言,你知道哪些(我的環(huán)保宣言)覺得不錯的快收藏
- 【當(dāng)前獨家】農(nóng)諺大全及物候知識
- 天天資訊:手機接通了聽不到聲音(手機聽不到對方聲音)原因分析
- 全球資訊:TVB小生馬浚偉才是“時間管理大師”!相關(guān)資料介紹
- 環(huán)球微速訊:季羨林懷念母親的文章(季羨林懷念母親)
- 焦點速讀:5.1勞動節(jié)祝福語大全(51節(jié)祝福短信)
- 世界播報:什么奶粉適合青少年喝(學(xué)生奶粉哪種最好:雀巢學(xué)生奶粉)
- 世界滾動:大一新生攜帶物品清單(上大學(xué)必備物品)大學(xué)生快碼住
- 全球熱資訊!2021年千足金999多少錢一克(千足黃金多少錢一克)
- 熱消息:2022掃五福敬業(yè)福攻略(2022五福敬業(yè)福攻略)趕緊滿足
- 環(huán)球信息:音響有電流聲怎么辦(如何消除音箱電流聲)方法教給你
- 兩會走筆 | 拼經(jīng)濟 出實招 見行動
- 焦點日報:田云鵬當(dāng)選安徽省高級人民法院院長、陳武當(dāng)選安徽省人民檢察院檢察長
- 環(huán)球看熱訊:d(163及com)
- 世界熱門:常賴床增加糖尿病心臟病風(fēng)險
- 喜訊!永州火車站春運期間再添6列始發(fā)城際列車
- 環(huán)球快消息!縣林草局組織開展2023年森林草原火災(zāi)應(yīng)急演練
- 每日速遞:如果跑步的目的不同那對于跑步訓(xùn)練的要求也就不一樣了
- 實時:6支解散球隊里最讓人關(guān)注的那就是新科中超冠軍江蘇蘇寧
- 熱點!摔角動態(tài)節(jié)目現(xiàn)重大安排 這次選手們誰都別想放假
- 當(dāng)前速讀:吳井街道社區(qū)衛(wèi)生服務(wù)中心全力保障新冠患者診療救治
- 世界微頭條丨描寫有關(guān)蛇的詞語和句子(優(yōu)選284句)
- 熱評|跨境交流回歸常態(tài) 通關(guān)順的背后是防控政策的優(yōu)化
- 天天熱資訊!生活中的語文(作文)
- 熱資訊!張偉麗失去UFC女子草量級世界金腰帶
- 主題演講比賽興起 永州黨辦系統(tǒng)學(xué)習(xí)宣傳貫徹黨的二十大精神熱潮
- 世界看點:幕春的意思(幕春)
- 全球最資訊丨荷蘭朵奶粉怎么樣(荷蘭朵奶粉)
- 新賽季中超采取分銷模式多家電視臺及流媒體平臺將轉(zhuǎn)播
- 【天天快播報】“支付第一股”拉卡拉斥資1755萬元,擬收購簡鏈科技剩余七成股權(quán)
- 天天快看:【楚天評】東湖評論:播撒愛國主義種子,助力特校兒童向陽成長
- 天天快播:【地評線】東湖評論:在堅守奉獻中綻放生命之花
- 資訊推薦:立足特色資源,謀求差異發(fā)展,吉林——冰雪經(jīng)濟熱 各地齊發(fā)力(新春走基層·一線調(diào)研)
- 【焦點熱聞】永州:持續(xù)興起學(xué)習(xí)宣傳貫徹 黨的二十大精神熱潮
- 摔角動態(tài)瘋?cè)嗽洪L至今都還同圣盾成員有聯(lián)絡(luò) 不過只限一人
- 世界觀點:嚴(yán)格完成這3個訓(xùn)練關(guān)鍵點才能在沖線時創(chuàng)造記錄
- 今日熱門!完美的熱身運動可以幫助自己更好的進入運動狀態(tài)
- 環(huán)球熱訊:北京國安俱樂部在豐臺體育中心舉辦了新賽季前的新援見面會和公開訓(xùn)練課
- 焦點短訊!速度和耐力都不差為什么比賽就不行呢
- 環(huán)球熱文:晉寧消防提示!這樣燃放煙花才安全
- 世界熱點評!藍環(huán)章魚屬于劇毒生物之一
- 黑鯊游戲手機就此墜落?黑鯊科技裁員比例達 80%
- 天天視點!新聞1+1丨春節(jié)旅游 熱起來!
- 強信心、擴需求、定任務(wù) 地方奏響穩(wěn)經(jīng)濟“協(xié)奏曲”
- 世界關(guān)注:DELL PRECISION想找摯友聊聊天
- 比亞迪海鷗申報圖曝光,或成比亞迪最便宜車型
- 促開采、增儲備、搶維修、保運輸,各地多措并舉——力保群眾溫暖過冬過年(新春走基層·一線調(diào)研)
- 全球訊息:新動力擬收購德威華泰控股權(quán),后者年凈利超6000萬元,系專精特新“小巨人”企業(yè)
- 環(huán)球速訊:本報記者分赴多地,記錄一線工作者奮斗故事——付出辛勤汗水 收獲美好生活(新春走基層·特別報道)
- “慢火車”上趕大集(新春走基層)
- 環(huán)球新消息丨6英尺10英寸
- 【環(huán)球熱聞】零售業(yè)發(fā)展的關(guān)鍵(零售業(yè)發(fā)展趨勢)
- 天天微頭條丨羅馬帝國傳奇下載
- 每日消息!省人大代表劉志杰:加快煤電綠色轉(zhuǎn)型 為全省經(jīng)濟高質(zhì)量發(fā)展提供能源保障
- 全球速訊:百度英語詞典下載(百度英語詞典)
- 摔角動態(tài)科特·安格揭露自己如今在后臺的工作 對選手幫助巨大
- 兩會·委員說|周云玲:發(fā)揮中醫(yī)藥特色優(yōu)勢 引領(lǐng)大健康產(chǎn)業(yè)創(chuàng)新發(fā)展
- 今日熱門!總臺發(fā)布2023年春晚新看點 實現(xiàn)多個“首次” 節(jié)目亮點紛呈
- 31省份CPI出爐:20地穩(wěn)在“1時代”,有你家鄉(xiāng)嗎
- 兔元素迎兔年
- 環(huán)球新資訊:節(jié)前寵物寄養(yǎng)需求升溫,部分寵物店寄養(yǎng)價格上漲
- 世界熱點評!主播說聯(lián)播丨春晚大餐即將出爐,先“嘗”為快→
- 視焦點訊!冰層厚度未知 無人管理和救援 短視頻博主推薦
游人如織的“野冰場”暗藏殺機 - 河北秦皇島:讓群眾方便放心購藥
- 全球資訊:國內(nèi)油價調(diào)價窗口17日開啟 春節(jié)前有望下調(diào)
- 開業(yè)運營7周年 亞投行“朋友圈”何以越來越大?
- 世界今熱點:南京辦香港通行證可以讓別人辦嗎
- 今日熱搜:春節(jié)期間健康防護5問5答
- 焦點快報!郊區(qū)經(jīng)開區(qū)“雙周講壇”新年開講
- 環(huán)球百事通!2022我國GDP同比增長3%
- 焦點播報:WELCOME 兔 YOU | 春節(jié)不打烊,游園指南請收好
- 世界短訊!市領(lǐng)導(dǎo)赴鄉(xiāng)村振興聯(lián)系村走訪慰問
- 每日關(guān)注!來自德轉(zhuǎn)朱藝的報道上海申花拿下了河北隊球員金洋洋
- 環(huán)球微資訊!郊區(qū)獲第一
- 環(huán)球焦點!someone(like及you是什么意思)
- 世界消息!摔角動態(tài)上周同NXT的收視率大戰(zhàn)結(jié)果出爐
- 焦點資訊:resortto造句(resortto)
- 【環(huán)球時快訊】達摩克利斯之劍是什么電影(達摩克利斯之劍是什么意思)
- 當(dāng)前視訊!銅官區(qū)四大班子春節(jié)前走訪慰問駐地部隊官兵等
- “冬日暖陽”走訪慰問活動深入開展
- 世界新動態(tài):新年福利活動火熱持續(xù)中!買耕升3060及以上顯卡送CF禮包
- 【天天聚看點】董明珠聯(lián)合數(shù)十家企業(yè)深度布局 格力電器緣何熱衷預(yù)制菜
- 全球視訊!iPhone15折疊屏渲染圖曝光:真的丑
- 2022年下游需求高速增長 汽車零部件板塊10家上市公司年報預(yù)喜
- 【世界熱聞】性能炸裂!英特爾酷睿i9-13980HX移動處理器跑分曝光
- 世界頭條:賀詞怎么寫才好(賀詞怎么寫)
- 三邊孔和四邊孔的位置(三邊孔)
- 史湘云判詞(史湘云判詞和判曲)
- 世界新資訊:永州代表團審議省人大常委會工作報告和“兩院”工作報告
- 今頭條!北京到上海動車一等臥圖片(北京到上海動車)
- 怎么能看見對方微信聊天記錄 相關(guān)知識教給你
- 運動員宣誓詞(特戰(zhàn)隊員宣誓誓詞)隨小編一起了解下吧
- 厄貝沙坦(目前最安全的降壓藥)
- 快訊:他人評價(給他人評價怎么寫)什么是自我厭惡
- 每日報道:康寧定期(康寧終身保險哪些大?。┬枰倪M來看看
- 信息:中國歷史上的才女(中國歷史上的大地震)
- 世界看熱訊:山東泰山俱樂部官方宣布前恒大球員徐新和前蘇寧球員吉翔正式加盟球隊
- 焦點精選!羅京的妻子(劉繼紅再婚老公照片)
- 國家測繪局地圖(中國地圖全圖大圖圖片)
- 世界觀熱點:360好不好(360靠譜嗎怎么樣)看完你就知道了
- 【焦點熱聞】丹尼斯理查茲(丹尼斯理查茲顏值巔峰)
- 世界實時:適合圓臉的超洋氣短發(fā)(挑選發(fā)型須知這3點)
- 環(huán)球訊息:隆?;屎螅≡F鋵嵅怀螅┮黄饋砜纯窗?/a>
- 當(dāng)前觀點:冰凍黃魚的做法(煎魚不粘做到以下幾點就可以)
- 屈臣氏會員卡激活官網(wǎng)(屈臣氏會員卡)
- 今熱點:蔡健雅翻唱的歌曲大全(蔡健雅什么歌好聽)你都聽過哪些
- 全球快播:富士康13連跳(富士康13連跳靈異事件)具體怎么回事
- 今熱點:周一圍 朱丹(只有自己才知道幸不幸福)這是怎么回事
- 世界熱點評!c盤mydrivers文件夾刪不掉(c盤mydrivers是什么文件夾可以刪除嗎)下文帶你詳細了解
- 當(dāng)前關(guān)注:酒仙網(wǎng)的酒是真的嗎(十大賣酒網(wǎng)站)市場終端銷售價格
- 世界微動態(tài)丨傷感中文rap歌詞(傷感說唱歌曲)
- 環(huán)球即時:2018狗年是什么年(2018狗年)
- 天天資訊:李晨女友(李晨的前女友們)情史盤點
- 環(huán)球熱頭條丨皰疹性咽炎(大人皰疹性咽炎怎么治)什么是皰疹性咽峽炎
- 當(dāng)前時訊:小學(xué)體育工作計劃第一學(xué)期(具體釋義)
- 今日快看!阿凡達電影簡介(阿凡達電影時長)相關(guān)內(nèi)容介紹
- 當(dāng)前資訊!平安夜早上好的祝福語問候語大全 平安夜動態(tài)表情圖片
- 焦點報道:權(quán)力的轉(zhuǎn)移(權(quán)力的轉(zhuǎn)移讀后感)相關(guān)內(nèi)容介紹給你
- 短訊!草藥種植(草藥種植加盟包回收)中藥材種植熱
- 今日熱聞!美食大三通2008(美食大三通2006年全集:舌尖上的中國)
- 世界要聞:2022款途觀l優(yōu)缺點(途觀車怎么樣)感興趣的來看看吧
- 千山暮雪第二部大結(jié)局(千山暮雪大結(jié)局是什么)
- 每日簡訊:巡回檢察組電視?。ㄈ?3集)最后結(jié)局怎么樣
- 全球即時看!水滴鉸鏈 三星Galaxy Z5可能折痕更不明顯
- 環(huán)球觀焦點:美白面膜排行榜前十名(口碑最好的美白面膜排行榜)
- 上線的保護地里有什么動物?(公益周上線的保護地里有什么動物)
- 原文注音:項脊軒志——歸有光〔明代〕[拼音版] 文章賞析
- 【全球獨家】dnf絕望塔多少層(dnf絕望之塔6層變態(tài))
- 世界熱消息:真正的自動駕駛?空客測試仿生自動飛行技術(shù)
- 銀婚祝福語大全 趕緊收藏起來
- 前沿?zé)狳c:偏愛一枝春雪凍梅花,兩次入詩?(一枝春雪凍梅花)
- 全世界最安全的交通工具(什么交通工具最安全)來看看排名吧
- 熱頭條丨特斯拉降價 老車主氣憤 但銷量實實在在漲了
- 天天熱訊:收到的玫瑰花束怎么養(yǎng)(玫瑰花養(yǎng)護方法教給你)
- 黃光裕再度減持國美零售 持股從60.98%降至10.79%
- 足協(xié)官方與德勤聯(lián)合出品了一份足球協(xié)會超級聯(lián)賽2020賽事商業(yè)白皮書
- 今日播報!在西雙版納原始森林公園,找到回歸大自然的初心
- 全球快播:黃鳳珠(黃鳳池)
- 動態(tài)焦點:carry(on及till及tomorrow)