首頁 > 技術(shù) > 正文

火山引擎ByteHouse助力大地量子精準(zhǔn)、高效預(yù)測天氣

2023-08-10 17:03:05來源：中關(guān)村在線  

伴隨著氣象技術(shù)的發(fā)展以及城市氣象設(shè)施的完善，氣象監(jiān)測服務(wù)能力在不斷提高，實(shí)現(xiàn)短期甚至中長期的氣象預(yù)測成為可能。

短期、長期的天氣形勢預(yù)測，不僅能幫助相關(guān)行業(yè)、有關(guān)部門針對性地進(jìn)行極端天氣防范準(zhǔn)備，降低氣象災(zāi)害帶來的影響；還可以提升對風(fēng)力、水力等可再生能源的利用效率，實(shí)現(xiàn)可持續(xù)發(fā)展，推動環(huán)境保護(hù)。

而大地量子正是這樣一家深耕氣象領(lǐng)域的公司。作為定位為AI大模型與數(shù)字孿生的公司，大地量子通過對PB級衛(wèi)星遙感數(shù)據(jù)、氣象數(shù)據(jù)的AI開發(fā)，打造業(yè)界領(lǐng)先的天氣預(yù)測、清潔能源功率預(yù)測、綠電交易預(yù)測、碳匯碳排等技術(shù)產(chǎn)品，并利用自有的AI與超算優(yōu)勢，完成下一代氣象預(yù)報(bào)系統(tǒng)。


(資料圖)

預(yù)測一個(gè)地理位置的氣象情況，實(shí)際是根據(jù)周圍的觀測站點(diǎn)的大量信息，做重合面積的地理信息查詢，包括經(jīng)緯度、溫度、濕度等具體數(shù)值。除此之外，大自然中變幻莫測的風(fēng)、雨、云、電，也會為數(shù)據(jù)的計(jì)算能力和實(shí)時(shí)查詢也帶來了巨大的難點(diǎn)。具體可以包括以下三點(diǎn)：

第一，地理信息數(shù)據(jù)處理能力，業(yè)務(wù)需要豐富的geo函數(shù)，用于整合海量的歷史氣象數(shù)據(jù)，對目標(biāo)點(diǎn)位/區(qū)域?qū)崿F(xiàn)天氣預(yù)測；第二，高時(shí)效性查詢需求，風(fēng)場、云層預(yù)測等模型需要實(shí)時(shí)查詢能力，快速做到結(jié)果反饋；第三，由于查詢的接口眾多，高并發(fā)擴(kuò)展也是交互式業(yè)務(wù)不可或缺的能力之一。

如何解決這些痛點(diǎn)？大地量子選擇了與火山引擎云原生數(shù)據(jù)倉庫ByteHouse進(jìn)行合作。

隨著字節(jié)跳動業(yè)務(wù)的快速發(fā)展，產(chǎn)生了海量的產(chǎn)品使用數(shù)據(jù)分析需求。這類場景數(shù)據(jù)指標(biāo)計(jì)算相對復(fù)雜、數(shù)據(jù)總量大且查詢模式多變，要求底層數(shù)據(jù)計(jì)算引擎具備高可用性，以及具備應(yīng)對超大數(shù)據(jù)規(guī)模下交互式實(shí)時(shí)響應(yīng)的能力。ByteHouse的極致性能和強(qiáng)大計(jì)算能力，正是源于內(nèi)部場景的多年積累和檢驗(yàn)。

在字節(jié)跳動內(nèi)部實(shí)踐場景和海量數(shù)據(jù)打磨下的技術(shù)能力也復(fù)制在大地量子上，并進(jìn)行了進(jìn)一步升級。

據(jù)介紹，ByteHouse起初是基于開源ClickHouse引擎進(jìn)行技術(shù)架構(gòu)重構(gòu)和優(yōu)化。但相比起原生的ClickHouse，火山引擎ByteHouse基于獨(dú)家自研的高可用引擎及查詢優(yōu)化器，可以為企業(yè)提供快速、穩(wěn)定、安全的查詢服務(wù)和數(shù)據(jù)寫入性能。

從技術(shù)層面看，ByteHouse 提供了 PB 級數(shù)據(jù)秒級響應(yīng)，通過增強(qiáng)的自研引擎，確保95%以上的查詢均可在秒級返回，同時(shí)通過自研的HAEngine和元數(shù)據(jù)持久化等優(yōu)化，ByteHouse提供了新的生產(chǎn)級高可用方案，能夠保障其在大數(shù)據(jù)量場景下依然不會影響到查詢分析體驗(yàn)。

大地量子通過將現(xiàn)場采集及大模型生成的氣象數(shù)據(jù)導(dǎo)入到ByteHouse中，通過ByteHouse的多邊形計(jì)算、方差、平均值等計(jì)算函數(shù)能力，支撐GEO查詢和空間計(jì)算，滿足其對預(yù)測系統(tǒng)以及交互式查詢需求。另外，針對大地量子不同階段數(shù)據(jù)波動情況，ByteHouse也提出了定制化解決方案。例如，在業(yè)務(wù)數(shù)據(jù)低谷期，ByteHouse提供集群節(jié)點(diǎn)進(jìn)行自助升級能力，在保持產(chǎn)品功能更新的同時(shí)，能更靈活幫助大地量子控制產(chǎn)品版本，降低運(yùn)維負(fù)擔(dān)。

在降本增效層面，大地量子也利用ByteHouse進(jìn)行了極致優(yōu)化。ByteHouse 能支持用戶自定義冷存儲的比例，該能力幫助大地量子將查詢頻次較少的歷史數(shù)據(jù)進(jìn)行冷存，起到降低存儲成本的作用，最終實(shí)現(xiàn)查詢效率和成本之間的平衡。

目前，在業(yè)務(wù)實(shí)踐中，平均查詢?nèi)蝿?wù)時(shí)長始終保持在50毫秒以內(nèi)，同時(shí)可以做到400QPS的峰值并發(fā)，火山引擎ByteHouse的高效率表現(xiàn)為大地量子提供了最有力的用數(shù)支持。

未來，大地量子將把部分功能作為API接口對外開放，ByteHouse的高查詢性能足以滿足預(yù)測系統(tǒng)及后續(xù)交互式查詢需求，進(jìn)一步為大地量子提供了查詢并發(fā)的保障，為業(yè)務(wù)擴(kuò)展提供基礎(chǔ)。除此之外，由于ByteHouse 支持無損和自助水平擴(kuò)容，隨著數(shù)據(jù)量持續(xù)增加，大地量子也計(jì)劃通過 ByteHouse 集群的水平擴(kuò)容來動態(tài)調(diào)整和支持計(jì)算、存儲能力，為高性能查詢提供更強(qiáng)保障。

除了在氣象領(lǐng)域落地，火山引擎ByteHouse還與中國地震臺網(wǎng)中心、海王集團(tuán)、莉莉絲游戲、極客邦科技等諸多行業(yè)企業(yè)達(dá)成了深度合作，憑借新一代的云原生架構(gòu)，高效方便的運(yùn)維模式，以及高性能更靈活的實(shí)時(shí)查詢能力，為企業(yè)抓穩(wěn)數(shù)字化機(jī)遇建立了夯實(shí)的地基，推動企業(yè)的數(shù)智化轉(zhuǎn)型升級。（作者：李維）

標(biāo)簽：

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀