首頁 > 技術(shù) > 正文

數(shù)據(jù)開發(fā)必看!火山引擎DataLeap如何解決數(shù)據(jù)隔離問題?

2023-03-28 15:44:25來源:中關(guān)村在線  

在離線數(shù)倉開發(fā)過程中,研發(fā)人員需要根據(jù)業(yè)務(wù)變化,在開發(fā)/生產(chǎn)環(huán)境中不斷切換、解析、調(diào)試。以往,企業(yè)一般通過人工方式核驗,但由于數(shù)據(jù)量大且類型不同,導(dǎo)致研發(fā)人員資源、精力投入大。

如何使同構(gòu)代碼在不同環(huán)境正確運行,避免因調(diào)試過程中的誤操作,對生產(chǎn)環(huán)境直接造成數(shù)據(jù)負面風(fēng)險,成為很多企業(yè)數(shù)倉研發(fā)團隊的痛點之一。

近期,火山引擎DataLeap推出“項目參數(shù)管理”能力,即通過自定義項目參數(shù)分別設(shè)置開發(fā)、生產(chǎn)環(huán)境參數(shù)值,參數(shù)支持配置多種類型,包括Region、DB、shecma、table、date以及自定義等,且支持任務(wù)級別引用,快速幫助研發(fā)團隊實現(xiàn)資源隔離。


(資料圖片)

火山引擎DataLeap“項目參數(shù)管理”能力

以湖倉一體分析服務(wù)(LAS)引擎為例,介紹如何利用“項目參數(shù)管理”區(qū)分不同環(huán)境庫和時間格式的查詢。

在使用之前,由于1個業(yè)務(wù)需求常常涉及10+任務(wù)、30+參數(shù),且不同環(huán)境DB中、table基本一致,需要管理2套代碼。數(shù)倉研發(fā)人員難以避免出現(xiàn)測試代碼在生產(chǎn)環(huán)境執(zhí)行、表誤刪、數(shù)據(jù)誤刪等問題。

在使用之后,只需要3個步驟即可解決生產(chǎn)、測試環(huán)境數(shù)據(jù)隔離問題:

· 步驟一:LAS有2套環(huán)境,包括測試環(huán)境庫test_dev、生產(chǎn)環(huán)境庫test_prod 。2套環(huán)境都有相同表名LAS_table01、分區(qū)字段名datetimes。開發(fā)環(huán)境分區(qū)字段為yyyymmdd,生產(chǎn)環(huán)境分區(qū)格式為YYYY-MM-DD。在DataLeap中設(shè)置日期參數(shù)arg,開發(fā)環(huán)境參數(shù)值=\${date}、生產(chǎn)環(huán)境參數(shù)值=\${DATE}。設(shè)置庫參數(shù)env,開發(fā)環(huán)境=test_dev、生產(chǎn)環(huán)境=test_prod。

·步驟二:對于離線數(shù)據(jù)開發(fā)任務(wù),研發(fā)人員可以直接在代碼中使用項目參數(shù),點擊“解析”“調(diào)試”,系統(tǒng)會自動替換為相應(yīng)的開發(fā)環(huán)境參數(shù)值,并進行語法解析、權(quán)限檢查等。

·步驟三:點擊“提交上線”、“任務(wù)例行執(zhí)行”時,對于項目參數(shù),系統(tǒng)會自動替換為相應(yīng)的生產(chǎn)環(huán)境參數(shù)值,然后進行相應(yīng)的語法解析以及權(quán)限檢查。從而有效提升環(huán)境代碼管理效率。

據(jù)介紹,企業(yè)可以在以下場景使用火山引擎DataLeap“項目參數(shù)管理”能力:

【場景1】開發(fā)生產(chǎn)環(huán)境隔離

·以HSQL任務(wù)為例,為避免在開發(fā)測試階段,因誤操作影響生產(chǎn)庫表的數(shù)據(jù),研發(fā)人員可以在HSQL代碼中使用項目參數(shù)。調(diào)試時,系統(tǒng)會自動替換為開發(fā)環(huán)境參數(shù)值;上線后的任務(wù)例行執(zhí)行,系統(tǒng)將自動替換為生產(chǎn)環(huán)境參數(shù)值。同時,DataLeap也支持代碼一致,無需在上線前批量將開發(fā)環(huán)境的庫表名稱替換為生產(chǎn)環(huán)境的庫表名稱。

【場景2】跨區(qū)域/項目代碼同構(gòu)

·一般來說,不同Region下的庫、表名不同。為了實現(xiàn)不同Region、項目下代碼同構(gòu),研發(fā)人員可以在HSQL代碼中使用項目參數(shù),來實現(xiàn)不同環(huán)境下,同一個任務(wù)的代碼同構(gòu),有效提升環(huán)境代碼管理效率。

火山引擎DataLeap讓研發(fā)人員不再需要通過”調(diào)度設(shè)置-任務(wù)輸入?yún)?shù)”的方式添加項目參數(shù),只需定義一次參數(shù)即可輕松構(gòu)建,并且實現(xiàn)生產(chǎn)、測試環(huán)境下的數(shù)據(jù)自動隔離,代碼同構(gòu)。除此之外,DataLeap還具備數(shù)據(jù)集成、開發(fā)、運維、治理、資產(chǎn)、安全等數(shù)據(jù)中臺建設(shè)能力,助力企業(yè)提升數(shù)據(jù)研發(fā)效率、降低管理成本,為數(shù)字化轉(zhuǎn)型提供支撐。(作者:楊文文)

標簽:

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀