大數(shù)據(jù)中心建設(shè)的功能

數(shù)據(jù)管理

1.多源異構(gòu)數(shù)據(jù)的統(tǒng)一管理、統(tǒng)一查詢等，支持字段級、行級權(quán)限控制

2.數(shù)據(jù)標(biāo)簽管理，進行數(shù)據(jù)畫像及檢索應(yīng)用

1.支持文件元數(shù)據(jù)定義， 及文件的上傳、預(yù)覽、導(dǎo)出控制

2.支持服務(wù)器磁盤、HDFS、Hbase等多種文件存儲方式

1. 數(shù)據(jù)有哪些、是什么、在哪里一目了然

2. 企業(yè)級結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一的資源目錄，及數(shù)據(jù)查詢與申請

大數(shù)據(jù)中心建設(shè)的功能特性

數(shù)據(jù)質(zhì)量管理

1. 質(zhì)量規(guī)則零代碼可配置，包括僅一性、準(zhǔn)確性、一致性、規(guī)范性等規(guī)則

2. 事前校驗、事后評估方式發(fā)現(xiàn)及監(jiān)控數(shù)據(jù)質(zhì)量，并進行低分預(yù)警

1.19 數(shù)據(jù)加工算法組件；20 計算函數(shù)開箱即用，無須代碼開發(fā)

2.拖拽式操作實現(xiàn)跨庫的、大數(shù)據(jù)的融合加工

1. 質(zhì)量規(guī)則零代碼可配置，包括僅一性、準(zhǔn)確性、一致性、規(guī)范性等規(guī)則

大數(shù)據(jù)中心建設(shè)——模型設(shè)計

模型設(shè)計指導(dǎo)理論：

模型層次：把表數(shù)據(jù)模型分為三層：操作數(shù)據(jù)層（ODS）、公共維度模型層（CDM）和應(yīng)用數(shù)據(jù)層（ADS），其中公共維度模型層包括明細數(shù)據(jù)層（DWD）和匯總數(shù)據(jù)層（DWS）。

操作數(shù)據(jù)層（ODS）：把操作系統(tǒng)數(shù)據(jù)幾乎無處理地存放在數(shù)據(jù)倉庫系統(tǒng)中。

同步：結(jié)構(gòu)化數(shù)據(jù)增量或全量同步。

結(jié)構(gòu)化：非結(jié)構(gòu)化（日志）結(jié)構(gòu)化處理并存儲。

累積歷史、清洗：根據(jù)數(shù)據(jù)業(yè)務(wù)需求及稽核和審計要求保存歷史數(shù)據(jù)、清洗數(shù)據(jù)。