近日，嘉銀金科自主研發(fā)的數(shù)據(jù)集成平臺發(fā)布，基于分布式計算框架，利用并行化處理技術(shù)，實現(xiàn)了海量、實時數(shù)據(jù)遷移，最大化釋放數(shù)據(jù)價值。在海量數(shù)據(jù)、復(fù)雜網(wǎng)絡(luò)環(huán)境、復(fù)雜業(yè)務(wù)背景和高時效性數(shù)據(jù)要求的場景下，嘉銀金科數(shù)據(jù)集成平臺提供了數(shù)據(jù)同步方案，實現(xiàn)了數(shù)據(jù)高速穩(wěn)定的傳輸與遷移。依托強大的數(shù)據(jù)處理能力和技術(shù)水平，嘉銀金科數(shù)據(jù)集成平臺有效提升數(shù)據(jù)使用效率，賦能業(yè)務(wù)全流程，為企業(yè)運營“降本增效”。

在企業(yè)運營中，由于碎片化的數(shù)據(jù)留存在業(yè)務(wù)各個異構(gòu)的數(shù)據(jù)系統(tǒng)中，這些數(shù)據(jù)系統(tǒng)可能是幾十個甚至上百個應(yīng)用程序、數(shù)據(jù)庫和業(yè)務(wù)系統(tǒng)。各個系統(tǒng)如同一個個小倉庫，承載著不同類型的數(shù)據(jù)，對應(yīng)著不同的存儲方式，于是就出現(xiàn)了數(shù)據(jù)孤島現(xiàn)象。而企業(yè)中不同業(yè)務(wù)部門獨立運作，導(dǎo)致越來越多的跨多系統(tǒng)的數(shù)據(jù)分析訴求和業(yè)務(wù)場景出現(xiàn)，促使數(shù)據(jù)集成產(chǎn)品的出現(xiàn)。

數(shù)據(jù)集成平臺采用分布式集群化部署方式和高效的并行計算框架，最大化利用企業(yè)現(xiàn)有信息系統(tǒng)的建設(shè)成果，在保證現(xiàn)有數(shù)據(jù)安全性的基礎(chǔ)上，將數(shù)據(jù)進行整合及標(biāo)準(zhǔn)化，通過為用戶提供實時同步、離線抽數(shù)、告警通知、監(jiān)控大盤等全方位的產(chǎn)品服務(wù)，來保證數(shù)據(jù)流轉(zhuǎn)穩(wěn)定高效，方便用戶最大化挖掘和探索數(shù)據(jù)價值。數(shù)據(jù)集成是數(shù)據(jù)同步平臺，其目標(biāo)是保證數(shù)據(jù)在不同數(shù)據(jù)源之間被高效準(zhǔn)確地遷移。異構(gòu)的數(shù)據(jù)源可以通過統(tǒng)一的數(shù)據(jù)集成平臺來將異構(gòu)網(wǎng)絡(luò)的數(shù)據(jù)統(tǒng)一抽取到數(shù)據(jù)倉庫平臺，在數(shù)據(jù)倉庫平臺中完成數(shù)據(jù)匯聚，進行進一步的數(shù)據(jù)分析。分析后的結(jié)果數(shù)據(jù)仍可以通過數(shù)據(jù)集成回流到在線數(shù)據(jù)庫，為在線業(yè)務(wù)、在線應(yīng)用提供數(shù)據(jù)查詢。數(shù)據(jù)集成在整個數(shù)據(jù)倉庫開發(fā)建設(shè)過程中起到了非常關(guān)鍵的作用，只有通過數(shù)據(jù)集成將異構(gòu)數(shù)據(jù)源統(tǒng)一匯總到數(shù)據(jù)倉庫中，才有后序的數(shù)據(jù)分析、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用等。

嘉銀金科自研數(shù)據(jù)集成平臺可支持離線集成和實時集成，對應(yīng)兩種不同的數(shù)據(jù)同步方式：離線集成主要針對數(shù)據(jù)時效要求低、吞吐量大的場景，解決大規(guī)模歷史數(shù)據(jù)的批量遷移問題;實時集成針對數(shù)據(jù)時效性要求高的場景，其將源端數(shù)據(jù)的變化實時同步到目標(biāo)端數(shù)據(jù)源中，保證源端數(shù)據(jù)與目標(biāo)端數(shù)據(jù)實時保持一致，就可滿足業(yè)務(wù)實時查詢分析使用數(shù)據(jù)或?qū)崟r計算等需求。在實際業(yè)務(wù)場景中，離線集成和實時集成搭配使用，為保證已有的數(shù)據(jù)表在目標(biāo)端數(shù)據(jù)源中可用，使用離線集成將該表的歷史數(shù)據(jù)全量同步到目標(biāo)端數(shù)據(jù)源中，對于增量數(shù)據(jù)則通過實時集成來增量同步。

數(shù)據(jù)集成平臺最關(guān)鍵的目標(biāo)是，在進行異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)遷移時，保證遷移任務(wù)被高效完成，被遷入目標(biāo)端數(shù)據(jù)源的數(shù)據(jù)是準(zhǔn)確可靠的、實時的，數(shù)據(jù)傳輸過程是安全的。嘉銀金科數(shù)據(jù)集成產(chǎn)品具有獨到優(yōu)勢：

(1)離線/實時一體化

嘉銀金科數(shù)據(jù)集成平臺支持離線集成和實時集成同步方案，為實際業(yè)務(wù)中海量數(shù)據(jù)遷移需求，提供了穩(wěn)定、高效、快速的數(shù)據(jù)遷移方式。

(2)自動校驗功能

嘉銀金科數(shù)據(jù)集成平臺已實現(xiàn)自動校驗功能和補數(shù)機制，實時集成產(chǎn)品已打通從源端到目標(biāo)端的實時數(shù)據(jù)同步，并自動校驗源端和目標(biāo)端數(shù)據(jù)量的一致性，校驗不通過時觸發(fā)補數(shù)機制，有效的保證了數(shù)據(jù)的可靠性、準(zhǔn)確性。

(3)分布式架構(gòu)和任務(wù)拆分

分布式架構(gòu)既支持全量數(shù)據(jù)遷移，也支持增量數(shù)據(jù)同步，幫助用戶更好的管理各類數(shù)據(jù)信息，保證數(shù)據(jù)被高效地遷移。

嘉銀金科數(shù)據(jù)集成平臺是大數(shù)據(jù)平臺上下云的核心樞紐，實現(xiàn)數(shù)據(jù)自由離線或?qū)崟r的流動。通過數(shù)據(jù)流通，數(shù)據(jù)資源流向企業(yè)最需要的領(lǐng)域和方向，在生產(chǎn)經(jīng)營中產(chǎn)生效益，才能最大化地發(fā)揮數(shù)據(jù)價值。

嘉銀金科始終注重科技研發(fā)和人才培養(yǎng)，成立十多年來，不斷精研技術(shù)，培養(yǎng)了一支強大的技術(shù)團隊，形成了自主創(chuàng)新能力。在大數(shù)據(jù)領(lǐng)域，嘉銀金科技術(shù)團隊依托業(yè)務(wù)積累和創(chuàng)新實踐，不斷輸出技術(shù)成果，并根據(jù)實際業(yè)務(wù)需求不斷迭代更新產(chǎn)品，真正做到為業(yè)務(wù)高效運營賦能。在數(shù)據(jù)治理方面，嘉銀金科“大禹”數(shù)據(jù)資產(chǎn)管理平臺實現(xiàn)對數(shù)據(jù)全生命周期一站式治理和運營;在數(shù)據(jù)流通方面，嘉銀金科數(shù)據(jù)集成平臺保證了數(shù)據(jù)高效、準(zhǔn)確、實時遷移。此外，嘉銀金科還在數(shù)據(jù)分析、數(shù)據(jù)可視化、實時計算、數(shù)據(jù)建模等方面持續(xù)探索，將數(shù)據(jù)效能發(fā)揮到最大化，致力于為業(yè)務(wù)賦能，助力行業(yè)打破數(shù)據(jù)孤島。