中山大學(xué)聯(lián)合創(chuàng)鄰科技Galaxybase破萬(wàn)億數(shù)據(jù)挖掘世界記錄

數(shù)字 經(jīng)濟(jì) 時(shí)代，數(shù)據(jù)成為關(guān)鍵生產(chǎn)要素。企業(yè)從海量數(shù)據(jù)中挖掘 商業(yè) 價(jià)值的需求越發(fā)迫切。但這些高維、異構(gòu)、復(fù)雜關(guān)聯(lián)的數(shù)據(jù)給傳統(tǒng)大數(shù)據(jù)處理和關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品帶來(lái)了極大挑戰(zhàn)。中山大學(xué)聯(lián)合創(chuàng)鄰 科技 “Galaxybase”圖數(shù)據(jù)庫(kù)，完成了萬(wàn)億規(guī)模交易數(shù)據(jù)智能挖掘性能測(cè)試，為圖數(shù)據(jù)庫(kù)賦能的智慧互聯(lián)數(shù)字化未來(lái)開(kāi)啟了新紀(jì)元。

“超級(jí)算力+創(chuàng)新存儲(chǔ)技術(shù)”，推動(dòng)大數(shù)據(jù)智能革命

2021年11月底工信部印發(fā)《“十四五”軟件和信息技術(shù)服務(wù)業(yè)發(fā)展規(guī)劃》，明確提出“突破大規(guī)模并行圖數(shù)據(jù)處理關(guān)鍵技術(shù)”，推動(dòng)高性能數(shù)據(jù)庫(kù)在 金融 、電信、能源、制造等重點(diǎn)行業(yè)關(guān)鍵業(yè)務(wù)系統(tǒng)應(yīng)用。圖數(shù)據(jù)庫(kù)作為以圖論為設(shè)計(jì)原理的數(shù)據(jù)庫(kù)管理系統(tǒng)，將現(xiàn)實(shí)世界的實(shí)體和實(shí)體關(guān)系抽象表達(dá)為頂點(diǎn)和邊，擅長(zhǎng)海量圖數(shù)據(jù)的高效存儲(chǔ)、查詢、計(jì)算、分析，能有效解決傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)無(wú)法解決的大數(shù)據(jù)關(guān)聯(lián)難題，在金融風(fēng)險(xiǎn)、精準(zhǔn)零售、物流優(yōu)化、能源調(diào)度、生物制藥、智能交通、疫情防控等多種新興領(lǐng)域有巨大的應(yīng)用價(jià)值。其解決了傳統(tǒng)技術(shù)關(guān)聯(lián)查詢效率低、成本高的問(wèn)題，具有豐富、高效和敏捷的數(shù)據(jù)處理能力。而伴隨全球數(shù)字化競(jìng)賽日趨白熱化，這將直接影響企業(yè)數(shù)字化、智能化進(jìn)程。

在此背景下，如何建立高性能的圖計(jì)算理論及分布式存儲(chǔ)技術(shù)，是一個(gè)兼具重要性和挑戰(zhàn)性、并亟待解決的重要議題。基于中山大學(xué)牽頭的廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃“軟件、芯片與計(jì)算”重大專項(xiàng)項(xiàng)目“軟件定義的圖計(jì)算關(guān)鍵技術(shù)”，中山大學(xué)團(tuán)隊(duì)聯(lián)合創(chuàng)鄰科技團(tuán)隊(duì)依托國(guó)家超級(jí)計(jì)算廣州中心環(huán)境，完成全自主研發(fā)的國(guó)產(chǎn)高性能圖數(shù)據(jù)庫(kù)Galaxybase的安裝部署、萬(wàn)億規(guī)模超級(jí)大圖數(shù)據(jù)的導(dǎo)入，實(shí)現(xiàn)實(shí)時(shí)大圖數(shù)據(jù)增刪改查， 并完成多跳查詢、模式挖掘等典型圖查詢、計(jì)算操作。

基于超算集群環(huán)境，Galaxybase圖數(shù)據(jù)庫(kù)構(gòu)建了一套基于多級(jí)最優(yōu)圖分片理論、動(dòng)態(tài)任務(wù)調(diào)度模式及節(jié)點(diǎn)間混合通訊機(jī)制的分布式并行圖處理體系，通過(guò)提供了一個(gè)高性能、可擴(kuò)展、高可靠的圖處理平臺(tái)，支撐萬(wàn)億節(jié)點(diǎn)大圖的分布式存儲(chǔ)、實(shí)時(shí)在線查詢。在自研數(shù)據(jù)生成器所模擬的萬(wàn)億級(jí)真實(shí)金融交易場(chǎng)景數(shù)據(jù)集上（包含50億條賬戶信息及5萬(wàn)億條帶屬性的交易信息，涵蓋了最小為10 到最大超過(guò)1000萬(wàn)出入度的超級(jí)節(jié)點(diǎn)），將賬號(hào)、資金、交易信息以交易網(wǎng)絡(luò)的形式組織在一起，高效實(shí)現(xiàn)了資金流向查詢、資金環(huán)路以及嫌疑賬戶間的最短關(guān)聯(lián)路徑查詢等深度圖查詢及圖計(jì)算，其中，通過(guò)交易時(shí)間進(jìn)行過(guò)濾的六度的深鏈查詢平均耗時(shí)僅6.7秒。本項(xiàng)目?jī)H用50臺(tái)機(jī)器集群實(shí)現(xiàn)了當(dāng)前全球商業(yè)圖數(shù)據(jù)庫(kù)支持的最大規(guī)模圖數(shù)據(jù)處理，打破了美國(guó)頭部圖技術(shù)廠商于2021年6月用1000臺(tái)機(jī)器集群創(chuàng)造的1.2萬(wàn)億規(guī)模大圖處理的世界紀(jì)錄。

高性能圖數(shù)據(jù)庫(kù)Galaxybase，為更深入的數(shù)字化未來(lái)做好準(zhǔn)備

2021年12月12日， 國(guó)務(wù)院印發(fā)的《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》正式發(fā)布, 標(biāo)志著我國(guó)數(shù)字經(jīng)濟(jì)轉(zhuǎn)向深化應(yīng)用、規(guī)范發(fā)展、普惠共享的新階段。

中山大學(xué)與創(chuàng)鄰科技的此次合作，充分體現(xiàn)了超級(jí)計(jì)算與創(chuàng)新存儲(chǔ)技術(shù)結(jié)合對(duì)行業(yè)數(shù)字化智能的賦能之力，開(kāi)啟了圖技術(shù)賦能行業(yè)數(shù)字互聯(lián)新紀(jì)元，為實(shí)現(xiàn)“十四五”規(guī)劃提出的數(shù)字中國(guó)偉大目標(biāo)添磚加瓦。