一朵科研云,連接已知與未知
隨著科學(xué)數(shù)據(jù)呈現(xiàn)“井噴式”增長且質(zhì)量大幅提升,科學(xué)研究方法也發(fā)生了重要變革,即通過大量已知數(shù)據(jù)通過計算得出未知理論。科學(xué)創(chuàng)新進入了數(shù)據(jù)密集型科學(xué)時代,越來越依賴大量、系統(tǒng)、高可信的科學(xué)數(shù)據(jù)。
一個國家的科學(xué)研究水平將直接取決于科學(xué)數(shù)據(jù)優(yōu)勢,以及將數(shù)據(jù)轉(zhuǎn)化為知識的能力。2018 年,國務(wù)院出臺了《科學(xué)數(shù)據(jù)管理辦法》,明確了我國科學(xué)數(shù)據(jù)管理的總體原則、主要職責(zé)、數(shù)據(jù)采集匯交與保存、共享利用、保密與安全等內(nèi)容。上??萍紕?chuàng)新資源數(shù)據(jù)中心率先探索,促進數(shù)據(jù)互聯(lián)互通,以共享應(yīng)用提升科學(xué)數(shù)據(jù)的價值。
在過去近兩年時間里,上??萍紕?chuàng)新資源數(shù)據(jù)中心匯聚了大量科技創(chuàng)新資源數(shù)據(jù),包括一億條不同來源的學(xué)術(shù)論文數(shù)據(jù),1.3 億條專利數(shù)據(jù),47.8 萬全球高層次人才數(shù)據(jù),5000 萬條國際科研基金數(shù)據(jù),1200 萬家長三角在滬經(jīng)營企業(yè)數(shù)據(jù),以及 4 萬套科學(xué)儀器數(shù)據(jù)、26 家全球國立科研機構(gòu)數(shù)據(jù);并構(gòu)建起統(tǒng)一的科創(chuàng)資源數(shù)據(jù)平臺,建立從數(shù)據(jù)的采集處理、數(shù)據(jù)清洗轉(zhuǎn)化、數(shù)據(jù)倉庫到數(shù)據(jù)應(yīng)用的數(shù)據(jù)處理全流程,用以支持數(shù)據(jù)開放共享應(yīng)用服務(wù)。
同時,上??萍紕?chuàng)新資源數(shù)據(jù)中心研發(fā)了順應(yīng)科學(xué)數(shù)據(jù)特點的,具有分布式存儲、并行計算和大數(shù)據(jù)計算的容器云平臺——SciPlus 科研云。青云QingCloud 作為技術(shù)領(lǐng)先的企業(yè)級云服務(wù)商與數(shù)字化解決方案提供商,以自主創(chuàng)新、中立可靠、靈活開放的全維云平臺能力,成為上??萍紕?chuàng)新資源數(shù)據(jù)中心的重要技術(shù)合作伙伴。
經(jīng)過一年多的努力,SciPlus 科研云已經(jīng)初步完善云平臺研究和建設(shè),核心是聚焦支撐服務(wù),為科學(xué)研究賦能。基于分布式云計算技術(shù)構(gòu)建的?SciPlus?科研云,具有資源共享、彈性收縮等云平臺共性,專注于管理、存儲,將計算資源和數(shù)據(jù)資源合理高效整合到云端。
SciPlus 科研云包括多云異構(gòu)云管平臺、通用分布式計算框架、流式編程計算框架。多云異構(gòu)云管平臺可以統(tǒng)籌和整合各方資源,形成聯(lián)邦云計算平臺。通用分布式計算框架是一種基于分布式存儲技術(shù)的容器技術(shù),具有三個統(tǒng)一特性,即統(tǒng)一資源池、統(tǒng)一計算平臺、統(tǒng)一基礎(chǔ)設(shè)施技術(shù)棧,可按需擴展存儲能力。此計算框架還可以為不同計算任務(wù)及數(shù)據(jù)安全進行安全隔離。流式編排計算框架為復(fù)雜多步驟科學(xué)計算提供彈性支持,提升計算資源利用率,并根據(jù)計算資源使用情況,自動調(diào)度計算模塊,科研人員通過可視化界面能夠了解計算過程并隨時調(diào)整計算步驟。
這些與傳統(tǒng)科學(xué)家常用的方式有著明顯區(qū)別。以生信分析為例,SciPlus 科研云為海量生信分析服務(wù)提供云存儲、云分析、云共享,生信領(lǐng)域?qū)<铱梢酝ㄟ^流程編排將核心算法和分析流程部署到平臺上,再根據(jù)需求進行在線分析計算。青云QingCloud?以軟件定義將存儲、網(wǎng)絡(luò)與計算的能力變得更強大、成本更低廉,助推 SciPlus?科研云更好地以行業(yè)云的形式構(gòu)建跨領(lǐng)域、跨層級的科研服務(wù)生態(tài)。
上海科技創(chuàng)新數(shù)據(jù)資源中心使用前瞻性的技術(shù),構(gòu)建云基礎(chǔ)設(shè)施,最終成為滿足未來科學(xué)發(fā)展的,集科學(xué)數(shù)據(jù)匯交、存儲、計算、共享與應(yīng)用等功能于一體的區(qū)域性、綜合型、國際化的科學(xué)數(shù)據(jù)中心。青云QingCloud 在云原生時代貢獻力量,與上??萍紕?chuàng)新中心共同迎接挑戰(zhàn)、承擔使命,推動產(chǎn)學(xué)研深入結(jié)合,讓科學(xué)數(shù)據(jù)真正流動起來,并發(fā)揮促進國家科技創(chuàng)新和經(jīng)濟社會發(fā)展的重要基礎(chǔ)作用。