Curve加入PolarDB開源數據庫社區,強化分布式共享存儲
Curve社區簽署阿里巴巴開源CLA(Contribution License Agreement, 貢獻許可協議), 正式與阿里云PolarDB 開源數據庫社區牽手,成為繼 CurveFS 發布之后,Curve 開源項目發展的又一里程碑。
在3月2日的開源 PolarDB 企業級架構發布會上,阿里云對 PolarDB for PostgreSQL 的存儲計算分離等架構設計進行了全面解讀,作為 PolarDB 技術合作伙伴,Curve 為 PolarDB for PostgreSQL 提供分布式共享存儲,其強大的性能表現引發了社區的注意。
這也表明,作為網易數帆自研開源的第二款基礎軟件產品,Curve 正朝著高性能、易運維、全場景支持的云原生軟件定義存儲系統這一目標穩步演進。
打造性能最強開源分布式共享存儲
作為一款云原生分布式數據庫產品,PolarDB for PostgreSQL 采用基于共享存儲(Shared-Storage)的存算分離架構,以大幅提升資源利用率與性能,實現快速彈性應對突發業務負載的場景。數據存于“遠端存儲”的Shared-Storage 共享方式,利于彈性的同時,也帶來了網絡和共享存儲的挑戰,因而必須突破 I/O 限制以確保業務所需的性能。
在 On-Premise(本地部署)環境下,開源存儲是首選,然而能滿足數據庫性能需求的開源存儲并不多。“我們嘗試過多款(開源存儲)軟件作為分布式共享存儲,Curve 的測試結果讓我們眼前一亮。”PolarDB for PostgreSQL 研發負責人明虛表示。
Curve 當前由 CurveBS 和 CurveFS 兩個子項目構成,分別提供塊存儲和文件存儲兩種能力。用做共享存儲的正是 CurveBS,開源之初 CurveBS 就提供了遠優于某主流開源分布式塊存儲的性能,經過社區一年多的的迭代,CurveBS性能和穩定性愈發成熟。
在 Curve 社區和 PolarDB 社區針對 PolarDB for PostgreSQL 場景的聯合測試中,無論 benchmarkSQL 還是pgbench,Curve 再次全面領先于該開源分布式塊存儲。同等硬件配置及數據庫負載壓力下,benchmarkSQL 測試中 Curve tpmC (每分鐘事務數)領先高達 39%,pgbench 測試中 Curve 延遲降低多達 21%,TPS 領先高達 26%。
Curve 的高性能得益于其采用了 chunkfilepool、條帶化設計、Raft 等先進的技術架構。chunkfilepool支持集群初始化時創建指定大小的文件,降低 I/O 過程中文件元數據更新的開銷,從而降低 I/O 延遲。條帶化設計則支持在 Curve 客戶端進行分片,以提高 I/O 的并發度和打散度,讓更多節點參與 I/O 處理,提升 I/O 帶寬。而Raft一致性實現相對前述開源存儲系統的強一致性來說,也縮短了長尾效應,因而縮短了 I/O 時延。
此外,Curve 通過支持 PFS(PolarDB的分布式文件系統),使得云原生數據庫更容易使用 Curve 分布式存儲,并獲取更好的性能。
未來,Curve 社區還將從 braft 的 multi raft 改進、大 I/O 的性能優化、RDMA、io_uring 等方面著手,繼續性能優化的工作。
踐行開源云原生軟件定義存儲
對 PolarDB for PostgreSQL 的良好支持,也體現了 Curve 對承載云原生工作負載的態度和進展。在當前數字化轉型背景下,越來越多的企業通過軟件重新定義了自己,云原生則是強化企業軟件能力的重要武器——根據 CNCF 2020 全球云原生市場調查,該項技術已被 92% 受訪者在生產中使用。
在存儲基礎設施層,Curve 社區認為,不同于傳統云存儲資源的黑盒,云原生存儲上一切存儲資源應該都是白盒,所有云原生應用都可以不做修改無縫使用。
基于此,云原生存儲對上層云原生應用提供無縫的業務接口(POSIX接口、塊存儲接口、對象存儲接口、HDFS接口等等),對下層云操作系統屏蔽云存儲資源細節,對云原生應用的開發運維人員提供自定義存儲類型、存儲資源池(跨云)、數據生命周期管理、數據可靠性可用性策略等等。
在 Curve Roadmap 中可以看到,這個開源社區正往這些方向努力。例如,支持云原生部署、運維、使用,已經是 Curve 的一個關鍵特性。事實上,Curve 架構簡單、運維部署靈活的特點,也是其吸引 PolarDB 的又一重要因素。
相關閱讀
-
Curve加入PolarDB開源數據庫社區,強化...
Curve社區簽署阿里巴巴開源CLA(Contribution License Agreement,... -
開售即成爆款,Find X5系列勇奪四平臺...
作為OPPO在2022年的開年重磅旗艦,Find X5系列已于3月3日正式發售... -
HyperX Pulsefire Haste Wireless旋...
惠普公司的游戲外設團隊、游戲和電競領域的品牌領導者極度未知(Hype... -
內蒙阿爾山市政府考察團到訪冠軍之路全...
2月28日,內蒙阿爾山市政府考察團在北京市東城區文促中心和外聯辦的... -
新蛋推出站內+站外聯動營銷推廣方案,助...
隨著亞洲杯以及剛剛落幕的北京冬奧會的成功舉辦,各國運動健兒們在... -
萬億級的泛建材行業,數字化賦能作用如...
近日,國務院印發《十四五數字經濟發展規劃》,指出要全面深化重點...