快手向量化引擎Auron 正式加入Apache孵化器
近期,由快手開源并捐贈的向量化引擎Auron項目(原Blaze項目)正式進入全球最大開源基金會(ASF)的孵化器,移交到Apache軟件基金會名下。這是Auron項目及其社區發展的重要里程碑,標志著項目可以依托ASF成熟的開源治理范式,融入全球開源共同體,獲得更可持續的創新動能與影響力。
1、? Auron介紹
Auron是基于向量化技術開發的一套Native執行引擎,可以充分利用Native代碼和SIMD指令向量化優勢,以實現減少資源開銷、加速執行的目的。
其核心能力包括:
原生執行:采用Rust實現,消除JVM開銷以取得更好的性能表現;向量化計算:基于Apache Arrow列式格式構建,充分利用SIMD指令優化批處理;可插拔架構:與Apache Spark無縫集成,同時設計上支持未來擴展至其他計算引擎;生產環境強化優化:開發了多級內存管理、優化Shuffle格式及自適應執行策略等優化機制,并在生產環境大規模應用落地。
基于Auron,在TPC-DS上相比Spark可以取得2+倍的性能提升:
2、? Auron發展歷史與現狀
2022年1月,快手大數據Spark引擎團隊正式啟動了Blaze項目,項目一開始便選擇全面擁抱開源社區,全部代碼在GitHub上公開可見。歷經一年多的迭代,2023年9月,Blaze在TPC-H/TPC-DS等Beachmark上取得了顯著的性能提升。同時,團隊也圍繞生產環境進行了大量優化,并在快手內部實現了大規模應用。目前,Blaze在快手日均運行數十萬個任務、處理EB級別數據,展現出卓越的性能和穩定性,為快手每年節約數千萬元服務器成本。
在社區運營方面,快手于2024年1月展開了開源社區的管理工作。自Blaze開源以來,已累計發布了10余個版本,GitHub上的Star數量超過1.5K。該項目吸引了來自全球的30多位開發者積極貢獻代碼,社區活躍度不斷提升。憑借出色的性能、穩定性和易用性,Blaze被滴滴、攜程、 汽車 之家、58同城、OPPO等多個行業的公司廣泛使用,并在應用過程中,獲得一致好評。
2025年8月,Blaze項目正式進入ASF孵化器,并更名為Auron(發音: [???rɑ?n] ),其靈感來源Aura(能量場)。Auron寓意為大數據引擎所帶來的強大性能。未來,Auron社區也將會提供更多先進功能,如Flink引擎、數據湖系統、GPU/DPU硬件的集成等。
3、? 加入Apache孵化器
加入Apache軟件基金會孵化,源于快手團隊對開源生態的深刻認同,以及對項目長期可持續發展的考量。目前Auron已在多家公司應用落地,驗證了其實用價值。然而,開源項目的生命力不僅依賴技術先進性,更需要通過開放的社區治理、多元的貢獻者參與和透明的決策機制實現持續進化。我們始終相信,開源的價值在于“共享”與“共創”。
我們將嚴格遵守Apache的治理規范,推動項目代碼、文檔與社區的全面透明化,吸引更多開發者參與技術迭代,與Apache生態中的其他大數據項目(如Spark/Flink/Celeborn等)形成技術互補,共同推動大數據領域的技術持續創新。
我們堅信,在Apache基金會的指導與社區的支持下,Auron項目將加速成長為具有全球影響力的開源項目,為技術創新貢獻長期價值。
我們誠摯地邀請對Auron感興趣的各位開發者和用戶加入開源社區,共同推動項目進一步的發展。您可以通過以下方式關注和了解社區的最近動態,期待您的加入! ?