中國電信天翼雲諸葛AI平台檢視原始碼討論檢視歷史
中國電信天翼雲諸葛AI平台中國電信股份有限公司雲計算分公司(以下簡稱天翼雲)是中國電信旗下直屬專業公司,是集市場營銷、運營服務、產品研發於一體的雲計算[1]基礎服務提供商。
中國電信天翼雲在「2+4+31+X+O」資源池戰略布局的基礎上,發揮5G雲網融合的領先優勢,努力打造5G+天翼雲+AI新動能。中國電信天翼雲位列全球運營商雲之首,中國電信也是唯一一家進入全球IaaS市場前十的運營商。
中國電信天翼雲作為全球領先的雲服務商及運營商雲的領軍者,擁有先進的雲網基礎設施和定製化解決方案,正在成為中國電信全方位建設能力體系的核心承載,依託自主研發的雲平台和5s安全體系,以及運營商央企底蘊與互聯網[2]創新機制,為用戶提供安全雲服務。
案例概述
中國電信天翼雲諸葛AI平台由雲公司自主研發,是中國電信雲公司落實集團自主掌控核心技術的要求,瞄準行業發展趨勢,對標騰訊、阿里等領先企業,結合中國電信大數據多年實踐經驗,基於Apache Hadoop 3.2全新版,打造的自主掌控、技術領先、穩定安全的大數據AI一體化平台。
2020年11月8日,天翼雲諸葛AI開放平台在天翼智能生態博覽會上正式發布。天翼雲諸葛AI平台總體建設思路是提供一站式大數據存儲、大數據開發、大數據治理、機器學習和人工智能模型開發平台。
案例突破性:
天翼雲諸葛AI平台主要成果優勢如下:
(1)大數據底座先進:支持大規模集群部署及高可靠性需求:單集群設計規模達到8000台,已完成驗證的集群規模3000+台。
(2)全棧能力一體化融合:平台融合電信雲計算+大數據+AI能力的優勢,為客戶提供全棧大數據與AI能力開放。
(3)助力企業數字化轉型:一站式開發套件,以及運維自動化和可視化設計,大大降低用戶使用的技術門檻,成為傳統企業數字化轉型的有力保障。
商用落地廣泛:平台發布以來,陸續在政務、工業、金融、公安、環保等多個領域落地交付,其中單集群最大部署節點超2000台,實現銷售收入數千萬元。
技術要點
(一)先進性和主要技術指標
諸葛AI平台的各項能力均對標業內頂尖能力,利用後發優勢,打造業界領先的大數據平台。
1、大數據基礎能力平台底座先進
大數據基礎能力平台,對標CDH和HDP進行電信化封裝,基於完全開源、社區活躍的Apache Hadoop 3.2為核心,單集群設計規模達到8000台,已完成驗證的集群規模3000+台,整合構建大數據平台,部署給客戶的的大數據平台源代碼完全開放,無技術綁定風險,無協議風險,支持滾動升級。
2、 AI能力準確率業界領先
AI能力達到業界領先水準,車牌識別準確率達到99.93%,物體識別精度map達到94%,人臉識別精度達到99.7%。
3、數據開發運維平台先進
一站式數據開發與服務平台,對標阿里DataWorks,打造高可用,高可靠,高並發支持的一站式開發套件。
用戶基於一站式開發套件編輯並提交大數據作業,可以10倍以上提升數據應用開發的效率,節約大數據項目落地成本; 同時避免開發人員直接操作集群的風險,並對資源和數據進行嚴格的監管,提高集群安全性。
運維平台從架構上超越了Ambria與CloudManager工具,具有架構上的先進性,基於微服務架構,可支撐上萬個大數據節點的自動化運維與監控,提升運維效率。
(二)創新點
1、自主可控
針對CDH商用版,自研擁有完全知識產權。
2、大規模、彈性可擴展
可支持大規模集群部署及高可靠性需求:單集群設計規模達到8000台,目前已完成驗證的集群規模3000+台;
3、融合電信雲計算+大數據+AI能力的優勢
整合電信級大數據PaaS能力和AI能力中台,為大數據應用和AI的SaaS提供算據,算力,算法的支持。同時,對CPU、GPU等資源進行彈性管理,極大提高AI算法訓練和推理的資源利用率,為AI能力開放平台的建設提供堅實的底座。
4、運維自動化和可視化
提供統一的自動化集群運維平台,對集群可視化管理,解決運維人員腳本式維護痛點,降低操作風險,提升管理效率,具備運維大屏,CMDB,租戶管理,存儲分析等功能,進一步降低運營門檻,讓客戶的普通技術人員具備日常維護平台的能力,減少研發人員參與售後維護,降低交付運營成本。
5、GPU資源切片化與資源池管理
使用資源虛擬化服務,將稀缺GPU資源進行切片管理,雲平台支持10萬租戶同時使用相關服務。實現了統一GPU資源池管理,兼容多種型號GPU,屏蔽差異性,構建統一GPU資源池。GPU細粒度切片,基於virtual CUDA技術,建立物理GPU邏輯鏡像,實現GPU資源的細粒度劃分。基於容器和Kubernetes,實現虛擬化GPU資源的重組和再利用,支持多機並發、掛起恢復等高級特性。
(三)應用前景
諸葛AI平台產品陸續在政務、工業、金融、公安、環保等多個領域落地交付,單集群最大部署節點超2000台,實現銷售收入數千萬元。以下主要介紹諸葛AI大數據平台在重要行業的典型應用案例,推廣應用情況如下:
1. 中國工業互聯網研究院
國家工業互聯網大數據中心項目是一項複雜的系統工程,其內容涉及工業數據採集、邊雲融合、雲計算基礎平台、大數據和人工智能、數據服務層、工業應用、雲安全、運維和災備等各個方面。
其中,數據資源管理平台是整個工業互聯網大數據中心的核心部分,提供工業大數據集中存儲和數據分析計算引擎的基礎大數據能力、AI開發和推理中台、數據開發和治理中台、賬戶和數據安全管理、平台運維等功能。
在這個項目中,諸葛AI產品的3個模塊被被集成到數據資源管理平台。3個模塊為:大數據基礎能力、魯班開發大數據平台、和AI開發平台。 這三個模塊分別為數據資源管理平台提供:1)大數據存儲、計算引擎;2)數據開發、任務調度、數據治理等能力;3)AI模型開發、模型訓練、模型管理和模型發布、模型推理、以及用戶使用計費能力。
工業互聯網大數據作為工業互聯網發展的核心要素,將有力支撐構建數字化、網絡化、智能化的新型生產製造體系和服務體系,賦能製造業和實體經濟轉型升級。我國工業互聯網大數據資源存在孤立、分散、封閉等問題,數據價值未能得到有效利用,數據主權和數據安全面臨重大威脅。建設好、使用好國家工業互聯網大數據中心,對於推進工業互聯網數據資源整合利用和開放共享,提升我國工業互聯網大數據資源的管理、服務和安全水平,發揮數據對於工業經濟的基礎資源作用和創新引擎作用,促進工業互聯網創新發展,提升數據驅動的政府治理能力和數據賦能實體經濟的能力,具有重要意義。
建設國家工業互聯網大數據中心,就是要充分發掘全國工業互聯網大數據資源的價值,通過整合匯聚工業互聯網平台、網絡、標識、安全和其他相關數據資源,打造工業互聯網「平台之平台」,形成「覆蓋全國、物理分散、邏輯集中、統籌調動、資源共享、深度應用」的數據資源服務體系,構建完善的工業互聯網大數據獲取、共享和應用機制,建設政府監管支撐、數據交易、安全監測分析、企業賦能與創新服務等應用服務平台,推進數據隱私保護、數據確權政策法規研究,形成覆蓋全面的工業互聯網大數據資源管理和安全服務能力。
參考文獻
- ↑ 雲計算的普及:讓我們了解一下雲計算,搜狐,2022-02-17
- ↑ 互聯網的特點有哪些,優勢是什麼?,搜狐,2020-01-15