
從2007年開始,大數據應用成為很多企業(yè)的需求,2012年興起并產生了大數據平臺,使用者主要是程序員;2013年到2017年間,數據逐漸增多,大數據平臺變成了融合大數據平臺,使用者從程序員變成數據管理員和數據分析師;從2018年開始,大數據進入企業(yè)數據智能新階段,普通的工程師也能輕松應用。
當數據越來越多,需求也越來越高,環(huán)境越來越復雜,分析處理的方式也多種多樣,這對平臺有了更高的要求。
華為FusionInsight就是迎合著這種趨勢來開發(fā)的一個混合負載的、開放的、統(tǒng)一大數據平臺。
從HD、MPP DB到AI、數據智慧,FusionInsight平臺滿足四大場景需求
華為FusionInsight平臺圍繞大數據提供了系列產品,最主要的是與Hadoop兼容的開源平臺FusionInsight HD、MPP DB平臺、數據挖掘和人工智能的平臺以及數據智慧的平臺。其中,FusionInsight HD是一個融合的大數據平臺,滿足各種用戶需求同時混合負載、開放應用。

在企業(yè)當中,大數據平臺的主體是Hadoop平臺,其業(yè)務場景主要有離線處理、實時流處理、交互查詢或數據集市和實時檢索。這四個場景都是隨著大數據的發(fā)展逐步出現的。
針對離線處理場景,FusionInsight HD由如下組件來實現:HDFS負責存儲所有數據;Yarn負責調度在離線平臺上運行的所有任務,從數據加工、數據挖掘到數據分析;Mapreduce和Hive專門處理離線的具體任務,其中Mapreduce處理非SQL類、Hive處理SQL類,對應的有另外叫離線處理引擎的兩個組件——Spark和Spark SQL,作用與Mapreduce和Hive相同。借助上述組件,再加上數據采集組件(FusionInsight HD也提供了很多功能和組件),即可完成離線處理。
交互查詢場景通常需要在三秒內實現。FusionInsight HD的Elk提供交互查詢的引擎是存儲和查詢一體的組件,類似于Hadoop的組件但是功能更強。數據的采集可以用華為提供的工具,也可以用第三方的工具。
流處理場景核心的要求就是快,所以也叫實時流處理,一般用時在4到5秒之內。FusionInsight HD滿足流處理方案主要是三個組件,Kafka接受數據做緩存,流處理的引擎——Spark Streaming與Fhink(前者速度相對較慢,但是成本偏低,后者成本稍高,但速度更快),Redis主要處理流處理之后的結果數據。
實時檢索場景常見于運營商、銀行、公安等行業(yè),性能要求高,并發(fā)大,其查詢條件比較簡單且相對固定。用華為FusionInsight HD來實現,主要是Hbase和Solr/ESX,兩個組件的組合可以滿足低時延、高并發(fā)并且查詢條件相對固定的檢索。
不論是合作伙伴還是客戶,都可以在FusionInsight HD平臺上輕松地開發(fā)出滿足四個業(yè)務場景的應用。
FusionInsight HD組件中的6大特色
FusionInsight HD有鮮明的特色。
1、統(tǒng)一的SQL接口
華為統(tǒng)一的SQL接口,可以支持各種組件進行統(tǒng)一查詢,而不需要把數據從一個組件遷移到另一個組件。
2、FusionInsight SparkSQL
SparkSQL概念并非華為提出,但華為為社區(qū)做出了很多貢獻,自己的產品能力更強,例如華為主導向Spark SQL貢獻的CPU優(yōu)化器,使得穩(wěn)定性和高性能比社區(qū)的開源的SQL更強。
3、完全自研的SQL引擎Elk
讓華為的SQL引擎更接近數據庫甚至超過數據庫,用戶能夠得到跟數據庫一樣甚至超過數據庫交互體驗效果。
4、Apach
CarbonData是華為主導的一個社區(qū)開展項目,參與者有國內眾多互聯網公司和大型企業(yè),也有國外IT企業(yè),其特點是對上層的應用無感知,提升了數據分析、數據查詢的性能。
5、多級租戶管理功能
FusionInsight提供的多級租戶管理功能來匹配企業(yè)的組織架構,也就是說,可以有這種公司級的租戶和管理員,有部門級的綜合管理員,還有子部門租戶和管理員,在給用戶設置權限、設置資源配合有更方便的對應。
6、對異構設備支持。
FusionInsight提供了對異構設備支持,既支持高低配的設備在同一個大集群里,又支持開發(fā)應用可以指定某些應用運行在不同的機器上。
除此之外,華為FusionInsight還具備資源的靈活配置、多租戶的能力、分級存儲、超大集群、滾動升級、異構磁盤集群熱點數據均衡、Flink流數據引擎、可視化的集群管理與運維、可信產品、可信開發(fā)流程等十大優(yōu)勢,是一個幫助用戶以最低的成本解決最復雜問題的可信平臺。
用戶實踐與啟迪
中國60%的TOP 10金融、保險、銀行,全球Top50運營商中的25%都用了華為的大數據平臺;中國的平安城市建設有30%的客戶選擇了華為。華為在全球的項目、合作伙伴相當可觀。
迄今為止,FusionInsight HD已經交付了700多個項目,產生了300多個合作伙伴和客戶;這些項目覆蓋到金融、公共安全、交通、政務、電信、電力、石油等各個行業(yè)。
選擇FusionInsight HD作為大數據的承載平臺和處理平臺,可以盡可能地將大數據價值發(fā)揮到極致。
