遠程運營中心大數據平臺解決方案
恒潤遠程運營中心大數據平臺(后稱‘大數據平臺’)的架構規劃見下圖。系統共分為五層：數據接入層、數據預處理層、數據存儲層、數據分析層、應用系統層。該架構的主要優勢是大數據框架技術、SOA 架構設計、高并發、安全與平臺管理等。
1、數據接入層
針對實時上傳的車輛總線數據，大數據平臺提供了基于Java NIO 技術(Netty)，支持高并發TCP 連接的通訊數據網關;
針對百萬并發海量消息實時接入，恒潤提供IBM 公司的高性能MessageSight 消息網關。
針對實時視頻流數據，系統提供獨立的視頻流網關可以接收RTSP(EasyDrawin)/RTMP(Red5)或基于UDP/TCP 協議的視頻數據流。針對存放在關系型數據庫中的歷史數據，大數據平臺提供了面向關系型數據庫與分布式文件系統(Hadoop)的ETL 工具(Sqoop)。針對離線數據文件或視頻文件，系統提供了基于HTTP 協議的文件上傳應用功能(Plupload)，應支持在應用層進行操作。
2、數據預處理層
針對車輛數據，為確保高并發上傳的實時數據能夠被及時解析。數據網關后接分布式消息隊列，即可通過添加服務器的模式橫向動態擴充隊列吞吐量。海量數據實時預處理采用分布式的流式數據處理工具(Apache Storm)或IBM 公司商業軟件Infosphere Streams，可將協議解析、解壓縮、解密、數據流解析等數據處理流程進行分解，并通過增加并發量等手段近實時的得到所有信號物理量。也可根據實際業務需求對數據解析追加去重、標準化、降噪、篩選、清洗等業務相關操作。
針對視頻數據，視頻網關將視頻文件中繼至內網，系統使用一個流媒體服務器(Red5)進行統一視頻編解碼與格式轉換，并將視頻文件或視頻流根據瀏覽器端播放器支持的協議進行推送。同時提供了根據某一時間戳，對其前后一段時間的視頻片段進行切割的功能(ffmpeg)，這樣可以僅對此片段進行視頻流播放以期盡量降低帶寬。
3、數據存儲層
針對車輛數據，恒潤大數據平臺提供先進的分布式大數據框架Hadoop。經過近10 年的發展，Hadoop 已經成為大數據領域的一個標準并形成了一個完整的軟件生態圈。本系統中的車輛總線數據具有一次寫入多次讀取的特征，適合用hadoop生態圈中的Hbase nosql 數據庫進行存儲。該數據庫繼承了Hadoop 分布式易于擴容的特點，并通過LSM 數據結構做到了快速的數據讀寫平衡。
針對視頻數據，由于可能需要對源文件進行轉碼或切割的操作，視頻數據并不適合用hadoop 存儲。因為Hadoop 會對視頻文件進行切割并將不同數據塊存儲于不同的數據節點，而當需要對視頻文件進行任何操作時，都需要先從各個節點將視頻文件進行恢復再操作。另外，由于視頻文件往往比較大，Hadoop 的高可用3 備份方案會造成較大的空間浪費。對于視頻文件的存儲方案，本系統選用視頻流媒體服務器所在服務器的文件系統。
針對元數據與應用數據，應用相關數據結構化較強且增長速度較慢，本系統選用關系型數據庫與文件系統結合的方案進行存儲。
4、數據分析層
大數據平臺提供如下數據分析工具，以便在應用層協助完成用戶的業務需求：
基于Hbase 原生API 的簡單數據統計與檢索
SQL on Hadoop/Hbase
集成機器學習/ 統計學算法的工具
基于流式數據處理的實時數據處理
5、應用系統層
應用系統采用B/S 架構，即用戶可隨時隨地通過瀏覽器對系統進行訪問與操作。系統使用SpringMVC 與Hibernate框架進行開發，并在前臺應用KendoUI、Echarts、高德地圖等Javascript 庫。
應用系統采用模塊化設計，使用ESB 技術有利于保證系統的可擴展性并兼顧多團隊協同開發的情況。恒潤大數據平臺采用IBM 公司的IIB 商業解決方案，不對建設在其上的應用系統附加限制，如開發平臺、語言、通訊協議等。
6、平臺管理
大數據平臺的Hadoop 版本選用的是Cloudera 的CDH5。Cloudera 是規模、知名度的Hadoop 解決方案服務商之一。CDH5 封裝了大量Hadoop 生態圈中的工具如Zookeeper、HDFS、YARN、Hbase、Spark 等。整體平臺的管理則依托于Cloudera Manager，允許管理員通過web 的方式對Hadoop 集群進行監控與管理。
7、系統安全
系統安全的保障則是通過以下四個手段進行保障：
數據加密
車輛總線端口(報文)數據經過通訊協議、加密、壓縮等封裝后，需在內網經過層層解析才能被解析為信號物理量。
IT部署方式
由于車載設備是通過數據網關與視頻網關與大數據平臺進行交互，因此網關需要提供公網IP。這意味著網關是部署在企業的DMZ區，大數據平臺可確保數據的解析與處理均發生在企業內網。
Hadoop自帶安全機制
大數據平臺可通過Cloudera Manager與企業LDAP集成并配置使用Hadoop/Hbase提供的KMS、Kerberos等安全審計機制確保數據的安全。
應用系統權限控制
應用系統采用基于角色的權限控制(RBAC)對系統功能菜單進行權限分配。并提供資產管理對車型、車輛、車載終端設備等資產進行細顆粒度權限控制。
