摘要:本申請提供了一種Hadoop平臺下的數據處理方法,屬于數據處理領域,包括:獲取Hadoop平臺存量數據的Hive表結構信息,將待存儲數據的結構信息與所述Hive表結構信息進行比較,獲得數據結構變化信息;根據獲得的所述數據結構變化信息和獲取的所述存量數據的Hive表結構信息,更新Hive表結構;按照更新后的Hive表結構格式化所述待存儲數據,并存儲格式化后的所述待存儲數據。采用本申請公開的方法,有效地保證了存儲數據的數據結構的兼容性,在需要對歸檔存儲的數據進行分析和查詢時,不需要對數據格式進行統計和轉換,不僅節省了計算資源,還可以快速反饋分析、查詢結果,提高數據查詢和分析效率。
- 專利類型發明專利
- 申請人北京先進數通信息技術股份公司;
- 發明人朱大勇;完獻忠;滕一勤;
- 地址100089 北京市海淀區車道溝1號濱河大廈D座六層
- 申請號CN201510892226.1
- 申請時間2015年12月07日
- 申請公布號CN105447172A
- 申請公布時間2016年03月30日
- 分類號G06F17/30(2006.01)I;