一.概述
DataSW Web是一款數據交換工具,提供簡單易用的WEB操作界面,降低用戶使用DataSW的學習成本,縮短任務配置時間,避免配置過程中出錯。用戶可通過web頁面選擇數據源即可創建數據同步任務,RDBMS數據源可批量創建數據同步任務,支持實時查看數據同步進度及日志并提供終止同步功能。
隨著學校信息化不斷發展,學校各部門業務系統異構、數據庫封閉、各自為政,已不能滿足用戶對一體化校園的需求(如跨系統數據訪問的需求)。校園系統由獨立分散化逐步向集成一體化發展已十分必要。
舉例: 學校學籍管理系統和校園卡系統實現學生基本數據共享,用本平臺學籍管理作為數據源頭,校園卡系統作為目錄庫寫入,解決學校兩系統重復錄入學生數據的疼點。
二、技術特點
1、技術特點
易用:全部操作提供web界面完成,無須編寫程序代碼,實現業務系統數據交換;
全面:支持Mysql、 SqIServer、 Postgres、 Oracle等多種常用數據庫;
靈活:支持日志表跟蹤、通過時間戳或增長字段掃描跟蹤等多種方式
專業:結構變動、數據更新、數據刪除、日志存儲、數據發布等專業化功能服務應用體系;
2、技術優勢
產品采用微服務架構,前端采用采用HTML5技術,后端采用 springboot+mybatis+shiro+cas集成框架, thymeleaf前端模板框架, shiro安全框架。
3、數據交換邏輯架構
邏輯架構支持元數據定義、數據標準化、數據清洗、異構交換等;
三、部分功能介紹
1.平臺部分界面
平臺登錄
平臺主體框架
2.創建數據源
為數據交換建立數據源,比如:將學生管理系統同步學生信息到校園卡系統,那么將學生系統數據庫作為數據源建立;
3.
為數據源表字段和寫入目的表字段配置映射關系;比如:對學生系統學生字端信息與校園卡系統學生字段信息建立映射關系;方便記錄寫入;
4.任務創建
任務構建配置,建立任務執行任務腳本,如:學生信息產生新生記錄,自動同步到校園卡系統,無須重復習錄入;
阻塞處理策略:調度過于密集執行器來不及處理時的處理策略;
單機串行:調度請求進入單機執行器后,調度請求進入FIFO隊列并以串行方式運行;
丟棄后續調度:調度請求進入單機執行器后,發現執行器存在運行的調度任務,本次請求將會被丟棄并標記為失??;
覆蓋之前調度:調度請求進入單機執行器后,發現執行器存在運行的調度任務,將會終止運行中的調度任務并清空隊列,然后運行本地調度任務;
5.任務管理
對上面映射關系產生json腳本,方便任務執行器輪循執行,實現實時的數據交換;
5.任務管理
對上面映射關系產生json腳本,方便任務執行器輪循執行,實現實時的數據交換;
6. 查看日志
可以點擊查看日志,實時獲取日志信息,終止正在執行的DataSW進程
四、系統運行環境
Language: Java 8(jdk版本建議1.8.201以上)
Environment: Linux Database: Mysql5.7
五、著作權