**如何部署及使用etl_crontab和etl_engine**
內容詳細,適合新人上手
1、前置條件
獲取到以下文件列表
code.bin (授權文件,必須)
code.key (授權文件,必須)
conf.cron (調度配置文件,使用etl_crontab必須)
sys.properties (環境配置文件,使用etl_crontab必須)
etllog_mysql.sql (日誌表結構文件,使用etl_crontab必須)
etl_crontab.exe (管理端,用於配置etl任務、配置調度定期執行etl_engine、查看日誌等功能)
etl_engine.exe (ETL引擎,用於解析執行ETL任務,必須)
readme_v1.2.7.txt (説明文件,非必須)
etl-engine.pdf (説明文件,非必須)
2、準備用於存儲日誌的數據庫
將etllog_mysql.sql腳本文件導入到自己的MySQL數據庫中,如數據庫名稱是db1
3、修改配置文件
-
conf.cron
該文件配置了etl-engine引擎文件位置,每個etl任務在什麼時刻執行,及日誌輸出級別,http服務端口號等信息,
各參數可根據實際情況進行修改,具體參數可參看etl_engine.pdf文件或其它資料。
如:下面兩個配置要根據實際情況進行修改。engineFile 引擎文件存放位置(默認配置 d:/etl_crontab/etl_engine.exe) confDir etl任務配置文件所在目錄(默認配置d:/etl_crontab/config) - sys.properties
該文件是日誌輸出數據源配置(當前配置默認支持輸出到mysql),和etl設計器登錄等配置。
4、啓動etl_crontab(管理端)
執行以下命令:
etl_crontab.exe -fileUrl conf.cron
etl_crontab.exe運行後,默認會啓動一個11100的http端口,用於和etl後台管理進行交互。
http://127.0.0.1:11100/etl_designer
用户名稱:admin
口令:123456
默認會啓動11101端口,用於向前端推送控制枱日誌信息(取消該功能可通過配置conf.cron文件中 webSocketPort="" 或 取消該設置)。
5、執行etl_engine(根據實際情況使用)
1)由etl_crontab調度負責調用etl_engine執行,不需要人為干預。
2)獨立執行etl_engine
執行以下命令:
etl_engine.exe -fileUrl d:/example.grf -logLevel info
6、查看相關日誌(均可通過管理端查看)
1)讀寫成功與失敗的日誌信息存儲在數據庫中
2)etl_engine執行過程中的日誌輸出到etl_engine.log文件中
3)etl_crontab執行過程中的日誌輸出到etl_crontab.log文件中