博客 / 詳情

返回

部署 及 使用 etl crontab 和 etl engine

    **如何部署及使用etl_crontab和etl_engine**

內容詳細,適合新人上手

1、前置條件

  獲取到以下文件列表
code.bin             (授權文件,必須)
code.key        (授權文件,必須)
conf.cron        (調度配置文件,使用etl_crontab必須)
sys.properties        (環境配置文件,使用etl_crontab必須)
etllog_mysql.sql        (日誌表結構文件,使用etl_crontab必須)
etl_crontab.exe        (管理端,用於配置etl任務、配置調度定期執行etl_engine、查看日誌等功能)
etl_engine.exe        (ETL引擎,用於解析執行ETL任務,必須)
readme_v1.2.7.txt    (説明文件,非必須)
etl-engine.pdf        (説明文件,非必須)

2、準備用於存儲日誌的數據庫

   將etllog_mysql.sql腳本文件導入到自己的MySQL數據庫中,如數據庫名稱是db1

3、修改配置文件

  • conf.cron
    該文件配置了etl-engine引擎文件位置,每個etl任務在什麼時刻執行,及日誌輸出級別,http服務端口號等信息,
    各參數可根據實際情況進行修改,具體參數可參看etl_engine.pdf文件或其它資料。
    如:下面兩個配置要根據實際情況進行修改。

      engineFile 引擎文件存放位置(默認配置 d:/etl_crontab/etl_engine.exe)
      confDir etl任務配置文件所在目錄(默認配置d:/etl_crontab/config)
  • sys.properties
    該文件是日誌輸出數據源配置(當前配置默認支持輸出到mysql),和etl設計器登錄等配置。

4、啓動etl_crontab(管理端)

  執行以下命令:     
  etl_crontab.exe -fileUrl conf.cron 
  etl_crontab.exe運行後,默認會啓動一個11100的http端口,用於和etl後台管理進行交互。
  http://127.0.0.1:11100/etl_designer
  用户名稱:admin
  口令:123456
  默認會啓動11101端口,用於向前端推送控制枱日誌信息(取消該功能可通過配置conf.cron文件中 webSocketPort="" 或 取消該設置)。

5、執行etl_engine(根據實際情況使用)

  1)由etl_crontab調度負責調用etl_engine執行,不需要人為干預。
  2)獨立執行etl_engine
     執行以下命令:
 etl_engine.exe -fileUrl d:/example.grf  -logLevel info 

6、查看相關日誌(均可通過管理端查看)

1)讀寫成功與失敗的日誌信息存儲在數據庫中
2)etl_engine執行過程中的日誌輸出到etl_engine.log文件中
3)etl_crontab執行過程中的日誌輸出到etl_crontab.log文件中



user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.