摘要:

• 使用Flink StandaIone模式運行FIink SQL Demo

• Flink 安裝包需要與 StreamPark 服務同在一台服務器

 實時開發平台(Streampark)--Flink SQL功能演示_flink

實時開發平台基於開源項目StreamPark建設  

實時開發平台 StreamPark 提供了一系列快捷 API 和 Connector,開箱即用,作業狀態自動追蹤,快速完成作業的開發和管理。同時支持 Flink & Spark,無縫支持流式處理和批處理,連接互通,創造無限可能。

StreamPark 是一個流處理應用程序開發管理框架,旨在輕鬆構建和管理流處理應用程序,提供使用Flink 和 Spark 編寫流處理應用的開發框架和一站式實時計算平台,核心能力包括不限於應用開發、部署、管理、運維、實時數倉等。

StreamPark 為流處理作業提供全生命週期支持,從開發到部署,集眾多功能於一身,是一站式流處理平台。 

  • StreamPark開源項目:https://github.com/apache/streampark
  • StreamPark文檔:https://streampark.apache.org/docs/get-started/quick-start

1、FIink安裝

1.1安裝

  • Flink 版本:1.18.1
  • 官網下載地址:https://archive.apache.org/dist/flink/flink-1.18.1/

 實時開發平台(Streampark)--Flink SQL功能演示_服務器_02

1.2 解壓

  • 上傳服務器並解壓

 實時開發平台(Streampark)--Flink SQL功能演示_服務器_03

  • 配置系統環境變量

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_04

  • 添加以下內容

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_05

  • 使配置生效

 實時開發平台(Streampark)--Flink SQL功能演示_服務器_06

1.3 配置

  • 進入conf目錄

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_07

  • 修改flink-conf.yaml 配置文件

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_08

  • 修改以下內容

 實時開發平台(Streampark)--Flink SQL功能演示_服務器_09

  • 保存並提出

1.4 啓動

  • 進入bin目錄

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_10

  • 執行以下命令啓動

 實時開發平台(Streampark)--Flink SQL功能演示_flink_11


2、Streampark

2.1 配置Flink版本

  • 安裝路徑為服務器Flink的絕對路徑

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_12

  • 添加完成

 實時開發平台(Streampark)--Flink SQL功能演示_服務器_13

2.2 配置集羣

  • 進入集羣管理頁面,點擊 “添加”

 實時開發平台(Streampark)--Flink SQL功能演示_flink_14

  • 配置集羣信息,點擊 “提交”

 實時開發平台(Streampark)--Flink SQL功能演示_服務器_15

  • 配置完成

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_16

2.3 配置作業

  • 進入作業管理,點擊 “添加”

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_17

  • 配置作業信息

 實時開發平台(Streampark)--Flink SQL功能演示_flink_18


  • FIink SQL

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_19

  • 下滑到最下方,點擊提交

 實時開發平台(Streampark)--Flink SQL功能演示_服務器_20

2.4 發佈作業

  • 點擊下圖所示按鈕

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_21

  • 發佈中

 實時開發平台(Streampark)--Flink SQL功能演示_服務器_22

  • 發佈成功

 實時開發平台(Streampark)--Flink SQL功能演示_服務器_23


2.5 啓動作業

  • 點擊下圖所示按鈕,啓動作業

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_24

  • 點擊應用

 實時開發平台(Streampark)--Flink SQL功能演示_flink_25

  • 啓動中

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_26

  • 啓動完成

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_27

  • 等待執行完成,可以訪問 flink ui 查看執行情況 http://8g007:8081
  • 8g007 為 flink安裝所在服務器域名或ip,8081 為flink默認訪問端口

 實時開發平台(Streampark)--Flink SQL功能演示_流處理_28

 實時開發平台(Streampark)--Flink SQL功能演示_flink_29

2.6 完成作業

 實時開發平台(Streampark)--Flink SQL功能演示_服務器_30