博客 / 列表

journey - Scala入門

1、變量聲明 1.1、 聲明val變量 例如,val result = 1 + 1 後續這些常量是可以繼續使用的,例如,2 * result 但是注意常量聲明後,是無法改變它的值的,例如,result = 1,會返回error: reassignment to val的錯誤信 1.2、 聲明var變量 如果要聲明值可以改變的引用,可以使用var變量。例如,val result = 1,

Scala

journey - MySQL原理

1、JDBC Connection實例是線程安全的嗎? Connection實例是線程安全的嗎? 能不能只創建一次,共享Connection對象? 答案是不能的, Connection不是線程安全的,他會在多線程環境下,導致數據庫操作的混亂,特別是在事務存在的情況下:可能一個線程剛開啓事務con.setAutoCommit(true),而另一個線程直接提交事務con.commit(); 對

MySQL , mysql索引 , mysql優化

journey - 大話網絡通信

1、術語 併發 vs 並行 併發和並行是相關的概念,但有一些小的區別。併發意味着兩個或多個任務正在取得進展,即使它們可能不會同時執行。例如,這可以通過時間切片來實現,其中部分任務按順序執行,並與其他任務的部分混合。另一方面,當執行的任務可以真正同時進行時,就會出現並行 簡單説啓動一個線程在一個core上就是並行,啓動兩個線程在一個core上就是併發 異步 vs 同步 如果調用者

同步 , bios , nio , 異步

journey - Spring ThreadPoolTaskExecutor解説

1、ThreadPoolTaskExecutor @Async示例 @Async 註解的作用 異步執行方法: 被 @Async 註解標記的方法會在一個獨立的線程中執行,而不是在調用者的線程中。這意味着調用方法時,調用者線程會立即返回,並且方法的實際執行會在後台進行 提高併發性和性能: 通過異步執行耗時的操作,可以提高應用程序的響應速度和吞吐量。例如,在Web應用中,可以異

async , 線程池 , springboot , JAVA

journey - 批量修改pom.xml中的groupId

1、需求 使用 shell 腳本批量修改 pom.xml 文件中的 groupId 可以通過 sed 命令來實現。下面是一個示例 shell 腳本,它會遞歸地查找當前目錄及其子目錄中的所有 pom.xml 文件,並將 groupId 從 org.apache.dolphinscheduler 修改為 com.datashark 2、腳本 #!/bin/bash # 定義舊的和新的 groupId

maven3 , shell

journey - JWT入門

1、JWT簡介 JWT (JSON Web Token) 是一種基於 JSON 格式的開放標準(RFC 7519),用於在不同系統間作為一種安全的、緊湊的令牌實現信息的傳遞。它通常用於身份驗證、授權以及信息安全傳遞 1.1、JWT 的組成 JWT 包含三個部分,每部分用 . 分隔: Header.Payload.Signature 1、Header(頭部) Header 通常包含兩部分信息:

JAVA , jwt-go , Jwt

journey - 數據模擬1w分區,每個分區2條數據

#!/bin/bash # 生成修正後的SQL文件 cat hive2dlc_single_partition1.sql 'EOF' SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; SET hive.exec.max.dynamic.partitions=10000;

spark

journey - Centos7安裝hive3、spark3

1、mysql準備 yum install -y mariadb-server systemctl start mariadb systemctl enable mariadb 通過以下命令進行配置(設置密碼,比如説root@123): mysql_secure_installation 登錄進去設置root可以任意機器登錄 mysql -uroot -proot@123 GRANT ALL P

spark , hadoop

journey - Centos7安裝hadoop3.x集羣

1、環境準備 ip hostname 備註 172.16.153.10 node1 NameNode DataNode JobHistoryServer NodeManager 172.16.153.11 node2 ResourceManager SecondeNameNode DataNode

hadoop

journey - Mac下安裝Vmware Fusion虛擬機軟件並安裝Centos7

1、軟件準備 鏈接:https://pan.quark.cn/s/923a8cec0d7a 提取碼:RB3s 注意 : Centos7鏡像如果從官網(https://www.aliyundrive.com/s/p8eCCzb7yEn)中下載,是不能用的 在安裝頁面一直進不去,所以需要以上的雲盤中的Centos7鏡像 2、Vmware Fusion安裝 下載好的 VMware-F

macbook , vmware

journey - go chan 使用經驗分享

1、帶緩衝 vs 無緩存 1.1、帶緩衝 ch := make(chan int, num) 描述:這是一個 帶緩衝 的通道,緩衝區大小為 1 特性 : 發送數據到通道時,如果緩衝區未滿,發送操作不會阻塞 接收數據時,如果緩衝區不為空,接收操作不會阻塞 緩衝區的大小決定了可以在通道中存儲多少數據而不需要立即被接收 示例 : ch := make(chan int, 1) ch - 42

goroutine , channel , go

journey - 中序、後序遍歷還原二叉樹

1、邏輯梳理 1、後序遍歷的特點:後序遍歷的最後一個節點是根節點 2、中序遍歷的特點:根節點將中序序列分成左子樹和右子樹兩部分 具體步驟 1、從後序遍歷序列的最後一個節點取出根節點 2、在中序遍歷序列中找到根節點的位置,這個位置的左邊部分是左子樹,右邊部分是右子樹 3、遞歸構建左子樹和右子樹,重複以上步驟 注意 : 需要先構建右子樹,因為後序遍歷是左、右、根;逆序過來是需要

JAVA , 二叉樹

journey - YARN中Service組合模式

1、實例 1.1、定義一個Service接口 public interface Service { void init(Configuration config); void start(); void stop(); } 1.2、定義一個AbstractService抽象類 public abstract class AbstractService implements

組合模式 , yarn

journey - Zookeeper 原生API VS Apache Curator 監聽

1、Zookeeper API 1.1、描述 在 ZooKeeper 中,Watcher 是一次性的,不會自動重新註冊。因此,如果你希望在特定事件(如節點數據變化)發生後繼續監聽其他事件(如節點刪除),你需要在每次事件觸發時重新註冊 Watcher 1.2、示例 首先,確保你在項目中添加了 Zookeeper 的依賴: dependency groupIdorg.apache.zookeepe

curator , zookeeper , JAVA

journey - DataX源碼編譯及示例

1、系統要求 Linux JDK(1.8以上,推薦1.8) Python(2或3都可以) Apache Maven 3.x(Compile DataX) 2、源碼編譯 1、下載代碼,github代碼同步到碼雲上了 git clone https://gitee.com/qzw2015/DataX.git 2、切換tag分支最新release tag git checkout datax_v20

大數據 , 同步 , JAVA

journey - Java 8 總結

1、Lambda Lambda 表達式是 Java 8 引入的一種新特性,允許你以更加簡潔的方式編寫匿名函數,從而使代碼更簡潔和易讀。Lambda 表達式的語法格式如下: (parameters) - expression (parameters) - { statements; } 1.1、基本語法 無參數 () - System.out.println("Hello, World

匿名函數 , lambda , JAVA

journey - Git開發模式及代碼提交規範

1、Git開發模式 在使用 Git 開發時,有 4 種常用的工作流,也叫開發模式,按演進順序分為集中式工作流、功能分支工作流、Git Flow 工作流和 Forking 工作流。接下來,我會按演進順序分別介紹這 4 種工作流 1.1、集中式工作流 我們先來看看集中式工作流,它是最簡單的一種開發方式。集中式工作流的工作模式如下圖所示 : A、B、C 為 3 位開發者,每位開發者都在本地

規範化 , Git

journey - Spark RDD Java

1、Tranform(轉換算子) map package com.journey.core.rdd.transform; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org

spark , rdd , transform , JAVA , action

journey - JVM入門

1、JVM模板 -Xms4096M -Xmx4096M -Xmn3072M -Xss1M -XX:MetaspaceSize=256M -XX:MaxMetaspaceSize=256M -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFaction=92 -XX:+UseCMSCompactAtFull

jvm , jvm調優