摘要
(不想看掠過)
目前工作室有兩個服務器,一個dell 的 r510,主要存放項目文件。另外一個是自己組的 lsi 9271 的 raid,用來存放素材庫,以及一些雜項。
感覺有點吵,機架空間也佔了倆,就想把工作室裏兩個 8 盤存儲服務器合併到一個服務器裏,然後存點錢弄上 8 個固態來組一個軟 raid。所以買了嘉華的24盤的機箱(背板支持 8 個 nvm),一張 9460-16i的卡來連接兩個存儲的 16 個盤,做成兩個池。
然後順便想把現有的連接服務器的 10G 網絡升級到 40G,買 40G 的交換機太貴,想着能不能做鏈路聚合。問了一圈人,都説 40g 的網卡連接 10g 的交換機,做鏈路聚合是沒問題的。然後在身邊一羣一問就説可以,再問就三不知的坑貨忽悠下,買買買。弄了快一個禮拜了,終於找到解決方案了。
目的
想把 xl710 的 40G 口連接到 H3C 的 4 個 10G 口上做 40G 的網絡。
問題
直接用 1分4 的銅纜連接,H3C 會一直報告這四個端口 up/down 的錯誤。換過光纜等等各種線都不行。
解決方案
先用 Intel 的 EPCT 工具將 xl710 的 40G 分成 4 個 10G 的網卡(在系統下面會看到 4 張網卡),然後在系統裏給這分開的四個網卡做 lacp 的 team,H3C 裏也直接給連接的四個端口做 lacp,重啓系統即可正常使用。
環境:
系統:centos 9.2(本來想用 opensuse 的,但是實在是 opensuse 沒有類似 cockpit 的管理工具)。
交換機:H3C s6520-16s-si,全 10G 接口。
網卡:Intel xl710-qda1,淘寶價格比較適中的 40G 卡。
職業:後期合成師。
過程
傷心的買買買,退退退,熬夜加班調試的過程就不提了,記錄只為非專業人士少走彎路,説重點。
-
從 Intel 官網下載驅動,裏面帶了驅動,EPCT 工具,路徑如下:
驅動:./PRO40GB/Linux/i40e-2.23.17.tar.gz EPCT:./APPS/EPCT/Linux_x64/epct64e - 參考官方的驅動編譯方法,安裝 i40e 驅動(不安裝默認也能識別,圖個心安):
安裝驅動鏈接 -
進入到 epct64e 目錄下,給 epct64e 添加執行權限:
cd ./APPS/EPCT/Linux_x64 sudo chmod +x ./epct64e - epct64e 的命令説明:
epct64e 命令説明 -
按照説明用以下命令將網卡拆分成 4 個:
sudo ./epct64e -nic=1 -set 4x10G -
重啓系統,用 lspci 就可以看到四張 40G 的網卡:
sudo lspci | grep Intel - 然後再用 nmcli 命令創建 team,按照 參考鏈接 即可。
- 然後給 team 分配靜態 ip,完美。