博客 / 詳情

返回

Intel xl710-qda1 40G網卡通過銅纜連接10G交換機做鏈路聚合

摘要

(不想看掠過)
目前工作室有兩個服務器,一個dell 的 r510,主要存放項目文件。另外一個是自己組的 lsi 9271 的 raid,用來存放素材庫,以及一些雜項。
感覺有點吵,機架空間也佔了倆,就想把工作室裏兩個 8 盤存儲服務器合併到一個服務器裏,然後存點錢弄上 8 個固態來組一個軟 raid。所以買了嘉華的24盤的機箱(背板支持 8 個 nvm),一張 9460-16i的卡來連接兩個存儲的 16 個盤,做成兩個池。
然後順便想把現有的連接服務器的 10G 網絡升級到 40G,買 40G 的交換機太貴,想着能不能做鏈路聚合。問了一圈人,都説 40g 的網卡連接 10g 的交換機,做鏈路聚合是沒問題的。然後在身邊一羣一問就説可以,再問就三不知的坑貨忽悠下,買買買。弄了快一個禮拜了,終於找到解決方案了。

目的

想把 xl710 的 40G 口連接到 H3C 的 4 個 10G 口上做 40G 的網絡。

問題

直接用 1分4 的銅纜連接,H3C 會一直報告這四個端口 up/down 的錯誤。換過光纜等等各種線都不行。

解決方案

先用 Intel 的 EPCT 工具將 xl710 的 40G 分成 4 個 10G 的網卡(在系統下面會看到 4 張網卡),然後在系統裏給這分開的四個網卡做 lacp 的 team,H3C 裏也直接給連接的四個端口做 lacp,重啓系統即可正常使用。

環境:

系統:centos 9.2(本來想用 opensuse 的,但是實在是 opensuse 沒有類似 cockpit 的管理工具)。
交換機:H3C s6520-16s-si,全 10G 接口。
網卡:Intel xl710-qda1,淘寶價格比較適中的 40G 卡。
職業:後期合成師。

過程

傷心的買買買,退退退,熬夜加班調試的過程就不提了,記錄只為非專業人士少走彎路,説重點。

  1. 從 Intel 官網下載驅動,裏面帶了驅動,EPCT 工具,路徑如下:

    驅動:./PRO40GB/Linux/i40e-2.23.17.tar.gz
    EPCT:./APPS/EPCT/Linux_x64/epct64e
  2. 參考官方的驅動編譯方法,安裝 i40e 驅動(不安裝默認也能識別,圖個心安):
    安裝驅動鏈接
  3. 進入到 epct64e 目錄下,給 epct64e 添加執行權限:

    cd ./APPS/EPCT/Linux_x64
    sudo chmod +x ./epct64e
  4. epct64e 的命令説明:
    epct64e 命令説明
  5. 按照説明用以下命令將網卡拆分成 4 個:

    sudo ./epct64e -nic=1 -set 4x10G
  6. 重啓系統,用 lspci 就可以看到四張 40G 的網卡:

    sudo lspci | grep Intel

    圖片.png

  7. 然後再用 nmcli 命令創建 team,按照 參考鏈接 即可。
  8. 然後給 team 分配靜態 ip,完美。
user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.