博客 / 詳情

返回

hadoop大數據學習01(基礎環境準備)

環境準備

  1. 下載centos7 鏡像文件
    https://mirrors.aliyun.com/centos/7/isos/x86_64/
    選擇最小安裝版 CentOS-7-x86_64-Minimal-2009.iso
    安裝完成之執行下面的命令更新鏡像源:
    直接輸入curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

    虛擬機安裝

  2. 在安裝centos7之前要先安裝虛擬機環境,在虛擬機環境上部署centos系統
    這裏我們安裝VMware,安裝過程省略,只需要一路下一步,中間根據自己的需要,切換安裝路徑
    即可
  3. 安裝centos7
    圖片.png
    圖片.png
    選擇鏡像文件存放的地址
    圖片.png
    給虛擬機起個名字並制定安裝路徑
    圖片.png
    設置cpu個數和核數
    圖片.png
    設置內存大小
    圖片.png
    設置網絡連接模式(默認的)
    圖片.png
    選擇控制器類型也是默認的
    圖片.png
    選擇磁盤類型也是默認的
    圖片.png
    創建虛擬磁盤
    圖片.png
    設置磁盤大小和磁盤存儲方式 根據自己的實際情況來
    圖片.png
    點擊下一步---下一步

    圖片.png

    開啓虛擬機進入正式安裝centos系統的界面
    圖片.png
    按鍵盤的上下鍵選擇第一個選項 然後點 enter 進入安裝
    安裝過程中會彈出框選擇安裝的語言選着簡體中文,繼續
    圖片.png
    選擇目標安裝位置,並選擇自己手動分區,點完成
    圖片.png
    彈出分區界面,配置完之後點保存並繼續,格式化磁盤
    圖片.png
    圖片.png
    圖片.png

設置主機名和網絡,也可以安裝完成之後再通過命令行修改(可以跳過)
圖片.png
然後點擊開始安裝並設置 root 用户的密碼
圖片.png
點擊完成並繼續安裝 需要等待5-10min
圖片.png
完成之後點擊重啓
圖片.png
出現一個如下的界面説明安裝完成了
圖片.png
輸入上面root用户的密碼就可以登陸了
圖片.png

  1. 安裝完成之後的問題
    圖片.png
    發現無法與外網聯通,需要解決這個問題?
    1:關閉虛擬機的防火牆 (生產環境實際上需要再防火牆的配置信息中去配置相關的防火牆策略,開放對應的端口,這裏學習的時候可以關閉整個防火牆來做測試)

虛擬機網絡配置

systemctl stop firewalld.service
[root@wl ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
圖片.png
此時還是ping不通,ifconfig 不能用, ip addr 命令顯示的ip 也不存在
圖片.png
2:修改網絡配置
查看虛擬機網卡的地址,虛擬機需要和其保持在同一個網段,並且網關和dns 需要配置成
和虛擬機的一致
圖片.png
vi /etc/sysconfig/network-scripts/ifcfg-ens33
3:修改或添加如下標識出來的配置,按鍵盤ESC 後 按shitf 加 : 再輸入小寫wq 保存並退出
圖片.png
使上面的配置生效
4:systemctl restart network
圖片.png
使用客户端連接服務器
圖片.png
https://mobaxterm.mobatek.net/download.html 工具下載地址

  1. 修改鏡像源
    yum install vim -y 通過 yum install 的時候發現報錯了
    Cannot find a valid baseurl for repo: base/7/x86_64

需要替換yum 源 可以使用阿里的源
先備份:
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
下載阿里雲CentOS7鏡像源
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
修正版本號
sed -i 's/$releasever/7/g' /etc/yum.repos.d/CentOS-Base.repo
刷新緩存
yum clean all # 清除舊緩存
yum makecache # 生成新緩存
驗證yum 源替換成功
yum install -y wget curl vim
圖片.png

  1. 修改電腦主機名
    hotnamectl set-hostname hadoop
    sudo systemctl restart NetworkManager
    圖片.png
    reboot
    圖片.png
    主機名可以看到改為 hadoop
    修改配置文件
    使用文本編輯器編輯 vim /etc/hostname
    將文件中的內容替換為你的新主機名,然後保存並關閉文件。
    重啓網絡服務或者系統,使更改生效

sudo vim /etc/hosts 修改主機名與ip 的映射關係
圖片.png
圖片.png

jdk 安裝

  1. 下載地址
    https://adoptium.net/zh-CN/temurin/releases/?os=any&arch=any&...
  2. 上傳到服務器並安裝
    解壓到/usr/loacl
    tar -xvf OpenJDK17U-jdk_x64_linux_hotspot_17.0.15_6.tar.gz -C /usr/local/
    圖片.png
    mv jdk-17.0.15+6/ jdk17
  3. 配置環境變量
    編輯 vim /etc/profile 在文件末尾添加如下的配置信息
    export JAVA_HOME=/usr/local/jdk17
    export PATH=$JAVA_HOME/bin:$PATH
    圖片.png
    使配置生效
    source /etc/profile
  4. 驗證安裝結果
    [root@hadoop jdk17]# java -version
    openjdk version "17.0.15" 2025-04-15
    OpenJDK Runtime Environment Temurin-17.0.15+6 (build 17.0.15+6)
    OpenJDK 64-Bit Server VM Temurin-17.0.15+6 (build 17.0.15+6, mixed mode, sharing) 説明 jdk 安裝成功
  5. 修改profile 改錯了導致linux 很多命令都失效了處理辦法 ?
    一、背景
    linux在修改完環境變量/etc/profile後保存文件後,發現大多數命令不可用,只有少數如:cd、pwd可以使用;

二、原因分析
1、/etc/profile文件中有無效字符或變量,導致export後的環境變量不可用;

2、在export PATH時,漏掉了系統本身的$PATH;

3、其他原因;

三、解決
在命令行輸入:export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

===========================================================
這些基本環境搭建完成之後 可以將這機器作為一個基本的機器 用於克隆出其他機器

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.