在centos系統(tǒng)上部署hadoop分布式文件系統(tǒng)(hdfs)需要多個(gè)步驟，以下指南簡(jiǎn)述了單機(jī)模式下的配置過(guò)程。 完整集群部署更為復(fù)雜。
1. Java環(huán)境配置
首先，確保系統(tǒng)已安裝Java。使用以下命令安裝OpenJDK：
yum install -y java-1.8.0-openjdk-devel
配置Java環(huán)境變量：
echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile echo "export PATH=$JAVA_HOME/bin:$PATH" >> /etc/profile source /etc/profile java -version
2. ssh免密登錄設(shè)置
為了節(jié)點(diǎn)間無(wú)縫通信，需配置SSH免密登錄。
- 生成SSH密鑰對(duì)：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
- 將公鑰復(fù)制到所有節(jié)點(diǎn) (此處僅為單機(jī)配置，故省略此步驟)：
3. hadoop下載與解壓
從apache Hadoop官網(wǎng)下載Hadoop發(fā)行版，并解壓到指定目錄：
wget https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz tar -zxvf hadoop-3.1.3.tar.gz mv hadoop-3.1.3 /opt/hadoop
4. Hadoop環(huán)境變量配置
編輯/etc/profile文件，添加以下環(huán)境變量：
export HADOOP_HOME=/opt/hadoop export PATH=$HADOOP_HOME/bin:$PATH source /etc/profile
5. Hadoop配置文件修改
core-site.xml
編輯/opt/hadoop/etc/hadoop/core-site.xml，添加以下內(nèi)容 (將192.168.1.1替換為你的主機(jī)IP)：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.1.1:9000</value> </property> </configuration>
hdfs-site.xml
編輯/opt/hadoop/etc/hadoop/hdfs-site.xml，添加以下內(nèi)容：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/hdfs/datanode</value> </property> </configuration>
6. NameNode格式化
格式化NameNode：
/opt/hadoop/bin/hdfs namenode -format
7. HDFS啟動(dòng)
啟動(dòng)HDFS服務(wù)：
/opt/hadoop/sbin/start-dfs.sh
8. HDFS狀態(tài)驗(yàn)證
檢查HDFS狀態(tài)：
jps
你應(yīng)該看到NameNode和DataNode進(jìn)程運(yùn)行。
9. HDFS Web ui訪問(wèn)
訪問(wèn)http://192.168.1.1:50070 (將192.168.1.1替換為你的主機(jī)IP) 查看HDFS Web界面。
本指南僅供單機(jī)HDFS配置參考。 多節(jié)點(diǎn)集群部署需要額外配置zookeeper、Secondary NameNode等，并確保所有節(jié)點(diǎn)配置文件一致。
推廣.jpg)