本文指導(dǎo)您在 Debian 系統(tǒng)上安裝并測試 apache hadoop。以下步驟將詳細介紹配置過程和驗證方法。
第一步：安裝 Java
確保系統(tǒng)已安裝 Java 8 或更高版本。使用以下命令安裝 OpenJDK 8：
sudo apt update sudo apt install openjdk-8-jdk
驗證安裝：
java -version
第二步：下載和解壓 Hadoop
從 Apache Hadoop 官網(wǎng)下載最新版 Hadoop，并解壓到指定目錄（例如 /usr/local/hadoop）：
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/hadoop ``` (請?zhí)鎿Q `hadoop-3.3.1` 為實際的版本號) **第三步：配置環(huán)境變量** 編輯 `~/.bashrc` 文件，添加以下環(huán)境變量： ```bash export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使更改生效：
source ~/.bashrc
第四步：配置 Hadoop 配置文件
修改 Hadoop 目錄下的配置文件：
- core-site.xml:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:9000</value> </property> </configuration>
- hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/dfs/data</value> </property> </configuration>
- mapred-site.xml:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
- yarn-site.xml:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
第五步：格式化 HDFS
在 NameNode 節(jié)點上執(zhí)行以下命令格式化 HDFS：
hdfs namenode -format
第六步：啟動 Hadoop 服務(wù)
在 NameNode 節(jié)點上啟動 NameNode 和 DataNode：
start-dfs.sh
在 ResourceManager 節(jié)點上啟動 YARN：
start-yarn.sh
第七步：本地模式測試
切換到 Hadoop 用戶：
su - hadoop
創(chuàng)建輸入目錄和文件：
mkdir ~/input vi ~/input/data.txt
輸入測試數(shù)據(jù)（例如 “Hello World”，”Hello Hadoop”），保存并退出。
運行 WordCount 示例：
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount ~/input/data.txt ~/output ``` (請根據(jù)實際jar包文件名調(diào)整) 查看結(jié)果： ```bash ls ~/output cat ~/output/part-r-00000
正確輸出表明 Hadoop 本地模式運行成功。 請注意，以上步驟假設(shè)您在單機環(huán)境下進行測試。 對于集群環(huán)境，需要進行相應(yīng)的配置修改。 請務(wù)必參考官方Hadoop文檔以獲取更詳細和最新的配置信息。
