本文介紹如何在Debian系統(tǒng)中高效查看hadoop日志。Hadoop的日志聚合功能將各個(gè)節(jié)點(diǎn)的日志集中存儲(chǔ)，方便管理。以下步驟將指導(dǎo)您如何查看這些日志：
第一步：確保日志聚合已啟用
首先，確認(rèn)Hadoop集群所有節(jié)點(diǎn)都啟用了日志聚合。這通常在yarn-site.xml配置文件中配置：
<property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>172800</value> </property> <property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/tmp/logs</value> </property> <property> <name>yarn.nodemanager.remote-app-log-dir-suffix</name> <value>logs</value> </property> <property> <name>yarn.log.server.url</name> <value>http://hadoop-node0:19888/jobhistory/logs</value> </property>
第二步：通過Web ui訪問日志
日志聚合后，您可以通過Hadoop的ResourceManager Web UI或Job History Server Web UI查看日志：
- ResourceManager Web UI: 默認(rèn)地址為http://
:8088/cluster/apps/FINISHED。 - Job History Server Web UI: 默認(rèn)地址為http://
:19888/jobhistory。
如果您需要直接從hdfs讀取日志，可以使用hdfs dfs命令：
hdfs dfs -cat /path/to/logs/*
第四步：使用文本編輯器查看日志
您可以使用任何文本編輯器（如nano、vim）打開并查看日志文件：
sudo nano /path/to/logs/application-<application-id>-container-<container-id>.log
請(qǐng)注意，日志文件路徑和URL可能因Hadoop集群配置而異。請(qǐng)參考您的Hadoop集群配置文件以獲取準(zhǔn)確的路徑。
推廣.jpg)