在centos上配置hadoop分布式文件系統(hdfs)時,需要修改以下關鍵配置文件:
-
core-site.xml:
-
hdfs-site.xml:
-
mapred-site.xml:
- mapreduce.framework.name:指定MapReduce框架的名稱,通常為 yarn。
-
yarn-site.xml:
- yarn.Resourcemanager.address:指定ResourceManager的地址。
- yarn.resourcemanager.scheduler.address:指定ResourceManager的調度器地址。
- yarn.resourcemanager.resource-tracker.address:指定ResourceManager的資源跟蹤器地址。
- yarn.nodemanager.aux-services 和 yarn.nodemanager.aux-services.mapreduce_shuffle.class:指定NodeManager的輔助服務。
- yarn.nodemanager.vmem-check-enabled 和 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage:配置NodeManager的內存和磁盤檢查。
在修改這些配置文件后,通常需要執行以下步驟:
- 格式化NameNode:hdfs namenode –format
- 啟動HDFS服務:./sbin/start-dfs.sh
- 停止HDFS服務:./sbin/stop-dfs.sh
請注意,具體的配置步驟和文件路徑可能會根據Hadoop版本和具體需求有所不同。建議參考官方文檔或相關教程以確保配置的正確性。