本文闡述如何在Debian系統(tǒng)上配置hadoop的資源分配策略，主要關注yarn（Yet Another Resource Negotiator）的配置，因為YARN是Hadoop資源管理和調度的核心。

YARN資源管理器配置：

關鍵配置參數(shù)包括：

• yarn.nodemanager.resource.memory-mb：每個節(jié)點管理器可分配的物理內存總量（MB），默認8192MB（8GB）。
• yarn.nodemanager.vmem-pmem-ratio：虛擬內存與物理內存的使用比例，默認2.1。
• yarn.nodemanager.resource.cpu-vcore：每個節(jié)點管理器可分配的虛擬CPU核心數(shù)，默認8。 可根據(jù)CPU性能差異調整，將一個物理CPU核心劃分為多個虛擬核心。

Hadoop核心配置文件：

• core-site.xml：配置hdfs（Hadoop分布式文件系統(tǒng)）位置及其他屬性。
• hdfs-site.xml：配置HDFS數(shù)據(jù)副本數(shù)量、NameNode元數(shù)據(jù)存儲位置等。
• mapred-site.xml：配置mapreduce運行環(huán)境。
• yarn-site.xml：配置YARN資源管理器和調度器。

資源調度策略選擇：

Hadoop YARN提供多種資源調度器：

• Capacity Scheduler: 基于容量的調度器，適合資源需求相對穩(wěn)定的應用場景。
• Fair Scheduler: 基于公平性的調度器，動態(tài)分配資源，適合資源需求波動較大的應用。

請注意，以上配置適用于Hadoop 2.x和3.x版本，具體配置需根據(jù)實際Hadoop版本、集群規(guī)模和資源情況進行調整和優(yōu)化。 實際應用中，需要根據(jù)工作負載和集群資源情況選擇合適的調度器并微調參數(shù)。