1. 首页
  2. 大数据
  3. Hadoop

了解过哪些Hadoop的参数优化



在hdfs-site.xml文件中配置多目录,最好提前配置好,否则更改目录需要重新启动集群

NameNode有一个工作线程池,用来处理不同DataNode的并发心跳以及客户端并发的元数据操作

sh
dfs.namenode.handler.count=20 * log2(Cluster Size)
比如集群规模为10台时,此参数设置为60

编辑日志存储路径dfs.namenode.edits.dir设置与镜像文件存储路径dfs.namenode.name.dir尽量分开,达到最低写入延迟

服务器节点上YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量

单个任务可申请的最多物理内存量,默认是8192(MB)

发布者:admin,如若转载,请注明出处:https://ai1024.vip/36908.html

QR code
//