HDFS配置

刘超 6月前 ⋅ 5281 阅读   编辑
分类
配置文件
 参数名 参数值 说明
hdp apache
回收站(

.Trash)

   

 

 

     

fs.trash.interval

 

压缩    

 

 

  core-site.xml io.compression.codecs

org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Cod

ec,org.apache.hadoop.io.compress.DeflateCodec,

org.apache.hadoop.io.compress.SnappyCodec

 

把snappy-java-1.0.4.1.jar拷贝到/usr/lib/hadoop-0.20-mapreduce/lib和/usr/lib/hadoop/lib 下

指定压缩方式

日志  
   hadoop-env gc.log
-Xloggc:/var/log/hadoop/$USER/gc.log-`date +'%Y%m%d%H%M'` -XX:+UseGCLogFileRotation -XX:GCLogFileSize=1m -XX:NumberOfGCLogFiles=1 验证是否生效
验证是否生效
hdfs-log4j hadoop-hdfs-datanode-host1.log hdfs-log4j
hadoop-hdfs-datanode-host1.out
hadoop-hdfs-namenode-host1.log
hadoop-hdfs-namenode-host1.out
     

 

 

Client端
Hedged Read

dfs.client.hedged.read.threadpool.size

并发Hedged 读的线程池大小

dfs.client.hedged.read.threshold.millis

开启一个Hedged 读前的等待时间(毫秒)
短路读取

dfs.client.read.shortcircuit

true/false 打开本地读取短路

dfs.client.read.shortcircuit.skip.checksum

如果设置了该参数,short-circuit local reads功能将跳过checksums校验。通常不推荐这么做,但是该参数对于特殊场合可能有用。如果你在HDFS之外自己做checksum校验,那么就该考虑设置该参数。

dfs.client.read.shortcircuit.streams.cache.size

DFSClient维护着一个用于保存最近已打开的文件描述符的缓存。该参数控制着此缓存的容量。增大该缓存的容量就可以使用更多文件描述符,但是,在涉及大量seek操作的负载上可能带来更好的性能。

dfs.client.read.shortcircuit.streams.cache.expiry.ms

该参数控制着文件描述符因为长期不活跃而被关闭之前需要在客户端缓存上下文中驻留的最小时间。

dfs.client.domain.socket.data.traffic

这种控制是否我们将试图通过正常的数据流量UNIX域套接字。


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: