| 分类 |
配置文件 |
参数名 | 参数值 | 说明 | |
| hdp | apache | ||||
| 回收站(
.Trash) |
|
|
|||
|
fs.trash.interval |
|
||||
| 压缩 |
|
|
|||
| core-site.xml | io.compression.codecs |
org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Cod ec,org.apache.hadoop.io.compress.DeflateCodec, org.apache.hadoop.io.compress.SnappyCodec |
|
把snappy-java-1.0.4.1.jar拷贝到/usr/lib/hadoop-0.20-mapreduce/lib和/usr/lib/hadoop/lib 下 指定压缩方式 |
|
| 日志 | |||||
| hadoop-env | gc.log | ||||
| -Xloggc:/var/log/hadoop/$USER/gc.log-`date +'%Y%m%d%H%M'` -XX:+UseGCLogFileRotation -XX:GCLogFileSize=1m -XX:NumberOfGCLogFiles=1 | 验证是否生效 | ||||
| 验证是否生效 | |||||
| hdfs-log4j | hadoop-hdfs-datanode-host1.log | hdfs-log4j | |||
| hadoop-hdfs-datanode-host1.out | |||||
| hadoop-hdfs-namenode-host1.log | |||||
| hadoop-hdfs-namenode-host1.out | |||||
|
|
|
||||
| Client端 | |||||
| Hedged Read |
dfs.client.hedged.read.threadpool.size |
并发Hedged 读的线程池大小 | |||
|
dfs.client.hedged.read.threshold.millis |
开启一个Hedged 读前的等待时间（毫秒） | ||||
| 短路读取 |
dfs.client.read.shortcircuit |
true/false | 打开本地读取短路 | ||
|
dfs.client.read.shortcircuit.skip.checksum |
如果设置了该参数，short-circuit local reads功能将跳过checksums校验。通常不推荐这么做，但是该参数对于特殊场合可能有用。如果你在HDFS之外自己做checksum校验，那么就该考虑设置该参数。 | ||||
|
dfs.client.read.shortcircuit.streams.cache.size |
DFSClient维护着一个用于保存最近已打开的文件描述符的缓存。该参数控制着此缓存的容量。增大该缓存的容量就可以使用更多文件描述符，但是，在涉及大量seek操作的负载上可能带来更好的性能。 | ||||
|
dfs.client.read.shortcircuit.streams.cache.expiry.ms |
该参数控制着文件描述符因为长期不活跃而被关闭之前需要在客户端缓存上下文中驻留的最小时间。 | ||||
|
dfs.client.domain.socket.data.traffic |
这种控制是否我们将试图通过正常的数据流量UNIX域套接字。 | ||||
注意：本文归作者所有，未经作者允许，不得转载
