Hadoop SequnceFile.Writer压缩模式及压缩库举例分析

15次阅读
没有评论

这篇文章主要讲解了“Hadoop SequnceFile.Writer 压缩模式及压缩库举例分析”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着丸趣 TV 小编的思路慢慢深入,一起来研究和学习“Hadoop SequnceFile.Writer 压缩模式及压缩库举例分析”吧!

先说明 SequnceFile 的压缩类型(Compression Type)分为三种 NONE,RECORD,BLOCK,通过配置项 io.seqfile.compression.type 指定:

            NONE, Do not compress records   即不压缩

            RECORD, Compress values only, each separately.   每条记录都对 value 进行一次压缩

            BLOCK, Compress sequences of records together in blocks.   块压缩,当缓存的 key 和 value 字节大小达到指定的阈值,则进行压缩,阈值由配置项 io.seqfile.compress.blocksize 指定,默认值为 1000000 字节

 RECORD,BLOCK 使用的压缩算法是由创建 SequnceFile.Writer 时指定的 CompressionOption 决定的, CompressionOption 中 CompressionCodec codec 属性即为压缩编码器,   不指定时默认为 org.apache.hadoop.io.compress.DefaultCodec 对应的底层压缩库为 zlib,除了 DefaultCodec 还有几个其他的 CompressionCodec:GzipCodec  Lz4Codec  SnappyCodec   BZip2Codec 这里不做比较

 DefaultCodec 在实现 zlib 压缩的时候,可以指定使用 libhadoop.so(hadoop 框架提供的 native 库)或 java.util.zip 库。下面了解下如何开启 hadoop native 库或 java zip 库:

 SequnceFile 默认使用的是 org.apache.hadoop.io.compress.DefaultCodec 压缩方式,使用的是 Deflate 的压缩算法

 DefaultCodec 在创建压缩器时会执行类 ZlibFactory.getZlibCompressor(conf) 方法,实现代码片段:

 return (isNativeZlibLoaded(conf)) ?
 new ZlibCompressor(conf) :
 new BuiltInZlibDeflater(ZlibFactory.getCompressionLevel(conf).compressionLevel());

  当加载本地 Zlib 库时,使用的是 ZlibCompressor 压缩器类,否则使用 BuiltInZlibDeflater 类,BuiltInZlibDeflater 类是调用 java 的 java.util.zip.Inflater 类实现;

  其中 isNativeZlibLoaded 是根据 NativeCodeLoader 类是否已经加载 hadoop native 库来判断的,代码如下:

// Try to load native hadoop library and set fallback flag appropriately
 if(LOG.isDebugEnabled()) {
 LOG.debug( Trying to load the custom-built native-hadoop library... 
 }
 try {
 System.loadLibrary( hadoop 
 LOG.debug( Loaded the native-hadoop library 
 nativeCodeLoaded = true;
 } catch (Throwable t) {
 // Ignore failure to load
 if(LOG.isDebugEnabled()) { LOG.debug( Failed to load native-hadoop with error:   + t);
 LOG.debug( java.library.path=  +
 System.getProperty(java.library.path));
 }
 }
 if (!nativeCodeLoaded) {
 LOG.warn( Unable to load native-hadoop library for your platform...   +
  using builtin-java classes where applicable 
 }

  其中 System.loadLibrary(hadoop 在 linux 上查找的就是 libhadoop.so。

  总结:当无法加载本地的 hadoop 库,hadoop 会使用 java.util.zip.Inflater 类来对 SequnceFile 进行压缩;当可以加载到本地 hadoop 库,则使用本地的库。

下面来比较实用 native hadoop 库和不使用 native hadoop 的性能区别。

不使用 native hadoop 即在 jvm 运行参数 java.library.path 中不包含 native 库的路径:

java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib

使用则在后面加上 hadoop 的 native 库路径:

java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib:$HADOOP_HOME/lib/native

虚拟机集群:

50w 数据,sequnceFile 压缩模式为 RECORD, key 为随机的 10 字节,value 为随机 200 字节:

    native lib disabled:    32689ms         after compression 114.07 MB 

    native lib enabled:  30625ms        after compression 114.07 MB

50w 数据,sequnceFile 压缩模式为 BLOCK, key 为随机的 10 字节,value 为随机 200 字节:

    native lib disabled:  11354ms      after compression 101.17 MB

    native lib enabled:    10699ms     after compression 101.17 MB

物理机集群:

50w 数据,sequnceFile 压缩模式为 RECORD, key 为随机的 10 字节,value 为随机 200 字节:

    native lib disabled:    21953ms         after compression 114.07 MB 

    native lib enabled:  24742ms        after compression 114.07 MB

100w 数据,sequnceFile 压缩模式为 RECORD, key 为随机的 10 字节,value 为随机 200 字节:

    native lib disabled:    48555ms         after compression 228.14 MB

    native lib enabled:  45770ms        after compression 228.14 MB

100w 数据,sequnceFile 压缩模式为 RECORD, key 为随机的 10 字节,value 为随机 200 字节, 设置 zlib 压缩级别为 BEST_SPEED:

    native lib disabled:    44872ms         after compression 228.14 MB

    native lib enabled: 51582ms        after compression 228.14 MB

100w 数据,sequnceFile 压缩模式为 BLOCK, key 为随机的 10 字节,value 为随机 200 字节, 设置 zlib 压缩级别为 BEST_SPEED:

    native lib disabled:    14374ms         after compression  203.54 MB

    native lib enabled: 14639ms        after compression  203.54 MB

100w 数据,sequnceFile 压缩模式为 BLOCK, key 为随机的 10 字节,value 为随机 200 字节, 设置 zlib 压缩级别为 DEFAULT_COMPRESSION:

    native lib disabled:    15397ms         after compression  203.54 MB

    native lib enabled: 13669ms        after compression  203.54 MB

分析测试结果,总结如下:

当在不同的压缩模式,或不同的数据量,以及不同的 zlib 压缩级别时,使用 hadoop native 库压缩和使用 java zip 库之间没有太大差别

后续再尝试其他的 native 压缩编码方式:GzipCodec  Lz4Codec  SnappyCodec   BZip2Codec 

感谢各位的阅读,以上就是“Hadoop SequnceFile.Writer 压缩模式及压缩库举例分析”的内容了,经过本文的学习后,相信大家对 Hadoop SequnceFile.Writer 压缩模式及压缩库举例分析这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是丸趣 TV,丸趣 TV 小编将为大家推送更多相关知识点的文章,欢迎关注!