大数据应用常用打包方式

大数据应用常用打包方式一、简介​在提交大数据作业到集群上运行时，通常需要先将项目打成 JAR 包。这里以 Maven 为例，常用打包方式如下：

不加任何插件，直接使用 mvn package 打包；使用 maven-assembly-plugin 插件；使用 maven-shade-plugin 插件；使用 maven-jar-plugin 和 maven-dependency-plugin 插件；以下分别进行详细的说明。

二、mvn package​不在 POM 中配置任何插件，直接使用 mvn package 进行项目打包，这对于没有使用外部依赖包的项目是可行的。但如果项目中使用了第三方 JAR 包，就会出现问题，因为 mvn package 打的 JAR 包中是不含有依赖包，会导致作业运行时出现找不到第三方依赖的异常。这种方式局限性比较大，因为实际的项目往往很复杂，通常都会依赖第三方 JAR。

大数据框架的开发者也考虑到这个问题，所以基本所有的框架都支持在提交作业时使用 --jars 指定第三方依赖包，但是这种方式的问题同样很明显，就是你必须保持生产环境与开发环境中的所有 JAR 包版本一致，这是有维护成本的。

基于上面这些原因，最简单的是采用 All In One 的打包方式，把所有依赖都打包到一个 JAR 文件中，此时对环境的依赖性最小。要实现这个目的，可以使用 Maven 提供的 maven-assembly-plugin 或 maven-shade-plugin 插件。

三、maven-assembly-plugin 插件​Assembly 插件支持将项目的所有依赖、文件都打包到同一个输出文件中。目前支持输出以下文件类型：

ziptartar.gz (or tgz)tar.bz2 (or tbz2)tar.snappytar.xz (or txz)jardirwar3.1 基本使用​在 POM.xml 中引入插件，指定打包格式的配置文件 assembly.xml(名称可自定义)，并指定作业的主入口类：

maven-assembly-plugin src/main/resources/assembly.xml com.heibaiying.wordcount.ClusterWordCountApp assembly.xml 文件内容如下：

jar-with-dependencies jar false / true true runtime org.apache.storm:storm-core 3.2 打包命令​采用 maven-assembly-plugin 进行打包时命令如下：

# mvn assembly:assembly 打包后会同时生成两个 JAR 包，其中后缀为 jar-with-dependencies 是含有第三方依赖的 JAR 包，后缀是由 assembly.xml 中 标签指定的，可以自定义修改。

四、maven-shade-plugin 插件​maven-shade-plugin 比 maven-assembly-plugin 功能更为强大，比如你的工程依赖很多的 JAR 包，而被依赖的 JAR 又会依赖其他的 JAR 包，这样,当工程中依赖到不同的版本的 JAR 时，并且 JAR 中具有相同名称的资源文件时，shade 插件会尝试将所有资源文件打包在一起时，而不是和 assembly 一样执行覆盖操作。

通常使用 maven-shade-plugin 就能够完成大多数的打包需求，其配置简单且适用性最广，因此建议优先使用此方式。

4.1 基本配置​采用 maven-shade-plugin 进行打包时候，配置示例如下：

org.apache.maven.plugins maven-shade-plugin true *:* META-INF/*.SF META-INF/*.sf META-INF/*.DSA META-INF/*.dsa META-INF/*.RSA META-INF/*.rsa META-INF/*.EC META-INF/*.ec META-INF/MSFTSIG.SF META-INF/MSFTSIG.RSA org.apache.storm:storm-core package shade 以上配置来源于 Storm Github，在上面的配置中，排除了部分文件，这是因为有些 JAR 包生成时，会使用 jarsigner 生成文件签名 (完成性校验)，分为两个文件存放在 META-INF 目录下：

a signature file, with a .SF extension；a signature block file, with a .DSA, .RSA, or .EC extension。如果某些包的存在重复引用，这可能会导致在打包时候出现 Invalid signature file digest for Manifest main attributes 异常，所以在配置中排除这些文件。

4.2 打包命令​使用 maven-shade-plugin 进行打包的时候，打包命令和普通打包一样：

# mvn package打包后会生成两个 JAR 包，提交到服务器集群时使用非 original 开头的 JAR。

五、其他打包需求​1. 使用非 Maven 仓库中的 Jar​通常上面两种打包能够满足大多数的使用场景。但是如果你想把某些没有被 Maven 管理 JAR 包打入到最终的 JAR 中，比如你在 resources/lib 下引入的其他非 Maven 仓库中的 JAR，此时可以使用 maven-jar-plugin 和 maven-dependency-plugin 插件将其打入最终的 JAR 中。

org.apache.maven.plugins maven-jar-plugin true lib/ com.heibaiying.BigDataApp org.apache.maven.plugins maven-dependency-plugin copy compile copy-dependencies ${project.build.directory}/lib 2. 排除集群中已经存在的Jar​通常为了避免冲突，官方文档都会建议你排除集群中已经提供的 JAR 包，如下：

Spark 官方文档 Submitting Applications 章节:

When creating assembly jars, list Spark and Hadoop as provided dependencies; these need not be bundled since they are provided by the cluster manager at runtime.

Strom 官方文档 Running Topologies on a Production Cluster 章节：

Then run mvn assembly:assembly to get an appropriately packaged jar. Make sure you exclude the Storm jars since the cluster already has Storm on the classpath.

按照以上说明，排除 JAR 包的方式主要有两种：

对需要排除的依赖添加 provided 标签，此时该 JAR 包会被排除，但是不建议使用这种方式，因为此时你在本地运行也无法使用该 JAR 包；建议直接在 maven-assembly-plugin 或 maven-shade-plugin 的配置文件中使用 进行排除。3. 打包Scala文件​如果你使用到 Scala 语言进行编程，此时需要特别注意 ：默认情况下 Maven 是不会把 scala 文件打入最终的 JAR 中，需要额外添加 maven-scala-plugin 插件，常用配置如下：

org.scala-tools maven-scala-plugin 2.15.1 scala-compile compile **/*.scala scala-test-compile testCompile 参考资料​关于 Maven 各个插件的详细配置可以查看其官方文档：

maven-assembly-plugin : http://maven.apache.org/plugins/maven-assembly-plugin/maven-shade-plugin : http://maven.apache.org/plugins/maven-shade-plugin/maven-jar-plugin : http://maven.apache.org/plugins/maven-jar-plugin/maven-dependency-plugin : http://maven.apache.org/components/plugins/maven-dependency-plugin/关于 maven-shade-plugin 的更多配置也可以参考该博客： maven-shade-plugin 入门指南