Неверный или поврежденный файл JAR, созданный плагином Maven shade

После добавления зависимости Maven jFree к моему существующему приложению я не могу выполнить созданную банку.

Единственное сообщение об ошибке, которое я получаю, следующее:

java -jar target/com.company.product-1.0.0-SNAPSHOT.jar 
Error: Invalid or corrupt jarfile target/com. company.product-1.0.0-SNAPSHOT.jar

Полный pom.xml выглядит следующим образом:

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
<modelVersion>4.0.0</modelVersion
<groupId>com.mycompany</groupId>
<artifactId>com.mycompany.test</artifactId>
<name>${project.artifactId}</name>
<version>1.0.0-SNAPSHOT</version>

<properties>
    <java-version>1.7</java-version>
    <org.springframework-version>3.1.1.RELEASE</org.springframework-version>
    <org.springframework.data-version>1.0.3.RELEASE</org.springframework.data-version>
    <org.springframework.ws-version>2.0.4.RELEASE</org.springframework.ws-version>
    <org.springframework.ws.oxm-version>1.5.10</org.springframework.ws.oxm-version>
    <org.aspectj-version>1.6.12</org.aspectj-version>
    <org.slf4j-version>1.5.10</org.slf4j-version>
    <selenium-java-version>2.25.0</selenium-java-version>
    <browser-mob-version>2.0-beta-6</browser-mob-version>
</properties>

<dependencies>

    <!-- Hint A: If we delete this dependency it works -->
    <dependency>
        <groupId>org.jfree</groupId>
        <artifactId>jfreechart</artifactId>
        <version>1.0.14</version>
                    <exclusions>
            <exclusion>
                <artifactId>itext</artifactId>
                <groupId>com.lowagie</groupId>
            </exclusion>
        </exclusions>
    </dependency>

    <dependency>
        <groupId>com.itextpdf</groupId>
        <artifactId>itextpdf</artifactId>
        <version>5.3.2</version>
    </dependency>

    <dependency>
        <groupId>de.schlichtherle.io</groupId>
        <artifactId>truezip</artifactId>
        <version>6.6</version>
    </dependency>

    <dependency>
        <groupId>log4j</groupId>
        <artifactId>apache-log4j-extras</artifactId>
        <version>1.1</version>
    </dependency>

    <!-- Caching with ehcache -->
    <dependency>
        <groupId>net.sf.ehcache</groupId>
        <artifactId>ehcache</artifactId>
        <version>2.5.2</version>
        <type>pom</type>
    </dependency>

    <!-- Spring -->
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-context</artifactId>
        <version>${org.springframework-version}</version>
        <exclusions>
            <!-- Exclude Commons Logging in favor of SLF4j -->
            <exclusion>
                <groupId>commons-logging</groupId>
                <artifactId>commons-logging</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-webmvc</artifactId>
        <version>${org.springframework-version}</version>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-core</artifactId>
        <version>${org.springframework-version}</version>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-beans</artifactId>
        <version>${org.springframework-version}</version>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-web</artifactId>
        <version>${org.springframework-version}</version>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-aop</artifactId>
        <version>${org.springframework-version}</version>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-context-support</artifactId>
        <version>${org.springframework-version}</version>
    </dependency>

    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-tx</artifactId>
        <version>${org.springframework-version}</version>
    </dependency>

    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-orm</artifactId>
        <version>${org.springframework-version}</version>
    </dependency>

    <dependency>
        <groupId>org.springframework.security</groupId>
        <artifactId>spring-security-core</artifactId>
        <version>3.0.3.RELEASE</version>
    </dependency>

    <dependency>
        <groupId>org.springframework.security</groupId>
        <artifactId>spring-security-web</artifactId>
        <version>3.0.3.RELEASE</version>
    </dependency>

    <dependency>
        <groupId>org.springframework.security</groupId>
        <artifactId>spring-security-config</artifactId>
        <version>3.0.3.RELEASE</version>
    </dependency>

    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-test</artifactId>
        <version>${org.springframework-version}</version>
        <scope>test</scope>
    </dependency>
    <!-- Hibernate -->
    <dependency>
        <groupId>org.hibernate.java-persistence</groupId>
        <artifactId>jpa-api</artifactId>
        <version>2.0-cr-1</version>
    </dependency>

    <dependency>
        <groupId>org.hibernate</groupId>
        <artifactId>hibernate-entitymanager</artifactId>
        <version>3.5.1-Final</version>
    </dependency>

    <!-- Database Connectors (HSQL should be removed later) -->
    <dependency>
        <groupId>hsqldb</groupId>
        <artifactId>hsqldb</artifactId>
        <version>1.8.0.7</version>
    </dependency>

    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.16</version>
    </dependency>

    <!-- AspectJ -->
    <dependency>
        <groupId>org.aspectj</groupId>
        <artifactId>aspectjrt</artifactId>
        <version>${org.aspectj-version}</version>
    </dependency>

    <!-- Logging -->
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>${org.slf4j-version}</version>
    </dependency>

    <dependency>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
        <version>1.2.16</version>
    </dependency>

    <!-- @Inject -->
    <dependency>
        <groupId>javax.inject</groupId>
        <artifactId>javax.inject</artifactId>
        <version>1</version>
    </dependency>

    <dependency>
        <groupId>javax.servlet</groupId>
        <artifactId>jstl</artifactId>
        <version>1.2</version>
    </dependency>

    <!-- Spring Data JPA dependencies -->
    <dependency>
        <groupId>org.springframework.data</groupId>
        <artifactId>spring-data-jpa</artifactId>
        <version>${org.springframework.data-version}</version>
    </dependency>
    <dependency>
        <groupId>javax.ws.rs</groupId>
        <artifactId>jsr311-api</artifactId>
        <version>1.1.1</version>
    </dependency>

    <dependency>
        <groupId>org.springframework.ws</groupId>
        <artifactId>spring-oxm</artifactId>
        <version>${org.springframework.ws.oxm-version}</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.ws</groupId>
        <artifactId>spring-xml</artifactId>
        <version>${org.springframework.ws-version}</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.ws</groupId>
        <artifactId>spring-ws-core</artifactId>
        <version>${org.springframework.ws-version}</version>
    </dependency>
    <dependency>
        <groupId>javax.xml</groupId>
        <artifactId>jaxb-impl</artifactId>
        <version>2.1</version>
    </dependency>
    <dependency>
        <groupId>javax.xml</groupId>
        <artifactId>jaxb-api</artifactId>
        <version>2.1</version>
    </dependency>

    <!-- Test -->
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.7</version>
        <scope>test</scope>
    </dependency>

    <dependency>
        <groupId>org.mockito</groupId>
        <artifactId>mockito-all</artifactId>
        <version>1.9.0</version>
        <scope>test</scope>
    </dependency>

    <!-- Common Utils -->
    <dependency>
        <groupId>commons-lang</groupId>
        <artifactId>commons-lang</artifactId>
        <version>2.6</version>
    </dependency>

    <dependency>
        <groupId>commons-collections</groupId>
        <artifactId>commons-collections</artifactId>
        <version>3.2.1</version>
    </dependency>

    <dependency>
        <groupId>commons-cli</groupId>
        <artifactId>commons-cli</artifactId>
        <version>1.2</version>
    </dependency>       

    <!-- Selenium -->
    <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-java</artifactId>
        <version>${selenium-java-version}</version>
    </dependency>

    <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-firefox-driver</artifactId>
        <version>${selenium-java-version}</version>
    </dependency>

    <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-chrome-driver</artifactId>
        <version>${selenium-java-version}</version>
    </dependency>

    <!-- CSV Lib for Keyword Checker -->
    <dependency>
        <groupId>net.sf.opencsv</groupId>
        <artifactId>opencsv</artifactId>
        <version>2.0</version>
    </dependency>

    <!-- Google Places API -->
    <dependency>
        <groupId>com.google.api-client</groupId>
        <artifactId>google-api-client</artifactId>
        <version>1.10.3-beta</version>
        <exclusions>
            <exclusion>
                <artifactId>jackson-core-asl</artifactId>
                <groupId>org.codehaus.jackson</groupId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>com.google.api-client</groupId>
        <artifactId>google-api-client-appengine</artifactId>
        <version>1.10.3-beta</version>
    </dependency>

    <dependency>
        <groupId>org.codehaus.jackson</groupId>
        <artifactId>jackson-mapper-asl</artifactId>
        <version>1.9.9</version>
    </dependency>

    <!-- Google Geocode -->
    <dependency>
        <groupId>com.google.code.geocoder-java</groupId>
        <artifactId>geocoder-java</artifactId>
        <version>0.9</version>
    </dependency>

    <dependency>
        <groupId>com.googlecode.json-simple</groupId>
        <artifactId>json-simple</artifactId>
        <version>1.1</version>
    </dependency>

    <dependency>
        <groupId>com.googlecode.json-simple</groupId>
        <artifactId>json-simple</artifactId>
        <version>1.1</version>
    </dependency>

    <dependency>
        <groupId>net.sf.jgrapht</groupId>
        <artifactId>jgrapht</artifactId>
        <version>0.8.3</version>
    </dependency>

    <dependency>
        <groupId>jgraph</groupId>
        <artifactId>jgraph</artifactId>
        <version>5.13.0.0</version>
    </dependency>

    <!-- Apache Http Client -->
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.2.1</version>
    </dependency>

    <!-- Amazon web services client -->
    <dependency>
        <groupId>com.amazonaws</groupId>
        <artifactId>aws-java-sdk</artifactId>
        <version>1.2.15</version>
        <exclusions>
            <exclusion>
                <artifactId>jackson-core-asl</artifactId>
                <groupId>org.codehaus.jackson</groupId>
            </exclusion>
        </exclusions>
    </dependency>

    <!-- Docx4j - reading excel files  -->
    <dependency>
        <groupId>org.docx4j</groupId>
        <artifactId>docx4j</artifactId>
        <version>2.8.0</version>
    </dependency>

    <!-- Browser Mob Proxy -->

    <dependency>
        <groupId>biz.neustar</groupId>
        <artifactId>browsermob-proxy</artifactId>
        <version>${browser-mob-version}</version>
        <exclusions>
            <exclusion>
                <groupId>org.seleniumhq.selenium</groupId>
                <artifactId>selenium-api</artifactId>
            </exclusion>
            <exclusion>
                <artifactId>icu4j</artifactId>
                <groupId>com.ibm.icu</groupId>
            </exclusion>
            <exclusion>
                <artifactId>jackson-mapper-asl</artifactId>
                <groupId>org.codehaus.jackson</groupId>
            </exclusion>
            <exclusion>
                <artifactId>jackson-core-asl</artifactId>
                <groupId>org.codehaus.jackson</groupId>
            </exclusion>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-jdk14</artifactId>
            </exclusion>
        </exclusions>
    </dependency>

    <!-- Hint B: If we copy this Apache POI dependencies to the top, it works -->
    <!-- Apache POI - for reading xlsx files -->
    <dependency>
        <groupId>org.apache.poi</groupId>
        <artifactId>poi</artifactId>
        <version>3.8</version>
    </dependency>

    <dependency>
        <groupId>org.apache.poi</groupId>
        <artifactId>poi-ooxml</artifactId>
        <version>3.8</version>
    </dependency>

    <dependency>
        <groupId>org.apache.xmlbeans</groupId>
        <artifactId>xmlbeans</artifactId>
        <version>2.5.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.poi</groupId>
        <artifactId>ooxml-schemas</artifactId>
        <version>1.1</version>
    </dependency>

</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <configuration>
                <source>${java-version}</source>
                <target>${java-version}</target>
            </configuration>
        </plugin>

        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>1.7</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <transformers>

                            <!-- must be SURE to do this with both spring.handlers and spring.schemas. 
                                otherwise you won't be able to use them in the spring config files. -->
                            <transformer implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                <resource>META-INF/spring.handlers</resource>
                            </transformer>

                            <transformer implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                <resource>META-INF/spring.schemas</resource>
                            </transformer>

                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <mainClass>com.mycompany.test.Start</mainClass>
                            </transformer>
                        </transformers>

                        <filters>
                          <filter>
                            <artifact>bouncycastle:bcprov-jdk15</artifact>
                            <excludes>
                              <exclude>META-INF/BCKEY.DSA</exclude>
                              <exclude>META-INF/BCKEY.SF</exclude>
                              <exclude>META-INF/MANIFEST.MF</exclude>
                            </excludes>
                          </filter>
                        </filters>                          

                    </configuration>
                </execution>
            </executions>
        </plugin>

    </plugins>
</build>

Я не получаю никакой другой отладочной информации, если я выполняю банку.

Есть ли возможность проверить jarfile? Или что-то вроде java -verbose...?

Шаги для воспроизведения:

  • создать новую папку
  • Скопируйте Pom.xml сверху в папку.
  • Сохраните небольшую `public static void main (...). в src/main/java/com/mycompany/test/Start.java
  • выполнить mvn clean package
  • выполнить java -jar target/com.mycompany.test-1.0.0-SNAPSHOT.jar

Приложение 1:

package com.mycompany.test;


public class Start
{
    public static void main(final String[] args) 
    {
        System.out.println("If you are able to get this printed with java -jar you made it. Thanks a lot! :)");
    }
}

Изменить 1:

Я начал удалять некоторые зависимости, чтобы идентифицировать проблему. Но у меня нет четкого понимания того, что пошло не так.

Теперь я понял (см. подсказку B в pom.xml), что перемещение зависимостей POI Apache с вершиной решит проблему. Но все же я не знаю, почему и в чем проблема.

Ответы

Ответ 1

На моем конце, если я построю проект с помощью pom.xml, который вы нам показали, с apache-poi, объявленным после jfreechart, то, как вы уже упоминали, я получаю поврежденный JAR. Перестановка порядка этих двух зависимостей действительно дает мне правильный JAR.

У меня есть предыдущий опыт работы с maven-shade-plugin, и когда я его использовал, у меня были проблемы с созданным каталогом JAR META-INF, поэтому я проверил это на наличие дефектов.

Я попытался скопировать (используя Total Commander) каталог META-INF где-то в моей локальной файловой системе, и я заметил, что были ошибки при копировании файлов в META-INF/licences/. Если я попытался скопировать их где-то отдельно, и это сработало, но я не смог скопировать все это. Я пришел к выводу, что архив JAR/ZIP поврежден.

Что я сделал, я ввел этот JAR в Total Commander (Ctrl + PgDown поверх JAR файла), и я переименовал thirdpartylicenses.txt в thirdpartylicenses.txt.wtf. Выполнение этого Total Commander предлагает сохранить это, и оно переупаковывает JAR (у меня установлен плагин TotalAzip Total Commander packer - если кто-то пытается это сделать, и он не работает, попробуйте с этим установленным).

После этого. Он работает.

(Я также пытался переупаковать все это, не переименовывая ничего, используя команды Cygwin unzip/zip, но это не помогло, новый архив все еще был поврежден. Total Commander или плагин, который я упомянул делает некоторую магию.)

Я думаю, что maven-shade-plugin просто создает поврежденный или недопустимый архив ZIP/JAR. Я не уверен, почему и, возможно, то, что я описал, не будет работать для кого-либо еще, но я думал, что упомянул об этом, возможно, я мог бы помочь.

Я не мог просто оставить это в покое, поэтому я углубился и думаю, что нашел ответ.

Плохой JAR содержит 65608 записей. Хороший JAR содержит 65450 записей.

Угадайте, что верхний предел количество записей для обычного ZIP файла? Да. В статье Wiki говорится о формате ZIP64, который преодолевает это ограничение.

В хорошем JAR меньше записей, потому что фактические зависимости меняются из-за позиции объявлений зависимостей в вашем pom.xml. (Как описано в этом ответе.)

Я подсчитал записи вроде этого.

Collections.list(new JarFile("...").entries()).size();

Я использовал Java 7, который, кажется, поддерживает новый формат ZIP64, поэтому, возможно, если кто-то попытается подсчитать записи в плохом JAR, используя Java 5 или 6, получите ошибку (я не уверен, хотя).

Я также попытался запустить JAR взорван. Я распаковал весь JAR в каталог и запускал все это.

java -cp <dir/ com.mycompany.test.Start

Работал как шарм.

Нижняя линия. Не злоупотребляйте maven-shade-plugin.

У меня есть проект на работе, где я строю свой проект следующим образом.

  • Я копирую зависимости проекта, используя maven-dependency-plugin. Оформить заказ copy-dependencies цель. Это копирует ваши зависимости в target/dependency, если я правильно помню.

  • Использование maven-jar-plugin Я добавляю эти зависимости в мой последний JAR MANIFEST.MF как Class-Path записи, используя эти параметры в конфигурации плагинов.

    <classpathPrefix>dependency/</classpathPrefix>
<addClasspath>true</addClasspath>

    Итак, у меня будут Class-Path записи, такие как dependency/<artifactId>-<version>.jar и т.д.

  • После этого я использую maven-assembly-plugin для создания дистрибутива ZIP, который содержит мой последний JAR и всю папку dependency/.
  • Когда я развертываю свое приложение, я могу запустить его, как java -jar final.jar.

В первую очередь, я решил использовать это решение, потому что в моем проекте я использую некоторые JAR Bouncy Castle, у которых JAR имеют некоторые экстравагантные то же самое и внутри их каталога META-INF. Когда я использовал maven-shade-plugin для создания моего окончательного runnable JAR, все ад сломался, и я получил противный этот метод не удалось найти, и эта подпись не совсем правильная.

Вы тоже должны делать что-то подобное. Этот бизнес тени Maven слишком теневой, чтобы быть полезным (каламбур).

Здесь сообщение в блоге по всему процессу, который я попытался описать чуть выше (спасибо baba), возможно, это поможет кому-то в будущем.

Ответ 2

Я запускал mvn dependency:tree с вашей настройкой, и это будет иметь значение, если вы переместите org.apache.poi выше в объявлениях зависимостей.

Это взято из Введение в механизм зависимостей относительно порядка зависимостей:

Согласование зависимостей - это определяет, какая версия зависимости будет использоваться при обнаружении нескольких версий артефакта. В настоящее время Maven 2.0 поддерживает только "ближайшее определение", что означает, что он будет использовать версию ближайшей зависимости от вашего проекта в дереве зависимостей. Вы всегда можете гарантировать версию, объявив ее явно в своем проекте POM. Обратите внимание, что если две версии зависимостей находятся на одной и той же глубине в дереве зависимостей, пока Maven 2.0.8 не был определен, какой из них выиграл бы, , но поскольку Maven 2.0.9 это порядок в объявлении, который считается: первый объявление выигрывает.

Кажется, что конфликт в вашем разрешении зависит от вашего коррумпированного файла jar (не знаю, почему он поврежден).

В любом случае, вот разница между двумя порами (слева - начало, справа - с org.apache.poi выше):

enter image description hereenter image description here

(Возможно, это трудно увидеть на снимках, но если вы увеличите масштаб, вы увидите.)

Большая разница заключается в том, что в нерабочем pom org.apache.httpcomponents:httpcore:jar:4.2.1 имеет зависимость от commons-codec:commons-codec:jar:1.6, а в рабочей папке, зависимость которой была переопределена с помощью commons-codec:commons-codec:jar:1.5.

Я предполагаю, что существует проблема с 1.6 версией commons-codec вместе с org.apache.poi:poi:jar:3.8, которая нуждается в версии 1.5.

Edit

После этот отличный ответ, который объясняет, почему файл jar поврежден (слишком много записей в банке). Я просто хочу добавить простое решение, которое, по крайней мере, работает для ваша конкретная проблема.

Добавьте тег <minimizeJar>true</minimizeJar> в конфигурацию maven-shade-plugin.

После этого ваша рабочая строка java -jar target/com.mycompany.test-1.0.0-SNAPSHOT.jar будет работать.

Ответ 3

Мне интересно, есть ли у вас более одной версии jfree jar в вашем проекте, а плагин-тень подбирает неправильный. Вы проверили uber-jar для классов jfree и сравнили их с jfree jar, которые вы ожидаете присутствовать? Вы можете открыть банку с помощью winzip или эквивалента.