Maven пытается установить каждую банку из частного репозитория

У меня есть частный репозиторий в S3, который я использую для выпуска библиотеки, которую я использую в другом проекте.

Чтобы освободить, у меня есть эта настройка:

а затем в приложении, использующем эту библиотеку:

с .circleci/settings.xml имеющим учетные данные для репо S3:

При запуске mvn --batch-mode --settings.circleci/settings.xml dependency:go-offline происходит что mvn --batch-mode --settings.circleci/settings.xml dependency:go-offline то странное. Он быстро загружает некоторые зависимости:

но затем он пытается загрузить банки, которые должны быть и находятся в Maven Central из репозитория S3:

По прошествии некоторого времени AWS начинает Connection refused (возможно, какая-то система защиты?), И зависимость, которая присутствует только в репозитории S3, не загружается:

Есть идеи, что происходит? Это кажется недетерминированным. Он приходит и идет с изменениями, которые не должны оказывать на него никакого влияния, хотя кажется, что это вполне согласуется с тем, что перестройка не изменяет результат. Я уверен, что учетные данные работают, потому что они используются в двух проектах, а один работает, и они те же, что и в этом проекте, когда он работал.

Это происходит с тех пор, как я переключился с Gradle на Maven, но, поскольку это совершенно другая система, это не очень полезное сравнение, я считаю.

s3://projectx-support/maven2/tech/projectx/projectxcommon/1.0.0-SNAPSHOT/maven-metadata.xml присутствует и содержит следующее:

Дерево зависимостей моего приложения выглядит так:

У меня есть ведение журнала для этого ведра, и одна запись выглядит так (с ожидаемым 404):

Ответы

Ответ 1

Вероятно, основной проблемой было слишком много запросов в репозиторий Amazon S3.

Анализируя журналы, мы можем увидеть более 120 запросов на загрузку файлов с Amazon S3 за короткое время 1-3 секунды:

Maven загружает артефакты, которых нет в Amazon S3, а затем загружает их из Maven Central, эти запросы на Amazon S3 бесполезны
Для каждой загрузки требуется запрос на вход и выход, это странно!
Последние 40 запросов отклоняются
В последнем 40 запросе нет [INFO]. Записан. - выражение поддержки projectx для них, поэтому, возможно, некоторые ограничения входа в систему за короткое время?

Чтобы решить эту проблему, есть как минимум 2 решения:

Force maven для загрузки артефакта ПЕРВЫЙ из Maven Central, а затем отдохнуть от Amazon S3, чтобы уменьшить количество запросов к Amazon S3. Это хорошие решения, но помните, если у вас будет больше артефактов для загрузки только с Amazon S3 вас будет такая же проблема!

По умолчанию Maven Central приходит LAST в репозиторий, чтобы установить самый высокий приоритет и сначала загрузить из Maven Center, мы должны добавить его вручную в FIRST- позиции в наших репозиториях, потому что порядок репозиториев также изменит порядок доступа к репозиторию. (Источник):
```
<repositories>
    <repository>
        <id>central</id>
        <name>Central Repository</name>
        <url>http://repo.maven.apache.org/maven2</url>
        <layout>default</layout>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>
    <repository>
        <id>projectX-aws</id>
        <url>s3://projectX-support/maven2</url>
        <releases><enabled>true</enabled></releases>
        <snapshots><enabled>true</enabled></snapshots>
    </repository>
</repositories>
```
Найти способ изменения пределов запросов по IP в репозитории Amazon S3. Это решение всегда будет работать, но ваш Amazon S3 получит множество бесполезных запросов.

Таким образом, лучший способ решить проблему - это сочетание этих двух решений. :)

Ответ 2

Проблема в том, что Maven Central, как определено Maven, в супер POM, всегда приходит последним в порядке репозитория, поэтому ретрансляция Projectx S3 поражается многими запросами, которые терпят неудачу, и в конечном итоге AWS S3 временно блокирует клиента, прежде чем projectxcommon jar можно загрузить.

Единственный способ иметь Maven Central перед репозиторией S3 вручную определять его в вашем pom.xml до projectx-aws:

<repositories>
    <repository>
        <id>central</id>
        <name>Central Repository</name>
        <url>http://repo.maven.apache.org/maven2</url>
        <layout>default</layout>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>
    <repository>
        <id>projectX-aws</id>
        <url>s3://projectX-support/maven2</url>
        <releases><enabled>true</enabled></releases>
        <snapshots><enabled>true</enabled></snapshots>
    </repository>
</repositories>

Более подробную информацию о настройке нескольких репозиториев и их порядке можно найти по адресу:

Некоторые ответы в Qaru упоминаются в алфавитном порядке. По крайней мере, в Maven 3 это неверно, и только порядок, в котором они определены, имеет значение.