Сценарий jenkinsfile параллельный этап

Я пытаюсь написать скриптовый файл Jenkins, используя массивный DSL, который будет иметь параллельные шаги в пределах нескольких этапов.

Вот мой файл jenkins:

node {   
stage('Build') {
    sh 'echo "Build stage"'
}

stage('API Integration Tests') {
    parallel Database1APIIntegrationTest: {
        try {
            sh 'echo "Build Database1APIIntegrationTest parallel stage"'
        }
        finally {
            sh 'echo "Finished this stage"'
        }               

    }, Database2APIIntegrationTest: {
        try {
            sh 'echo "Build Database2APIIntegrationTest parallel stage"'
        }
        finally {
            sh 'echo "Finished this stage"'
        }

    }, Database3APIIntegrationTest: {
        try {
            sh 'echo "Build Database3APIIntegrationTest parallel stage"'
        }
        finally {
            sh 'echo "Finished this stage"'
        }
    }
}

stage('System Tests') {
    parallel Database1APIIntegrationTest: {
        try {
            sh 'echo "Build Database1APIIntegrationTest parallel stage"'
        }
        finally {
            sh 'echo "Finished this stage"'
        }               

    }, Database2APIIntegrationTest: {
        try {
            sh 'echo "Build Database2APIIntegrationTest parallel stage"'
        }
        finally {
            sh 'echo "Finished this stage"'
        }

    }, Database3APIIntegrationTest: {
        try {
            sh 'echo "Build Database3APIIntegrationTest parallel stage"'
        }
        finally {
            sh 'echo "Finished this stage"'
        }
    }
}
}

Я хочу иметь 3 этапа: Build; Интеграционные тесты и системные тесты. В течение двух этапов тестирования я хочу иметь 3 набора тестов, выполняемых параллельно, причем каждый из них относится к другой базе данных.

У меня есть 3 доступных исполнителя. Один на главном и 2 агента, и я хочу, чтобы каждый параллельный шаг выполнялся на любом доступном исполнителе.

Я заметил, что после запуска моего конвейера я вижу только три этапа, каждый из которых выделяется как зеленый. Я не хочу, чтобы просматривать журналы для этого этапа, чтобы определить, были ли какие-либо из параллельных шагов на этом этапе успешными/неустойчивыми/неудачными.

Я хочу видеть 3 этапа на этапах тестирования - отмечен как зеленый, желтый или красный (успех, неустойчивость или неудача).

Я рассмотрел возможность расширения тестов на своих этапах, но понял, что параллельные этапы не поддерживаются (кто-нибудь знает, будет ли это когда-либо поддерживаться?), Поэтому я не могу этого сделать, поскольку конвейер займет слишком много времени, чтобы завершить,

Любое понимание было бы высоко оценено, спасибо

Ответы

Ответ 1

В скриптовом конвейере Jenkins параллель (...) берет карту, описывающую каждый этап, который будет построен. Поэтому вы можете программно построить этапы сборки заранее, шаблон, который позволяет гибкое последовательное/параллельное переключение.
Я использовал код, похожий на этот, где prepareBuildStages возвращает список карт, каждый элемент списка выполняется последовательно, в то время как карта описывает параллельные этапы на этом этапе.

// main script block
// could use eg. params.parallel build parameter to choose parallel/serial 
def runParallel = true
def buildStages

node('master') {
  stage('Initialise') {
    // Set up List<Map<String,Closure>> describing the builds
    buildStages = prepareBuildStages()
    println("Initialised pipeline.")
  }

  for (builds in buildStages) {
    if (runParallel) {
      parallel(builds)
    } else {
      // run serially (nb. Map is unordered! )
      for (build in builds.values()) {
        build.call()
      }
    }
  }

  stage('Finish') {
      println('Build complete.')
  }
}

// Create List of build stages to suit
def prepareBuildStages() {
  def buildList = []

  for (i=1; i<5; i++) {
    def buildStages = [:]
    for (name in [ 'one', 'two', 'three' ] ) {
      def n = "${name} ${i}"
      buildStages.put(n, prepareOneBuildStage(n))
    }
    buildList.add(buildStages)
  }
  return buildList
}

def prepareOneBuildStage(String name) {
  return {
    stage("Build stage:${name}") {
      println("Building ${name}")
      sh(script:'sleep 5', returnStatus:true)
    }
  }
}

Полученный конвейер выглядит как:

Существуют определенные ограничения на то, что может быть вложено в параллельный блок, для получения более подробной информации обратитесь к документации конвейера. К сожалению, большая часть ссылок кажется смещенной в сторону декларативного конвейера, несмотря на то, что она довольно менее гибкая, чем сценарий (IMHO). Страница примеров конвейера была наиболее полезной.

Ответ 2

Вот пример из их документов:

Параллельное выполнение

Пример в приведенном выше разделе выполняет тесты на двух разных платформах в линейной серии. На практике, если выполнение контрольной проверки занимает 30 минут, этап "Тест" теперь занимает 60 минут!

К счастью, Pipeline имеет встроенную функциональность для параллельного выполнения частей Scripted Pipeline, реализованную в метко названном параллельном шаге.

Рефакторинг приведенного выше примера для использования параллельного шага:

// Jenkinsfile (Scripted Pipeline)


stage('Build') {
    /* .. snip .. */
}

stage('Test') {
    parallel linux: {
        node('linux') {
            checkout scm
            try {
                unstash 'app'
                sh 'make check'
            }
            finally {
                junit '**/target/*.xml'
            }
        }
    },
    windows: {
        node('windows') {
            /* .. snip .. */
        }
    }
}

Ответ 3

Я также пробовал подобные шаги, чтобы выполнить параллельные этапы и отобразить их все в виде этапа. Вы должны написать этап внутри параллельного шага, как показано в следующем блоке кода.

// Jenkinsfile (Scripted Pipeline)

stage('Build') {
    /* .. Your code/scripts .. */
}

stage('Test') {
    parallel 'linux': {
        stage('Linux') {
            /* .. Your code/scripts .. */
        }
    }, 'windows': {
        stage('Windows') {
            /* .. Your code/scripts .. */
        }
    }
}

Ответ 4

Я несколько раз использовал stage{} в параллельных блоках. Затем каждый этап отображается в представлении "Сцена". Родительский этап, который содержит parallel, не включает время для всех параллельных этапов, но каждый параллельный этап отображается на сцене.

В синем океане параллельные этапы появляются отдельно, а не на этапах. Если есть родительский этап, он отображается как родительский элемент параллельных этапов.

Если у вас нет такого же опыта, возможно, потребуется обновление плагина.