Android weird test sharding - программирование

Я экспериментирую с тестированием на Android, и я получаю довольно странные результаты:

Как вы можете видеть, adb разделил тесты на две неравномерные группы. Второй имеет в два раза больше тестов, чем первый, и выполняет в два раза больше. Не лучший parallelism, если вы спросите меня.

Есть ли возможность контролировать распределение тестов или, по крайней мере, заставить adb равномерно распределять тесты?

Ответы

Ответ 1

Проследите его.

Когда набор тестов запущен, TestRequestBuilder построен на JUnit Filters. ShardingFilter является одним из них и добавлен. Добавление этого означает, что ранее добавленный Filter был "intersected" с новым методом - public boolean shouldRun(Description description). Если вы посмотрите на него, скорее всего на этот фрагмент:

if (description.isTest()) {
    return (Math.abs(description.hashCode()) % mNumShards) == mShardIndex;
}

И подставляя свои номера (numShards=2), вы заметите, что это всего лишь тест на четность. По статистике это может случиться, что сгенерированное распределение четности HashCode не составляет 50%. Более того, когда некоторые тесты на вашем тестовом классе игнорируются, отключены и переплетены с включенными тестами, вы можете даже больше беспокоить конкретный метод hashcode (Junit Description uniqueId создается из имени метода и класса).

Это просто статистика. Как вы можете видеть в этом ответе:

Как разделяются группы, произвольно