Unit test script возвращает код выхода = 0, даже если тесты не выполняются

Мое тестирование script выглядит следующим образом:

import os
import sys
from unittest import defaultTestLoader as loader, TextTestRunner

path_to_my_project = os.path.dirname(os.path.abspath(__file__)) + '/../'
sys.path.insert(0, path_to_my_project)

suite = loader.discover('my_project')
runner = TextTestRunner()
runner.run(suite)

Если я запустил этот script, вывод:

$ python3 runtest.py
.....F.....
======================================================================
FAIL: test_insert (fate.test.test_operators.OperatorTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/home/chiel/Projects/tfate/libs/fate/../fate/test/test_operators.py", line 16, in test_insert
    self.assertEqual(expected, self.session.text[:14])
AssertionError: 'Foo import sys$' != 'Foo import sys'
- Foo import sys$
?               -
+ Foo import sys


----------------------------------------------------------------------
Ran 12 tests in 0.030s

FAILED (failures=1)

И вывести нулевой код:

$ echo $?
0

Однако python docs сообщают, что "по умолчанию основные вызовы sys.exit() имеют код выхода, указывающий на успешность или неудачу запуска тестов".

Что случилось с моим script?

Ответы

Ответ 1

Код не использует unittest.main. Вам нужно проверить результат с помощью TestResult.wasSuccessful и вызвать sys.exit вручную.

import sys

....

ret = not runner.run(suite).wasSuccessful()
sys.exit(ret)

Ответ 2

У меня возникли проблемы с получением результатов TextTestRunner. Для таких, как я, вот как это работает:

"""Run all tests inside of *_test.py modules located in the same directory."""


import sys
import unittest


if __name__ == '__main__':
    test_suite = unittest.defaultTestLoader.discover('.', '*_test.py')
    test_runner = unittest.TextTestRunner(resultclass=unittest.TextTestResult)
    result = test_runner.run(test_suite)
    sys.exit(not result.wasSuccessful())