Тесты Django жалуются на недостающие таблицы

Когда я запускаю свой тест с моей моделью Customer, я получаю следующую ошибку:

DatabaseError: (1146, "Table 'test_mcif2.customer' doesn't exist")

Я не совсем удивлен, потому что у меня есть проект Django, связанный с "старой" базой данных. Поскольку мои таблицы не были созданы "способом Django", это не шокирует, что Django не сможет разговаривать с ними без каких-либо финалистов. Здесь моя модель:

from django.db import models
from django.db import connection, transaction
from mcif.models.mcif_model import McifModel

class Customer(McifModel):

    class Meta:
        db_table = u'customer'
        app_name = 'mcif'

    id = models.BigIntegerField(primary_key=True)
    customer_number = models.CharField(unique=True, max_length=255)
    social_security_number = models.CharField(unique=True, max_length=33)
    name = models.CharField(unique=True, max_length=255)
    phone = models.CharField(unique=True, max_length=255)
    deceased = models.IntegerField(unique=True, null=True, blank=True)
    do_not_mail = models.IntegerField(null=True, blank=True)
    created_at = models.DateTimeField()
    updated_at = models.DateTimeField()

    def distinguishing_column_names(self):
        return ['name', 'customer_number', 'social_security_number', 'phone']

Любая идея, почему именно это не работает?

Изменить: Здесь McifModel:

from django.db import models
from django.db import connection, transaction

class McifModel(models.Model):
    class Meta:
        abstract = True

    def upsert(self):
        cursor = connection.cursor()
        cursor.execute(self.upsert_sql())
        transaction.commit_unless_managed()
        return self

    def value_list(self):
        return ','.join(map(lambda column_name: "'{c}'".format(c=getattr(self, column_name)), self.distinguishing_column_names()))

    def upsert_sql(self):
        column_names = ','.join(self.distinguishing_column_names())
        return "INSERT IGNORE INTO {t} ({c}) VALUES ({v})".format(t=self._meta.db_table, c=column_names, v=self.value_list())

    @classmethod
    def save_from_row(cls, row):
        object = cls()
        map(lambda column_name: setattr(object, column_name, row.value(object._meta.db_table, column_name)), object.distinguishing_column_names())
        return object.upsert()

Изменить: я принял совет tarequeh и поместил содержимое файла Caktus в mcif/utils.py. Я также установил TEST_RUNNER = 'mcif.utils.ManagedModelTestRunner'. Если я иду на консоль, я могу проверить, что Customer неуправляем:

>>> [m for m in get_models() if not m._meta.managed]
[<class 'mcif.models.customer.Customer'>]

Однако мой тест по-прежнему жалуется, что таблица не существует. Что мне не хватает?

Здесь мои settings.py:

# Django settings for mcifdjango project.

DEBUG = True
TEMPLATE_DEBUG = DEBUG

ADMINS = (
    ('Jason Swett', '[email protected]'),
)

MANAGERS = ADMINS

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql', # Add 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'oracle'.
        'NAME': 'xxxxx',                # Or path to database file if using sqlite3.
        'USER': 'xxxxx',                       # Not used with sqlite3.
        'PASSWORD': 'xxxxx',           # Not used with sqlite3.
        'HOST': '',                           # Set to empty string for localhost. Not used with sqlite3.
        'PORT': '',                           # Set to empty string for default. Not used with sqlite3.
    }
}

# Local time zone for this installation. Choices can be found here:
# http://en.wikipedia.org/wiki/List_of_tz_zones_by_name
# although not all choices may be available on all operating systems.
# On Unix systems, a value of None will cause Django to use the same
# timezone as the operating system.
# If running in a Windows environment this must be set to the same as your
# system time zone.
TIME_ZONE = 'America/Chicago'

# Language code for this installation. All choices can be found here:
# http://www.i18nguy.com/unicode/language-identifiers.html
LANGUAGE_CODE = 'en-us'

SITE_ID = 1

# If you set this to False, Django will make some optimizations so as not
# to load the internationalization machinery.
USE_I18N = True

# If you set this to False, Django will not format dates, numbers and
# calendars according to the current locale
USE_L10N = True

# Absolute path to the directory that holds media.
# Example: "/home/media/media.lawrence.com/"
MEDIA_ROOT = ''

# URL that handles the media served from MEDIA_ROOT. Make sure to use a
# trailing slash if there is a path component (optional in other cases).
# Examples: "http://media.lawrence.com", "http://example.com/media/"
MEDIA_URL = ''

# URL prefix for admin media -- CSS, JavaScript and images. Make sure to use a
# trailing slash.
# Examples: "http://foo.com/media/", "/media/".
ADMIN_MEDIA_PREFIX = '/media/'

# Make this unique, and don't share it with anybody.
SECRET_KEY = '#7+qm%[email protected]_i&sqmu!n=4sa0&i0_#)m99*w$fbk3%#'

# List of callables that know how to import templates from various sources.
TEMPLATE_LOADERS = (
    'django.template.loaders.filesystem.Loader',
    'django.template.loaders.app_directories.Loader',
#     'django.template.loaders.eggs.Loader',
)

MIDDLEWARE_CLASSES = (
    'django.middleware.common.CommonMiddleware',
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.middleware.csrf.CsrfViewMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
)

ROOT_URLCONF = 'mcifdjango.urls'

TEMPLATE_DIRS = (
    # Put strings here, like "/home/html/django_templates" or "C:/www/django/templates".
    # Always use forward slashes, even on Windows.
    # Don't forget to use absolute paths, not relative paths.
)

INSTALLED_APPS = (
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.sites',
    'django.contrib.messages',
    'django.contrib.admin',
    'django_extensions',
    'mcif',
    # Uncomment the next line to enable the admin:
    # 'django.contrib.admin',
    # Uncomment the next line to enable admin documentation:
    # 'django.contrib.admindocs',
)

TEST_RUNNER = 'mcif.utils.ManagedModelTestRunner'

import os
ROOTDIR = os.path.abspath(os.path.dirname(__file__))
TEMPLATE_DIRS = (
    # Put strings here, like "/home/html/django_templates" or "C:/www/django/templates".
    # Always use forward slashes, even on Windows.
    # Don't forget to use absolute paths, not relative paths.
    ROOTDIR + '/mcif/templates',
)

Изменить 2:

Теперь мой класс Customer:

from django.db import models
from django.db import connection, transaction
from mcif.models.mcif_model import McifModel

class Customer(McifModel):

    class Meta:
        db_table = u'customer'
        managed = False

    id = models.BigIntegerField(primary_key=True)
    customer_number = models.CharField(unique=True, max_length=255)
    social_security_number = models.CharField(unique=True, max_length=33)
    name = models.CharField(unique=True, max_length=255)
    phone = models.CharField(unique=True, max_length=255)
    deceased = models.IntegerField(unique=True, null=True, blank=True)
    do_not_mail = models.IntegerField(null=True, blank=True)
    created_at = models.DateTimeField()
    updated_at = models.DateTimeField()

    def distinguishing_column_names(self):
        return ['name', 'customer_number', 'social_security_number', 'phone']

Вот что я получаю, когда запускаю тест:

$ ./manage.py test mcif.CustomerUpsertTest
Creating test database 'default'...
Creating table auth_permission
Creating table auth_group_permissions
Creating table auth_group
Creating table auth_user_user_permissions
Creating table auth_user_groups
Creating table auth_user
Creating table auth_message
Creating table django_content_type
Creating table django_session
Creating table django_site
Creating table django_admin_log
Installing index for auth.Permission model
Installing index for auth.Group_permissions model
Installing index for auth.User_user_permissions model
Installing index for auth.User_groups model
Installing index for auth.Message model
Installing index for admin.LogEntry model
No fixtures found.
E
======================================================================
ERROR: test_upsert (mcif.tests.customer_upsert_test.CustomerUpsertTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/home/jason/projects/mcifdjango/mcif/tests/customer_upsert_test.py", line 9, in test_upsert
    customer.upsert()
  File "/home/jason/projects/mcifdjango/mcif/models/mcif_model.py", line 11, in upsert
    cursor.execute(self.upsert_sql())
  File "/usr/lib/pymodules/python2.6/django/db/backends/mysql/base.py", line 86, in execute
    return self.cursor.execute(query, args)
  File "/usr/lib/pymodules/python2.6/MySQLdb/cursors.py", line 166, in execute
    self.errorhandler(self, exc, value)
  File "/usr/lib/pymodules/python2.6/MySQLdb/connections.py", line 35, in defaulterrorhandler
    raise errorclass, errorvalue
DatabaseError: (1146, "Table 'test_mcif_django.customer' doesn't exist")

----------------------------------------------------------------------
Ran 1 test in 3.724s

FAILED (errors=1)
Destroying test database 'default'...

Ответы

Ответ 1

Поскольку вы используете устаревшую базу данных, вы, вероятно, не добавляете имя приложения в INSTALLED_APPS. Если приложение не включено в INSTALLED_APPS, таблицы для моделей приложений не будут созданы на syncdb. Это работает для вас в производстве, поскольку у вас уже есть таблица, но не в тестовой среде.

Вы можете принять любое из следующих действий:

  • Способ supermonkeypatch: вытащите app_name из класса Customer Meta, поместите модель в файл models.py внутри имени модуля python mcif и добавьте mcif в INSTALLED_APPS - только для тестирования

  • Лучше всего: расширьте DjangoTestSuiteRunner и переопределите setup_test_environment, чтобы вызвать супер, а затем создать свою устаревшую таблицу вручную в тестовой базе данных.

  • Самый приятный способ: поместите свою модель в правильно названный модуль приложения. Удалите app_name из модели Meta, но добавьте managed = False docs. Включить имя приложения в INSTALLED_APPS. Теперь django не создаст таблицу для этой модели. Затем используйте хороший фрагмент, который собрал группа Caktus для запуска ваших тестов.

Ура!

Изменить - как использовать переопределенный DjangoTestSuiteRunner

Для этого вам понадобится как минимум Django 1.2.

Скопируйте код из здесь. Поместите его в utils.py внутри приложения mcif.

Добавьте/отредактируйте следующее в settings.py:

TEST_RUNNER = 'mcif.utils.ManagedModelTestRunner'

Теперь, когда вы запускаете тесты, все неуправляемые таблицы будут обрабатываться как управляемая таблица только для продолжительности теста. Таким образом, таблицы будут созданы до запуска тестов.

Обратите внимание на эту часть кода, в которой происходит волшебство.

self.unmanaged_models = [m for m in get_models() if not m._meta.managed]
for m in self.unmanaged_models:
    m._meta.managed = True

2nd Edit: Возможные Gotchas

Убедитесь в следующем:

  • Пользователь БД имеет привилегию создавать базы данных, а не только таблицы, потому что django попытается создать тестовую базу данных
  • В тестовых случаях расширяется django.test.TransactionTestCase, поскольку у вас есть транзакционное поведение
  • Если ни одно из приведенных выше случаев не применимо, поместите pdb в ManagedModelTestRunner setup_test_environment, чтобы убедиться, что код достигнут. Поскольку, если этот код достигнут, таблица должна быть создана

3rd Edit: Отладка Внутри mcif.utils.ManagedModelTestRunner замените функцию setup_test_environment следующим и дайте мне знать, изменится ли результат вашего теста:

def setup_test_environment(self, *args, **kwargs):
    print "Loading ManagedModelTestRunner"
    from django.db.models.loading import get_models
    self.unmanaged_models = [m for m in get_models()
                             if not m._meta.managed]
    for m in self.unmanaged_models:
        print "Modifying model %s to be managed for testing" % m
        m._meta.managed = True
    super(ManagedModelTestRunner, self).setup_test_environment(*args, **kwargs)

Ответ 2

Решения, представленные tarequeh, работали для меня после переопределения DATABASE_ROUTERS.

Я использую маршрутизаторы, чтобы предотвратить запись в устаревшей базе данных. Чтобы обойти это, я создал файл test_settings со следующим содержимым:

from settings import *

DEBUG = True

TEST_RUNNER = 'legacy.utils.ManagedModelTestRunner'

DATABASE_ROUTERS = []

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.sqlite3',
        'NAME': os.path.join(HERE, 'test.db'),
    },
}

Затем при выполнении тестов:

python manage.py test [app_name] --settings=test_settings

Ответ 3

Недостаточно информации выше, чтобы ответить на ваш первый вопрос. Однако, как только вы устраните эту проблему, вы, вероятно, захотите установить django-extensions по следующей причине: она имеет невероятно полезную sqldiff команда, которая сообщит вам, если существует несоответствие между устаревшей базой данных и вашей моделью приложения.