Как настроить проект Django с django-хранилищами и Amazon S3, но с различными папками для статических файлов и медиафайлов?
Я настраиваю проект Django, который использует файловую систему сервера для хранения статических файлов приложений (STATIC_ROOT
) и загруженных пользователем файлов (MEDIA_ROOT
).
Мне нужно сейчас разместить весь контент на Amazon S3, поэтому я создал для этого ведро. Используя django-storages
с бэкэндом boto
, мне удалось загрузить собранную статистику в ведро S3:
MEDIA_ROOT = '/media/'
STATIC_ROOT = '/static/'
DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = 'KEY_ID...'
AWS_SECRET_ACCESS_KEY = 'ACCESS_KEY...'
AWS_STORAGE_BUCKET_NAME = 'bucket-name'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
Тогда у меня возникла проблема: MEDIA_ROOT
и STATIC_ROOT
не используются в ведре, поэтому корневой каталог содержит как статические файлы, так и загруженные пользователем пути.
Итак, я мог бы установить:
S3_URL = 'http://s3.amazonaws.com/%s' % AWS_STORAGE_BUCKET_NAME
STATIC_URL = S3_URL + STATIC_ROOT
MEDIA_URL = 'S3_URL + MEDIA_ROOT
И используйте эти настройки в шаблонах, но при хранении на S3 с помощью django-storages
нет различий в статических/медиафайлах.
Как это можно сделать?
Спасибо!
Ответы
Ответ 1
Я думаю, что следующее должно работать и быть проще, чем метод Mandx, хотя он очень похож:
Создайте файл s3utils.py
:
from storages.backends.s3boto import S3BotoStorage
StaticRootS3BotoStorage = lambda: S3BotoStorage(location='static')
MediaRootS3BotoStorage = lambda: S3BotoStorage(location='media')
Затем в settings.py
:
DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3BotoStorage'
В двух example_
файлах здесь можно увидеть другой, но связанный с ним пример (который я действительно протестировал).
Ответ 2
В настоящее время я использую этот код в отдельном модуле s3utils
:
from django.core.exceptions import SuspiciousOperation
from django.utils.encoding import force_unicode
from storages.backends.s3boto import S3BotoStorage
def safe_join(base, *paths):
"""
A version of django.utils._os.safe_join for S3 paths.
Joins one or more path components to the base path component intelligently.
Returns a normalized version of the final path.
The final path must be located inside of the base path component (otherwise
a ValueError is raised).
Paths outside the base path indicate a possible security sensitive operation.
"""
from urlparse import urljoin
base_path = force_unicode(base)
paths = map(lambda p: force_unicode(p), paths)
final_path = urljoin(base_path + ("/" if not base_path.endswith("/") else ""), *paths)
# Ensure final_path starts with base_path and that the next character after
# the final path is '/' (or nothing, in which case final_path must be
# equal to base_path).
base_path_len = len(base_path) - 1
if not final_path.startswith(base_path) \
or final_path[base_path_len:base_path_len + 1] not in ('', '/'):
raise ValueError('the joined path is located outside of the base path'
' component')
return final_path
class StaticRootS3BotoStorage(S3BotoStorage):
def __init__(self, *args, **kwargs):
super(StaticRootS3BotoStorage, self).__init__(*args, **kwargs)
self.location = kwargs.get('location', '')
self.location = 'static/' + self.location.lstrip('/')
def _normalize_name(self, name):
try:
return safe_join(self.location, name).lstrip('/')
except ValueError:
raise SuspiciousOperation("Attempted access to '%s' denied." % name)
class MediaRootS3BotoStorage(S3BotoStorage):
def __init__(self, *args, **kwargs):
super(MediaRootS3BotoStorage, self).__init__(*args, **kwargs)
self.location = kwargs.get('location', '')
self.location = 'media/' + self.location.lstrip('/')
def _normalize_name(self, name):
try:
return safe_join(self.location, name).lstrip('/')
except ValueError:
raise SuspiciousOperation("Attempted access to '%s' denied." % name)
Затем в моем модуле настроек:
DEFAULT_FILE_STORAGE = 'myproyect.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproyect.s3utils.StaticRootS3BotoStorage'
Мне пришлось переопределить частный метод _normalize_name()
для использования "фиксированной" версии функции safe_join()
, поскольку исходный код дает мне SuspiciousOperation
исключения для законных путей.
Я отправляю это на рассмотрение, если кто-то может дать лучший ответ или улучшить этот, он будет очень желанным.
Ответ 3
Файл: PROJECT_NAME/custom_storages.py
from django.conf import settings
from storages.backends.s3boto import S3BotoStorage
class StaticStorage(S3BotoStorage):
location = settings.STATICFILES_LOCATION
class MediaStorage(S3BotoStorage):
location = settings.MEDIAFILES_LOCATION
Файл: PROJECT_NAME/settings.py
STATICFILES_LOCATION = 'static'
MEDIAFILES_LOCATION = 'media'
if not DEBUG:
STATICFILES_STORAGE = 'PROJECT_NAME.custom_storages.StaticStorage'
DEFAULT_FILE_STORAGE = 'PROJECT_NAME.custom_storages.MediaStorage'
AWS_ACCESS_KEY_ID = 'KEY_XXXXXXX'
AWS_SECRET_ACCESS_KEY = 'SECRET_XXXXXXXXX'
AWS_STORAGE_BUCKET_NAME = 'BUCKET_NAME'
AWS_HEADERS = {'Cache-Control': 'max-age=86400',}
AWS_QUERYSTRING_AUTH = False
И запустите: python manage.py collectstatic
Ответ 4
Я думаю, что ответ довольно прост и сделан по умолчанию. Это работает для меня на AWS Elastic Beanstalk с Django 1.6.5 и Boto 2.28.0:
STATICFILES_FINDERS = (
'django.contrib.staticfiles.finders.FileSystemFinder',
'django.contrib.staticfiles.finders.AppDirectoriesFinder',
)
TEMPLATE_LOADERS = (
'django.template.loaders.filesystem.Loader',
'django.template.loaders.app_directories.Loader',
)
DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = os.environ['AWS_ACCESS_KEY_ID']
AWS_SECRET_ACCESS_KEY = os.environ['AWS_SECRET_KEY']
Ключи AWS передаются из файла конфигурации контейнера, и я вообще не устанавливаю STATIC_ROOT
или STATIC_URL
. Кроме того, нет необходимости в файле s3utils.py
. Эти данные автоматически обрабатываются системой хранения. Трюк здесь в том, что мне нужно было правильно и динамично ссылаться на этот неизвестный путь в моих шаблонах. Например:
<link rel="icon" href="{% static "img/favicon.ico" %}">
Вот как я обращаюсь к своему знаку, который живет локально (до развертывания) в ~/Projects/my_app/project/my_app/static/img/favicon.ico
.
Конечно, у меня есть отдельный файл local_settings.py
для доступа к этому материалу локально в среде dev, и у него есть настройки STATIC и MEDIA. Мне пришлось много экспериментировать и читать, чтобы найти это решение, и оно работает без ошибок.
Я понимаю, что вам нужно статическое и корневое разделение, и, учитывая, что вы можете предоставить только одно ведро, я хотел бы указать, что этот метод принимает все папки в моей локальной среде под ~/Projects/my_app/project/my_app/static/
и создает папку в корневом ведре ( т.е.: S3bucket/img/как в примере выше). Таким образом, вы получаете разделение файлов. Например, у вас может быть папка media
в папке static
и доступ к ней с помощью шаблонов:
{% static "media/" %}
Надеюсь, это поможет. Я пришел сюда, ища ответ, и немного затруднил найти более простое решение, чем продлить систему хранения. Вместо этого я прочитал документацию о предполагаемом использовании Boto, и я обнаружил, что многие из того, что мне нужно, были встроены по умолчанию. Ура!