Django-Compressor 无法在离线模式下使用自定义 S3 域工作如何调试这个错误：发生了什么？？如何解决这个问题

问题描述

每当使用 S3 端点的自定义域时，我都会收到以下错误。

#  WORKS 
AWS_S3_CUSTOM_DOMAIN = 'example.fra1.digitaloceanspaces.com/{}'.format(AWS_STORAGE_BUCKET_NAME)
#  DOES NOT WORK ⁉️ 
AWS_S3_CUSTOM_DOMAIN = 'cdn.example.com/{}'.format(AWS_STORAGE_BUCKET_NAME)

CommandError: An error occurred during rendering /home/<user>/<app>/templates/public/index.html: 'https://cdn.example.com/storage/static/node_modules/nouiSlider/distribute/nouiSlider.min.css' isn't accessible via COMPRESS_URL ('https://example.fra1.digitaloceanspaces.com/storage/static/') and can't be compressed

如果我转到任何一个 url，该文件都可以访问，因此 CDN 可能没问题，URL 定义正确，CORS 也很好。同样没有 django-compressor 子域交付一直工作正常，让我相信问题不在于 django-storages

我已经尝试了几个小时，最终不得不通过将 AWS_S3_CUSTOM_DOMAIN 设置为与 AWS_S3_ENDPOINT_URL 相同来进行临时修复。然而这并不理想。

请参阅下面的实现。

/requirements.txt

Django==3.1.4
...
boto3~=1.16.46
botocore~=1.19.46
s3transfer~=0.3.3
...
django-storages~=1.11.1
django-compressor~=2.4

/config/settings.py

...
# ==========================================================
#  DJANGO-STORAGES
# ==========================================================
if LOCALHOST_MODE:
    MEDIA_URL = '/media/'
    MEDIA_ROOT = os.path.join(BASE_DIR,'media')

    STATIC_URL = '/static/'
    STATICFILES_Dirs = [os.path.join(BASE_DIR,'static/'),]
else:
    AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
    AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")

    AWS_STORAGE_BUCKET_NAME = 'storage'
    AWS_S3_ENDPOINT_URL = 'https://example.fra1.digitaloceanspaces.com'
   
    #  WORKS ⚠️ 
    AWS_S3_CUSTOM_DOMAIN = 'example.fra1.digitaloceanspaces.com/{}'.format(AWS_STORAGE_BUCKET_NAME)
    #  DOES NOT WORK ⁉️ 
    AWS_S3_CUSTOM_DOMAIN = 'cdn.example.com/{}'.format(AWS_STORAGE_BUCKET_NAME)  

    AWS_S3_OBJECT_ParaMETERS = {
        'CacheControl': 'max-age=86400',}
    AWS_LOCATION = 'static'
    AWS_DEFAULT_ACL = 'public-read'

    STATICFILES_Dirs = (os.path.join(BASE_DIR,"static"),)
    STATIC_URL = '{}/{}/{}/'.format(AWS_S3_ENDPOINT_URL,AWS_STORAGE_BUCKET_NAME,AWS_LOCATION)
    STATICFILES_STORAGE = 'storage_backends.CachedS3Boto3Storage'

    MEDIA_ROOT = os.path.join(BASE_DIR,"media")
    MEDIA_URL = '{}/{}/{}/'.format(AWS_S3_ENDPOINT_URL,'media')
    DEFAULT_FILE_STORAGE = 'storage_backends.MediaStorage'

# ==========================================================
# DJANGO-COMPRESSOR
# ==========================================================
COMPRESS_ENABLED = True
STATIC_DEPS = True
COMPRESS_ROOT = os.path.join(BASE_DIR,"static")

COMPRESS_FILTERS = {
    'css': ['compressor.filters.css_default.CssAbsoluteFilter','compressor.filters.cssmin.rCSSMinFilter'],'js': ['compressor.filters.jsmin.JSMinFilter']
}

if LOCALHOST_MODE:
    COMPRESS_OFFLINE = False
else:
    COMPRESS_OFFLINE = True
    COMPRESS_STORAGE = STATICFILES_STORAGE
    COMPRESS_URL = STATIC_URL

STATICFILES_FINDERS = [
    'django.contrib.staticfiles.finders.FileSystemFinder','django.contrib.staticfiles.finders.AppDirectoriesFinder','compressor.finders.CompressorFinder',]
...

/storage_backends.py

from django.core.files.storage import get_storage_class
from storages.backends.s3boto3 import S3Boto3Storage

from config import settings


class MediaStorage(S3Boto3Storage):
    bucket_name = settings.AWS_STORAGE_BUCKET_NAME
    location = 'media'


class CachedS3Boto3Storage(S3Boto3Storage):
    def __init__(self,*args,**kwargs):
        super(CachedS3Boto3Storage,self).__init__(*args,**kwargs)
        self.local_storage = get_storage_class(
            "compressor.storage.CompressorFileStorage")()

    def save(self,name,content):
        self.local_storage._save(name,content)
        super(CachedS3Boto3Storage,self).save(name,self.local_storage._open(name))
        return name

解决方法

如何调试这个错误：

查看引发错误的位置（在 django-compressor.compressor.base 中），我们发现以下内容：

    def get_basename(self,url):
        try:
            base_url = self.storage.base_url
        except AttributeError:
            base_url = settings.COMPRESS_URL

        base_url = str(base_url)
        if not url.startswith(base_url):
            raise UncompressableFileError(
                "'%s' isn't accessible via "
                "COMPRESS_URL ('%s') and can't be "
                "compressed" % (url,base_url)
       )

查看您的设置：

您的 COMPRESS_URL 设置为等于 STATIC_URL，
又等于 '{}/{}/{}/'.format(AWS_S3_ENDPOINT_URL,AWS_STORAGE_BUCKET_NAME,AWS_LOCATION)。
这是https://example.fra1.digitaloceanspaces.com/storage/static/
但是传入的 url 是 https://cdn.example.com/storage/static/...

这是问题的路径。

发生了什么？？

COMPRESS_URL 控制将从中读取链接文件并写入压缩文件的 URL。
当您的 CSS 或 JS 文件在某处带有 link、rel 或 src 属性时，django-compressor 会调用 get_basename。
get_basename 获取静态文件的完整路径（例如“/static/css/style.css”）和返回删除了存储基本 URL 的路径（例如“css/style.css”）。
由于某些 link、rel 或 src 属性的基本路径不是以 COMPRESS_URL 开头（它期望是基本网址），因此它可以不会删除它，因此会引发错误。

如何解决这个问题

如果不查看整个项目，很难确切知道出了什么问题，但以下内容可能会有所帮助：

如果您更新了 AWS_S3_ENDPOINT_URL 以匹配您的 AWS_S3_CUSTOM_DOMAIN。这反过来会更新您的 STATIC_URL（我怀疑这会影响您文件中的文件名），并且还会更新您的 COMPRESS_URL。我认为这可能会解决它。
或者，只需更新 COMPRESS_URL 以使用正确的网址（尽管我认为这需要将 STATIC_URL 与您当前的设置相匹配）。
如果正在压缩的文件中的任何（link、rel 或 src）网址是硬编码的，则它们需要更新以匹配您的 {{1} }.

boto cdn django django django-compressor django-storage