Добавление кеша-контроля и истечение заголовков в Azure Storage Blobs

Я использую Azure Storage для работы с статическими файловыми блоками, но я хотел бы добавить заголовок Cache-Control и Expires к файлам/блокам при обслуживании, чтобы снизить затраты на пропускную способность.

Приложение вроде CloudXplorer и Cerebrata Cloud Storage Studio задайте параметры для установки свойств метаданных в контейнерах и блоках, но расстраивайтесь при попытке добавить Cache-Control.

Кто-нибудь знает, можно ли установить эти заголовки для файлов?

Ответы

Ответ 1

Мне пришлось запускать пакетное задание около 600 тыс. блоб и найти 2 вещи, которые действительно помогли:

Выполнение операции с рабочей роли в том же центре обработки данных. Скорость между службами Azure велика, если они находятся в одной и той же группе сродства. Кроме того, нет затрат на передачу данных.

Выполнение операции параллельно. Параллельная библиотека задач (TPL) в .net v4 делает это очень просто. Вот код для установки заголовка управления кешем для каждого блоба в контейнере параллельно:

// get the info for every blob in the container
var blobInfos = cloudBlobContainer.ListBlobs(
    new BlobRequestOptions() { UseFlatBlobListing = true });
Parallel.ForEach(blobInfos, (blobInfo) =>
{
    // get the blob properties
    CloudBlob blob = container.GetBlobReference(blobInfo.Uri.ToString());
    blob.FetchAttributes();

    // set cache-control header if necessary
    if (blob.Properties.CacheControl != YOUR_CACHE_CONTROL_HEADER)
    {
        blob.Properties.CacheControl = YOUR_CACHE_CONTROL_HEADER;
        blob.SetProperties();
    }
});

Ответ 2

Здесь обновленная версия Джоэла Филлмора отвечает:

Вместо создания веб-сайта и использования WorkerRole у Azure теперь есть возможность запускать "WebJobs". Вы можете запускать любой исполняемый файл по требованию на веб-сайте в том же центре данных, где находится ваша учетная запись хранилища, для установки заголовков кеша или любого другого поля заголовка.

Создайте временный веб-сайт в том же центре данных в качестве учетной записи хранилища. Не беспокойтесь о группах сродства; создать пустой сайт ASP.NET или любой другой простой сайт. Содержимое не имеет значения.
Создайте консольную программу, используя приведенный ниже код, который работает с обновленными API-интерфейсами Azure Storage. Скомпилируйте его для выпуска, а затем запустите исполняемый файл и все необходимые библиотеки DLL в файл .zip.
Создайте WebJob и загрузите ZIP файл с шага №2.
Запустите WebJob. Все, записанное на консоль, доступно для просмотра в файле журнала, созданном и доступном с веб-страницы управления WebJob.
Обратите внимание на метод UpdateAzureServiceVersion. По-видимому, по умолчанию хранилище Azure обслуживает неправильно отформатированные ETags, поэтому вы можете запустить этот код один раз, подробности см. В разделе this

В приведенном ниже коде выполняется отдельная задача для каждого контейнера, и я получаю около 70 заголовков, обновляемых в секунду для каждого контейнера. Нет платы за выход.

using Microsoft.WindowsAzure.Storage;
using Microsoft.WindowsAzure.Storage.Auth;
using Microsoft.WindowsAzure.Storage.Blob;

namespace AzureHeaders
{
    class Program
    {
        static StorageCredentials storageCredentials =
            new StorageCredentials("azureaccountname", @"azzureaccountkey");
        private static string newCacheSettings = "public, max-age=7776000"; // 3 months
        private static string[] containersToProcess = { "container1", "container2" };

        static void Main(string[] args)
        {
            var account = new CloudStorageAccount(
                storageCredentials,
                false /* useHttps */);

            CloudBlobClient blobClient = account.CreateCloudBlobClient();

            var tasks = new List<Task>();
            foreach (var container in blobClient.ListContainers())
            {
                if (containersToProcess.Contains(container.Name))
                {
                    var c = container;
                    tasks.Add(Task.Run(() => FixHeaders(c)));
                }
            }
            Task.WaitAll(tasks.ToArray());
        }

        private static async Task FixHeaders(CloudBlobContainer cloudBlobContainer)
        {
            int totalCount = 0, updateCount = 0, errorCount = 0;

            Console.WriteLine("Starting container: " + cloudBlobContainer.Name);
            IEnumerable<IListBlobItem> blobInfos = cloudBlobContainer.ListBlobs(useFlatBlobListing: true);

            foreach (var blobInfo in blobInfos)
            {
                try
                {
                    CloudBlockBlob blockBlob = (CloudBlockBlob)blobInfo;
                    var blob = await cloudBlobContainer.GetBlobReferenceFromServerAsync(blockBlob.Name);
                    blob.FetchAttributes();

                    // set cache-control header if necessary
                    if (blob.Properties.CacheControl != newCacheSettings)
                    {
                        blob.Properties.CacheControl = newCacheSettings;
                        blob.SetProperties();
                        updateCount++;
                    }
                }
                catch (Exception ex)
                {
                    // Console.WriteLine(ex.Message);
                    errorCount++;
                }
                totalCount++;
            }
            Console.WriteLine("Finished container: " + cloudBlobContainer.Name + 
                ", TotalCount = " + totalCount + 
                ", Updated = " + updateCount + 
                ", Errors = " + errorCount);
        }

        // http://geekswithblogs.net/EltonStoneman/archive/2014/10/09/configure-azure-storage-to-return-proper-response-headers-for-blob.aspx
        private static void UpdateAzureServiceVersion(CloudBlobClient blobClient)
        {
            var props = blobClient.GetServiceProperties();
            props.DefaultServiceVersion = "2014-02-14";
            blobClient.SetServiceProperties(props);
        }
    }
}

Ответ 3

Последняя версия Cerebrata Cloud Storage Studio, версия 2011.04.23.00, поддерживает настройку управления кэшем для отдельных объектов BLOB-объектов. Щелкните правой кнопкой мыши объект blob, выберите "View/Edit Blob Properties", затем установите значение для атрибута Cache-Control. (например, public, max-age=2592000).

Если вы проверите HTTP-заголовки объекта blob с помощью curl, вы увидите заголовок cache-control, возвращенный со значением, которое вы установили.

Ответ 4

Последний CloudBerry Explorer теперь поддерживает Cache-Control: http://www.cloudberrylab.com/forum/default.aspx?g=posts&t=3047

Ответ 5

Иногда самый простой ответ - лучший. Если вы просто хотите управлять небольшим количеством капель, вы можете использовать Azure Management для изменения заголовков/метаданных для ваших блоб.

Нажмите "Хранение", затем щелкните имя учетной записи хранилища.
Перейдите на вкладку Контейнеры, затем щелкните контейнер.
Щелкните по блобе, затем нажмите "Изменить" в нижней части экрана.

В этом окне редактирования вы можете настроить Cache Control, Content Encoding, Content Language и т.д.

Примечание. теперь вы не можете редактировать эти данные из Azure Portal

Ответ 6

Это может быть слишком поздно, чтобы ответить, но в последнее время я хотел сделать то же самое по-разному, где у меня есть список изображений и нужно применять с помощью powershell script (конечно, с помощью сборки хранения Azure) Надеюсь, кто-то найдет это полезным в будущем.

Полное объяснение, приведенное в Установить кеш-контроль Azure blob с помощью powershell script

Add-Type -Path "C:\Program Files\Microsoft SDKs\Windows Azure\.NET SDK\v2.3\ref\Microsoft.WindowsAzure.StorageClient.dll"

$accountName = "[azureaccountname]"
$accountKey = "[azureaccountkey]"
$blobContainerName = "images"

$storageCredentials = New-Object Microsoft.WindowsAzure.StorageCredentialsAccountAndKey -ArgumentList $accountName,$accountKey
$storageAccount = New-Object Microsoft.WindowsAzure.CloudStorageAccount -ArgumentList $storageCredentials,$true
#$blobClient = $storageAccount.CreateCloudBlobClient()
$blobClient =  [Microsoft.WindowsAzure.StorageClient.CloudStorageAccountStorageClientExtensions]::CreateCloudBlobClient($storageAccount)

$cacheControlValue = "public, max-age=604800"

echo "Setting cache control: $cacheControlValue"

Get-Content "imagelist.txt" | foreach {     
    $blobName = "$blobContainerName/$_".Trim()
    echo $blobName
    $blob = $blobClient.GetBlobReference($blobName)
    $blob.Properties.CacheControl = $cacheControlValue
    $blob.SetProperties()
}

Ответ 7

Задайте настройки кэширования памяти blob хранилища PowerShell script

https://gallery.technet.microsoft.com/How-to-set-storage-blob-4774aca5

#creat CloudBlobClient 
Add-Type -Path "C:\Program Files\Microsoft SDKs\Windows Azure\.NET SDK\v2.3\ref\Microsoft.WindowsAzure.StorageClient.dll" 
$storageCredentials = New-Object Microsoft.WindowsAzure.StorageCredentialsAccountAndKey -ArgumentList $StorageName,$StorageKey 
$blobClient =   New-Object Microsoft.WindowsAzure.StorageClient.CloudBlobClient($BlobUri,$storageCredentials) 
#set Properties and Metadata 
$cacheControlValue = "public, max-age=60480" 
foreach ($blob in $blobs) 
{ 
  #set Metadata 
  $blobRef = $blobClient.GetBlobReference($blob.Name) 
  $blobRef.Metadata.Add("abcd","abcd") 
  $blobRef.SetMetadata() 

  #set Properties 
  $blobRef.Properties.CacheControl = $cacheControlValue 
  $blobRef.SetProperties() 
}

Ответ 8

Здесь обновленная версия Джоэля Филлмора отвечает потреблению WindowsAzure.Storage v9.3.3. Обратите внимание, что ListBlobsSegmentedAsync возвращает размер страницы 5000, поэтому используется BlobContinuationToken.

    public async Task BackfillCacheControlAsync()
    {
        var container = await GetCloudBlobContainerAsync();
        BlobContinuationToken continuationToken = null;

        do
        {
            var blobInfos = await container.ListBlobsSegmentedAsync(string.Empty, true, BlobListingDetails.None, null, continuationToken, null, null);
            continuationToken = blobInfos.ContinuationToken;
            foreach (var blobInfo in blobInfos.Results)
            {
                var blockBlob = (CloudBlockBlob)blobInfo;
                var blob = await container.GetBlobReferenceFromServerAsync(blockBlob.Name);
                if (blob.Properties.CacheControl != "public, max-age=31536000")
                {
                    blob.Properties.CacheControl = "public, max-age=31536000";
                    await blob.SetPropertiesAsync();
                }
            }               
        }
        while (continuationToken != null);
    }

    private async Task<CloudBlobContainer> GetCloudBlobContainerAsync()
    {
        var storageAccount = CloudStorageAccount.Parse(_appSettings.AzureStorageConnectionString);
        var blobClient = storageAccount.CreateCloudBlobClient();
        var container = blobClient.GetContainerReference("uploads");
        return container;
    }