Резервные решения для экземпляров AWS EC2

Ответ 1

Я использую Skeddly в течение нескольких месяцев для автоматической резервной копии томов EBS, прикрепленных к моим экземплярам EC2.

Я доволен этим до сих пор. Мне понравилось, как я могу определить, какие экземпляры для резервного копирования: копируются только экземпляры с определенным тегом. Мне просто нужно добавить этот тег к экземплярам, ​​которые я хочу создать резервную копию. Не нужно делать никаких изменений в Skeddly каждый раз, когда я добавляю экземпляр. Мне пришлось определить 2 действия в Skeddly: один для резервного копирования экземпляров и один для удаления старых снимков.

И я получаю электронные письма, чтобы сообщить мне, что действия (резервное копирование и истечение) были успешными или нет.

Ответ 2

Если вы хотите использовать 100% -ное решение AWS для автоматического резервного копирования экземпляров EC2, есть один: AWS lambda.

Создайте на основе Python лямбда с чем-то вроде этого:

import boto3

BACKUP_VOLUMES = [
  'vol-xxxxxxxx'
]

def lambda_handler(event, context):
    ec2 = boto3.resource('ec2')
    for volume in BACKUP_VOLUMES:
        ec2.create_snapshot(VolumeId=volume, Description='Automated backup')

И настройте для него источник событий, чтобы он выполнялся ежедневно. И бум, без проблем, автоматические резервные копии EC2, которые являются надежными, не требуют другого экземпляра для их работы и заданий cron или сторонней службы. С помощью API SES вы можете отправлять подтверждения электронной почты из этой лямбда.

PS: Убедитесь, что роль IAM для лямбда имеет права для работы с моментальными снимками EC2, например:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "ec2:CreateSnapshot",
                "ec2:DeleteSnapshot",
                "ec2:DescribeSnapshots"
            ],
            "Resource": "*"
        }
    ]
}

Ответ 3

Другим продуктом, который вы, возможно, захотите проверить, является cloudranger. Он также поддерживает автоматическое резервное копирование полных экземпляров EC2, резервных копий EBS по отдельности, а также снимков RDS. Вы можете запланировать время хранения данных и автоматические уведомления о победе/сбое, которые вы искали, а также другие функции, связанные с резервированием, для AWS. Он позволяет планировать моментальные снимки и AMI по тегу, что является хорошей функцией. Он получил простой пользовательский интерфейс, и вы можете легко управлять несколькими учетными записями AWS с 29 долларов США в месяц, но сначала предлагают бесплатную пробную версию .

Ответ 4

Если по "EC2 Instances" вы действительно имеете в виду "экземпляры EC2 с дисками EBS", то функции моментального снимка EBS, доступные через консоль AWS и AWS API, - это то, что вы ищете.

Из EBS Docs:

Amazon EBS также предоставляет возможность создавать моментальные снимки момента времени объемов, которые сохраняются до Amazon S3. Эти снимки могут быть используется в качестве отправной точки для новых томов Amazon EBS и защищает данные для долговременной долговечности. Тот же снимок можно использовать для создайте столько томов, сколько пожелаете. Эти снимки можно скопировать в регионах AWS, что упрощает использование нескольких областей AWS для географической экспансии, миграции центров обработки данных и стихийных бедствий восстановления.

Amazon не предлагает каких-либо политик планирования или хранения типов в моментальных снимках, но есть сторонние инструменты, которые используют API AWS.

Ответ 5

Компания, с которой я работаю, уже с самого начала использует Amazon S3, EBS и EC2. Это стало болезненно очевидным, потеряв 2 (1 развитие и 1 производство) виртуальных серверов через 4 дня после их завершения и планировалось выпустить на EC2 на следующую ночь. Короче говоря, мы не нашли отдельное приложение, которое было очень маленьким, легким и почти настраиваемым для любой ситуации.

Используя AWS.NET SDK, мы смогли записать указанное приложение менее чем за один день, а затем с помощью планировщика заданий на нашем внутреннем сервере Windows Server 2008 R2. Мы рассмотрели ряд сценариев и остановились на следующем графике: изображения экземпляров EC2 создаются еженедельно, моментальные снимки EBS создаются ежедневно. Экзамены EC2 старше 31 дня удаляются, а снимки EBS отбрасываются через 60 дней, по нашему контракту мы заключили контракт с клиентом, который ранее был сжег автономным приложением, которое должно было запускать резервные копии на своем собственном внутреннем коде планирования/механизм. Он никогда не бежал, и никто не смотрел на него после того, как они его установили. По мере того, как приложение созревает, мы планируем использовать Simple E-Mail Service (SES) для резервного копирования/журнала электронной почты для наших разработчиков и службы Simple Queuing Service (SQS) для записи процесса.

Надеюсь, что это поможет.

Ответ 6

Продукт менеджера облачной защиты, который вы нашли (www.n2ws.com), поддерживает автоматическое резервное копирование полных экземпляров EC2, за пределами резервных копий EBS по отдельности, а также снимки RDS. Он также имеет политики планирования, хранения данных и автоматические параметры предупреждений, которые вы искали, и другие функции, связанные с резервным копированием для AWS.

Не удалось найти другие сторонние продукты, обеспечивающие сопоставимые автоматические резервные копии для экземпляров EC2, но некоторые из консолей управления областью позволяют планировать моментальные снимки и создавать политики хранения данных.

Ответ 7

Для упрощения управления с помощью GUI существует также Skeddly. Это плата, как вы идете с 0,15 CAD для большинства действий. Также возможно сделать все это бесплатно. Хорошим script для начала является this.

Ответ 8

Для критически важных приложений решение для резервного копирования должно быть больше, чем просто планирование моментальных снимков.

Вы ожидаете таких функций, как поддержка приложений, политики резервного копирования и мощные параметры восстановления и многое другое.

Вы можете рассказать об этом в моем сообщении:

http://www.n2ws.com/blog/tier-1-application-backup-on-amazon-cloud.html

Он с сайта n2ws, а также ссылается на продукт CPM.

Ответ 9

Здесь находится AWS Lambda Boto3 script, который копирует экземпляр в изображения AMI, и он работает потрясающе:

import boto3, collections, datetime, sys

ec = boto3.client('ec2')

def lambda_handler(event, context):

    reservations = ec.describe_instances(        
        Filters=[
        {'Name': 'tag-key', 'Values': ['backup', 'Backup']},
    ]
    ).get(
        'Reservations', []
    )

    instances = sum(
        [
            [i for i in r['Instances']]
            for r in reservations
        ], [])

    print("Found %d instances that need backing up" % len(instances))

    to_tag = {}

    for instance in instances:
        try:
            retention_days = [
                int(t.get('Value')) for t in instance['Tags']
                if t['Key'] == 'retention'][0]
        except IndexError:
            retention_days = 7

        create_time = datetime.datetime.now()
        create_fmt = create_time.strftime('%Y-%m-%d_%H-%M-%S')

        AMIid = ec.create_image(InstanceId=instance['InstanceId'], Name="backup of " + instance['InstanceId'] + " dated " + create_fmt, Description="Lambda-created AMI of instance " + instance['InstanceId'] + " from " + create_fmt, NoReboot=True, DryRun=False)

        to_tag[retention_days] = AMIid['ImageId']

        print("Retaining AMI %s of instance %s for %d days" % (AMIid['ImageId'],
                                                               instance['InstanceId'],
                                                               retention_days)
             )

    print(to_tag.keys())

    for retention_days in to_tag.keys():
        delete_date = datetime.date.today() + datetime.timedelta(days=retention_days)
        delete_fmt = delete_date.strftime('%m-%d-%Y')
        print("Will delete %d AMIs on %s" % (len(to_tag[retention_days]), delete_fmt))

        ec.create_tags(
            Resources=[to_tag[retention_days],],
            Tags=[
                {'Key': 'DeleteOn', 'Value': delete_fmt},
            ]
        )

Было взято отсюда и адаптировано для Python 3. Очень рекомендую!

Ответ 10

Сорт. Вы можете моментально копировать объемы EBS с регулярным интервалом. Хотя в пользовательском интерфейсе нет ничего, чтобы сделать это для вас автоматически, API позволит вам это сделать. Вы можете либо скопировать свою собственную резервную копию script, либо выполнить поиск, который был публично выпущен.

Ответ 11

Вот script Скрипт для автоматизации резервного копирования AMI! Он найдет идентификатор экземпляра всего экземпляра вашего VPC n, создающего резервную копию AMI!

 #!/bin/bash

 #Script to Automate AMI backup

echo "----------------------------------\n   `date`   \n----------------------------------"

aws ec2 describe-instances --filters Name=vpc-id,Values=vpc-1c927479 |   awk '{ print $8 }' | sort -n   | grep  "i-" > /tmp/instanceid.txt



 #echo "instance-`date +%d%b%y`"-i-29efe0e4 > /tmp/aminame.txt

echo "Starting the Daily AMI creation: "
 #echo -e "Starting the Daily AMI creation: `cat /tmp/aminame.txt`\n"

 #To create AMI of defined instance

for i in $(cat /tmp/instanceid.txt); do
        echo "Creating AMI for Instance id $i ......."

echo "instance-`date +%d%b%y`-$i" > /tmp/aminame.txt

aws ec2 create-image --instance-id $i --name "`cat /tmp/aminame.txt`" --description "This is created by ami-backup.sh" --no-reboot | grep -ir ami | awk '{print $4}' > /tmp/amiID.txt

echo  "AMI Name is: `cat /tmp/aminame.txt`\n"

echo done 
done
echo done

Ответ 12

Я забыл, когда появился Cloudwatch, но он определенно позволяет расписание автоматических снимков EBS.

Ответ Pol с использованием AWS Lambda по-прежнему имеет значение. Там большое количество блог-постов о Планирование снимков EBS и Удаление старых снимков

Ответ 13

Существует проект с открытым исходным кодом Scalr, который я только начал использовать около недели, и у него есть функции, которые позволяют вам планировать автоматические снимки/резервные копии ваших томов EBS. Scalr на самом деле является облачным решением управления и имеет множество потрясающих функций, с которыми мне еще предстоит играть, но я с нетерпением жду этого.

Существует платная версия, но сейчас я просто устаю от шины на бесплатной версии с открытым исходным кодом. Установщик Scalr доступен в Github: https://github.com/Scalr/installer-ng Исходный код Scalr также включен в Gitub: https://github.com/Scalr/scalr Инструкции по установке находятся на Scalr wiki: https://scalr-wiki.atlassian.net/wiki/x/0Q8b

Ответ 14

Вы можете использовать AutomatiCloud для резервного копирования ваших томов EC2 и экземпляров RDS. AutomatiCloud позволяет вам определять расписания резервного копирования и очищать после периода хранения, который вы можете настроить. Он также отправляет уведомления по электронной почте в случае успеха/сбоя. И это бесплатно! www.automaticloud.net

Отказ от ответственности: я автор