Видалити дані з amazon simpleDB

1. Ні Не шкідливих Amazon DynamoDB Видалення даних може статися!
2. інцидент GitLab
3. Безшовне щоденне резервне копіювання Amazon DynamoDB

Ні Не шкідливих Amazon DynamoDB Видалення даних може статися!

Ви керуєте нашими основними компаніями в області інформаційних технологій? Ви є особою, відповідальною за технічне обслуговування, оновлення та посвідчення того, що всі файли доступні вашим співробітникам, коли вони в них потребують? Тепер уявіть, що через втому або відволікання ви випадково втратите 300 ГБ даних в Amazon DynamoDB, і у вас немає коштів для відновлення даних, які ви, як очікується, будете захищати.

Звичайно, ви говорите собі, що такого сценарію ніколи не станеться. Ви будете обережні і старанні в своїх завданнях. Про це говорить кожен ІТ-адміністратор. Навіть не ІТ-персонал сидить на своїх комп'ютерах, думаючи, наскільки вони будуть обережні при роботі над важливим проектом. Проте, ця точна річ, яку ви ніколи б не зробили, сталася з багатьма, в тому числі з GitLab ,

інцидент GitLab

On січень 31, 2017, GitHub came under attack by spammers. According to their reports, the attacks began at around 6 pm, US Central Time, when reports of spammers hammering the database making it unstable began coming in. The team at GitLab worked hard to stop the spammers and restore stability to their database.

The GitLab's team was able to block the spammers and remove a user who had 47,000 IPS using the same account. However, the spamming attack was not the only incident the group encountered that evening. At around 10 pm, the support team received notification that the DB Replication was lagging so far behind it effectively stopped. The lagging was due to "a spike in writes that were not processed on time by the secondary database."

Ще раз, команда спробувала виправити цю проблему. Після огляду з'ясувалося, що дві бази даних відставали лише від 4 ГБ. Визначивши причину затримки, член команди зауважив, що db2.cluster відмовляється реплицировать і підключатися до бази даних 1. Член команди спробував виправити помилку зв'язку між двома базами даних, налаштувавши кількість клієнтів WAL. Ця корекція приводить до нової помилку, через яку процес реплікації не починається.

Після внесення декількох коригувань члени команди як і раніше не можуть відтворити другу базу даних. Після подальшого аналізу член команди вважає, що проблема полягає в сьогоденні, але порожньому каталозі даних PostgreSQL. При спробі видалити цей каталог проблем член команди виконав процес видалення в базі даних замість двох. Незважаючи на виявлення його помилки протягом декількох секунд, в базі даних залишилося тільки 4 ГБ даних. Початкова сума зберігання в цій базі даних була близько 300 ГБ.

Відновлення інформації було непростим завданням. У GitLab було створено п'ять методів резервного копіювання / тиражування для таких катастрофічних подій, як ЕТТ. Однак ці служби були або не налаштовані належним чином в першу чергу, або не працювали надійно. Хоча їм вдалося відновити більшу частину даних, було близько шести годин. Якби член команди не виконував резервне копіювання вручну до відключення, дані були б не менше 24 годин.

Безшовне щоденне резервне копіювання Amazon DynamoDB

Як видно з провалів GitLab, ці нещасні випадки трапляються. Стомлений працівник, який намагається виправити ряд проблем, може привести до фатальної помилки, яка призводить до втрати сотень гігабайт даних. Існує спосіб гарантувати, що ви ніколи не втратите будь-які дані, а саме, використовуючи нашу резервну службу Amazon DynamoDB.

У той час як Amazon докладає всіх зусиль, щоб зробити його сервіс DynamoDB повністю інтегрованим для використання на декількох платформах, не кожен рівень пропонує рішення для резервного копіювання, щоб йти зі своїм сервісом. Як і їх платформа Amazon SimpleDB, ви відповідаєте за резервне копіювання своїх даних для захисту від катастрофічної помилки.

Ми знаємо, що у вас може бути безліч таблиць, доменів і регіонів, прикріплених до вашого профілю DynamoDB Amazon. Ось чому наша служба дозволяє вам вибирати, які таблиці і домени потрібно робити для резервного копіювання, і з яких інтервалів ви зберігаєте свою інформацію. За замовчуванням ми щодня створюємо резервні копії баз даних. Ви можете змінити це на кожні кілька днів або навіть раз в тиждень. Однак ми рекомендуємо вам щодня оновлювати свої зміни.

Відновлення - це просте рішення з одним клацанням миші. Як і у випадку з нашими іншими параметрами резервного копіювання, ви можете відновити інформацію в тому ж домені / регіоні, в якому він з'явився, або ви можете відновити його в новому домені / регіоні. Однак, якщо ви відновлюєте той же домен / регіон, де дані були скопійовані з нього, це руйнівний відновлення, що означає, що вона замінить всі в домені. Відновлення в новому домені / регіоні є неруйнівним відновленням.

Платні плани починаються з $ 15 за 1 ГБ в місяць за DynamoDB користувачів і $ 12 за 1 ГБ в місяць для користувачів SimpleDB. Ви можете спробувати наш Amazon DynamoDB або Amazon SimpleDB резервні служби безкоштовно для 15 днів.