Ответ на задание 1

Для объединения информации из нескольких систем можно использовать хранилище данных (Data Warehouse).

Общая архитектура может выглядеть следующим образом:

Internet Store ──┐

│

CRM ─────────────┼──> ETL ──> Data Warehouse ──> BI / Reports

│

Accounting ──────┘

Процесс ETL состоит из трех основных этапов:

Extract — извлечение.
Данные извлекаются из различных источников: реляционных баз данных, CRM, файлов, API и других систем.

Transform — преобразование.
Данные очищаются и приводятся к единому формату. Например, могут удаляться дубликаты, исправляться форматы дат, преобразовываться валюты и объединяться сведения из разных источников.

Load — загрузка.
Подготовленные данные загружаются в Data Warehouse.

После этого аналитическая система может выполнять запросы к централизованному хранилищу.

Например:

SELECT

ProductCategory,

SUM(TotalAmount) AS TotalSales

FROM Sales

GROUP BY ProductCategory;

Такой подход позволяет отделить аналитические задачи от операционных систем компании.

В современных системах также применяется подход ELT (Extract, Load, Transform), при котором данные сначала загружаются в целевую систему, а затем преобразуются с использованием ее вычислительных возможностей.

---

Ответ на задание 2

Data Lake предназначен для хранения больших объемов данных различных типов и форматов.

Например:

Data Lake

│

├── sales.csv

├── customers.json

├── application_logs/

├── images/

├── documents/

└── sensor_data/

В Data Lake могут храниться:

• структурированные данные;
• полуструктурированные данные;
• неструктурированные данные;
• журналы событий;
• изображения и видео;
• данные IoT;
• исходные файлы для аналитики и машинного обучения.

Одно из основных различий заключается в том, что Data Warehouse обычно содержит подготовленные и структурированные данные для аналитических задач.

Data Warehouse

↓

Structured and processed data

↓

SQL / BI / Reports

Data Lake может хранить данные в более исходном виде:

Different Data Sources

↓

Data Lake

↓

Analytics / ML / Data Processing

Например, исходные журналы работы веб-сервера можно сохранить в Data Lake, а после обработки агрегированную информацию о действиях пользователей загрузить в Data Warehouse.

На практике Data Lake и Data Warehouse могут использоваться совместно в рамках одной архитектуры управления данными.

---

Ответ на задание 3

При использовании облачной базы данных организация может получить ряд преимуществ.

К ним относятся:

• возможность масштабирования ресурсов;
• высокая доступность;
• автоматизация части административных операций;
• мониторинг;
• резервное копирование;
• возможность географического резервирования;
• уменьшение необходимости самостоятельно обслуживать физические серверы.

Например, общая архитектура может выглядеть следующим образом:

Users

↓

Web / Mobile Application

↓

Backend Application

↓

Cloud Database

↓

Backup / Replica

Однако перенос базы данных в облако сам по себе не гарантирует полную надежность системы.

Необходимо определить стратегию резервного копирования:

Production Database

↓

Automated Backup

↓

Backup Storage

↓

Restore when required

Также необходимо периодически проверять возможность восстановления данных из резервной копии.

Следует предусмотреть:

• управление учетными записями и ролями;
• принцип минимальных привилегий;
• шифрование соединений;
• защиту учетных данных;
• мониторинг работы базы;
• журналирование событий;
• резервное копирование;
• план восстановления после сбоев;
• политики хранения и удаления данных.

В более широком контексте применяется понятие Data Governance — управление данными на уровне организации.

Data Governance определяет правила работы с данными, включая:

Data Governance

│

├── Data Quality

├── Data Security

├── Access Control

├── Data Ownership

├── Data Classification

├── Retention Policies

└── Compliance

Таким образом, современные системы управления данными включают не только традиционные базы данных. Они могут объединять операционные БД, Data Warehouse, Data Lake, ETL/ELT, облачные платформы, средства аналитики и процессы Data Governance в единую инфраструктуру управления данными.