ТЕМА 2

ПЛАНУВАННЯ, ЗБІР ТА
ПІДГОТОВКА ДАНИХ
ДЛЯ ВІЗУАЛІЗАЦІЇ.
ОГЛЯД ДЖЕРЕЛ
ІНФОРМАЦІЇ.
ПЛАН
2.1. Огляд джерел інформації

2.2. Основні правила для

візуалізації даних

2.3. Маніпуляції при візуалізації

даних.
З точки зору джерела отримання розрізняють:

– первинні дані – інформація про конкретну

юридичну чи фізичну особу, отримана відповідно
до встановленого правового режиму;

– статистичні дані – зведені та

систематизовані/оброблені первинні дані про
масове явище, сукупність юридичних чи фізичних
осіб, отримані в результаті статистичних
спостережень;

– адміністративні дані, отримані на підставі

спостережень, проведених державними органами
(за винятком органів державної статистики),
органами місцевого самоврядування та іншими
юридичними особами з метою виконання ними
обов’язків, віднесених до їхньої компетенції.
 Озеро даних Data Lake – це велике
сховище, здатне приймати будь-які обсяги
даних у різних форматах. Сюди вони
потрапляють у неструктурованому вигляді,
не проходячи попередньої підготовки. "Most Popular
Business Analysis"

Озеро даних не пред’являє до інформації, що

завантажується, ніяких вимог і не має певної
схеми її розміщення. Пошук у ньому
здійснюється за допомогою тегів та
унікальних ідентифікаторів. В результаті при
створенні конкретного запиту система
звертається тільки до релевантної частини
інформації, що зберігається.
 ПЕРЕВАГИ DATA LAKE:
1.Простий доступ. При використанні озера даних немає потреби створювати
складні запити та планувати моделі звернень до системи. Для ефективної
взаємодії потрібно знати скільки даних, якого типу та з якого джерела потрібно
«добути».
2.Оперативність. Оновлені дані завантажуються в озеро в режимі реального часу
і можуть бути одразу імпортовані аналітичною системою. Завдяки цьому немає
потреби впроваджувати складну схему взаємодії при розширенні потреб чи
можливостей бізнесу. При цьому джерел, як і споживачів інформації, може бути
декілька.
3.Гнучкість аналітичних процедур. Зважаючи на відсутність будь-якої обробки
вхідної інформації, ви можете впроваджувати нові методики аналізу або
розширювати використання даних без внесення змін на рівні сховища.
Unique Strategic Position
4.Масштабованість. Озера даних мають необмежений Lorem ресурс для зберігання
ipsum dolor sit amet, consectetur
інформації та можуть бути збільшені у розмірах без серйозних матеріальних
adipiscing elit. Integer vitae arcu eu lacus lobortis
mattis. In hac habitasse platea dictumst.
інвестицій.
5.Фінансовий зиск. Витрати на обслуговування Data Lake у порівнянні з іншими
типами сховищ нижче, оскільки вони є простими в управлінні та не вимагають
використання дорогого обладнання.
ПРИКЛАДИ ІНСТРУМЕНТІВ DATA LAKE
Microsoft Azure – Azure може зберігати й аналізувати петабайти даних. Azure
полегшує налагодження та оптимізацію програм для великих даних.
Google Cloud – Хмара Google пропонує економічно ефективне отримання,
зберігання та аналіз величезних обсягів великих даних будь-якого типу. Він
також інтегрується з такими інструментами аналітики, як Apache Spark,
BigQuery та іншими прискорювачами аналітики.
Атлас MongoDB – Atlas data lake – це повністю кероване сховище даних. Він
забезпечує економічно ефективні способи зберігання великомасштабних
даних і може виконувати високопродуктивні запити, які використовують
менше обчислювальної потужності, заощаджуючи час і кошти.
Amazon S3 – Хмара AWS надає необхідні інструменти для створення гнучкого,
безпечного та економічно ефективного озера даних.Unique Він Strategic
має інтерактивну
Position
консоль для керування користувачами озера даних Loremі контролю доступу до
ipsum dolor sit amet, consectetur
користувачів. adipiscing elit. Integer vitae arcu eu lacus lobortis
mattis. In hac habitasse platea dictumst.
СТРУКТУРА DATA LAKE І ПРОЦЕСИ,
ЩО ВІДБУВАЮТЬСЯ ВСЕРЕДИНІ,
 Хмарне сховище Data Warehouse (Cloud
Warehouse) – це централізоване місце зберігання
структурованих даних, які повністю готові до
використання в окремих аналітичних процесах.
Інформація, що знаходиться, також може бути
отримана з різних джерел. Відмінність із Data Lake "Most Popular
Business Analysis"
полягає в тому, що вона приводиться в єдиний
уніфікований формат.

Вміст сховища чітко структурований. Дані з нього

можуть використовуватися у складанні звітів,
ретроспективному аналізі, системах прийняття
рішень, бути задіяними у технологіях машинного
навчання. Завдяки хмарним сховищам з’явилася
можливість масштабувати обсяги інформації, що
накопичується, і оперативно отримувати доступ до
потрібної інформації.
 ПЕРЕВАГИ DATA WAREHOUSE :
·У сховищі даних міститься вся інформація, необхідна бізнес аналітики. Його
головними перевагами є:
·Висока якість інформації. Очищення та стандартизація даних дозволяє
створювати єдине джерело правди для великої кількості користувачів та
аналітичних процесів.
·Простий доступ до даних. Інформація чітко структурована і не потребує
попередньої підготовки перед використанням.
·Прискорена обробка даних. Завдяки уніфікації інформації аналітичні процедури
виконуються набагато швидше. Ви зможете швидко вивчати інформацію та
приймати ефективні управлінські рішення.
·Усередині сховища не лише акумулюється, а й попередньо обробляється
інформація. У результаті кінцевим споживачам немає необхідності додатково
Unique Strategic Position
готувати дані до використання після вилучення. Lorem ipsum dolor sit amet, consectetur
adipiscing elit. Integer vitae arcu eu lacus lobortis
mattis. In hac habitasse platea dictumst.
ПРИКЛАДИ ІНСТРУМЕНТІВ DATA WAREHOUSE
SAP – Сховище даних SAP дозволяє користувачам семантично отримувати
доступ до багатих даних із багатьох джерел. Компанії можуть безпечно
обмінюватися інформацією та моделями, прискорювати прийняття рішень і
безпечно поєднувати зовнішні та внутрішні дані.
ClicData – Розумне та інтегроване сховище даних ClicData забезпечує
цілісність даних, якість і легкість звітування. ClicData пропонує як системи
планування, так і API реального часу, щоб ви могли отримувати оновлені дані в
будь-який час.
Червоне зміщення Amazon – Одне з найбільш широко використовуваних
сховищ даних Redshift використовує SQL для аналізу всіх типів даних, наявних
у різних базах даних, озерах або інших сховищах. Він пропонує відмінний
баланс вартості та продуктивності.
Склад IBM Db2 – IBM надає власні хмарні та інтегровані рішення для сховищ
даних. Він також інтегрує інструменти машинного навчання та штучного
Unique Strategic Position
Lorem ipsum dolor sit amet, consectetur
інтелекту для глибшого аналізу даних і використовує загальний механізм
adipiscing elit. Integer SQL
vitae arcu eu lacus lobortis
для оптимізації запитів. mattis. In hac habitasse platea dictumst.

Хмарне сховище даних Oracle – Oracle використовує базу даних у пам’яті та

пропонує графічні можливості, можливості машинного навчання та просторові
можливості для глибокого занурення в дані для швидшого, але багатшого
аналізу даних.
СТРУКТУРА DATA WAREHOUSE І ПРОЦЕСИ,
ЩО ВІДБУВАЮТЬСЯ ВСЕРЕДИНІ,
ПРИНЦИПИ ВІЗУАЛІЗАЦІЇ ДАНИХ:

1.Потрібно вибрати правильний тип візуалізації, залежно від

того, яка її мета.
2. Переконатися, що «посил» візуалізації підходить аудиторії.
3. Оформити візуалізацію у правильному дизайні.
ПРАВИЛА ПОБУДОВИ
ВІЗУАЛІЗАЦІЙ:
1. ПРАВИЛЬНИЙ ТИП ТА
ФОРМАТ ВІЗУАЛІЗАЦІЇ.
ПРАВИЛА ПОБУДОВИ
ВІЗУАЛІЗАЦІЙ:
2.ЛОГІЧНИЙ ПОРЯДОК.
ПРАВИЛА ПОБУДОВИ
ВІЗУАЛІЗАЦІЙ:
3. ДИЗАЙН НЕ ПОВИНЕН
ПЕРЕШКОДЖАТИ
РОЗУМІННЮ ЧИ
СПОТВОРЮВАТИ ДАНІ.
ПРАВИЛА ПОБУДОВИ
ВІЗУАЛІЗАЦІЙ:
4. ЛЕГКЕ ПОРІВНЯННЯ
ДАНИХ
ПРАВИЛА ПОБУДОВИ
ВІЗУАЛІЗАЦІЙ:
5. МІНІМУМ ЕЛЕМЕНТІВ
ПРАВИЛА ПОБУДОВИ
ВІЗУАЛІЗАЦІЙ:
6. ЗРОЗУМІЛИЙ ФОРМАТ
ЧИСЕЛ
ПРАВИЛА ПОБУДОВИ
ВІЗУАЛІЗАЦІЙ:
7. У ВІЗУАЛІЗАЦІЇ МАЄ БУТИ
НАЗВА ТА ПОВНА ЛЕГЕНДА.
ПРАВИЛА ПОБУДОВИ
ВІЗУАЛІЗАЦІЙ:
8. НАДАВАТИ ПЕРЕВАГУ
ЗАГАЛЬНОПРИЙНЯТОМУ
ВИКОРИСТАННЮ ТОГО ЧИ
ІНШОГО КОЛЬОРУ.
ПРАВИЛА ПОБУДОВИ
ВІЗУАЛІЗАЦІЙ:
9. ВИКОРИСТОВУВАТИ ДИН
ТИП ДІАГРАМИ ДЛЯ
ОДНОТИПНИХ ДАНИХ.
ПРАВИЛА ПОБУДОВИ
ВІЗУАЛІЗАЦІЙ:
10. ДОТРИМУВАТИСЬ ОДНІЄЇ
КОЛЬОРОВОЇ ГАМИ.
МАНІПУЛЯЦІЇ ПРИ
ВІЗУАЛІЗАЦІЇ ДАНИХ
МАНІПУЛЯЦІЇ З
ВІССЮ ОРДИНАТ.
МАНІПУЛЯЦІЇ ПРИ
ВІЗУАЛІЗАЦІЇ ДАНИХ
МАНІПУЛЯЦІЇ З
ВІССЮ ОРДИНАТ.
МАНІПУЛЯЦІЇ ПРИ
ВІЗУАЛІЗАЦІЇ ДАНИХ
ХРОНОЛОГІЧНЕ
ЗВУЖЕННЯ
ІНСТРУМЕНТИ, ЯКІ
ДОПОМОЖУТЬ
ВЕРИФІКУВАТИ
ВІЗУАЛЬНІ ДАНІ:
- ВЕРИФІКАЦІЯ ЗОБРАЖЕНЬ

GOOGLE REVERSE IMAGE SEARCH ДЛЯ ПОШУКУ

ВІДДЗЕРКАЛЕНИХ ЗОБРАЖЕНЬ.

VIEW EXIF DATA ДЛЯ ВИДОБУВАННЯ МЕТАДАНИХ. Т

FORENSICALLY — ЦЕ НАБІР БЕЗКОШТОВНИХ

ІНСТРУМЕНТІВ ДЛЯ РЕТЕЛЬНОГО ДОСЛІДЖЕННЯ
ЦИФРОВОГО ЗОБРАЖЕННЯ. ВІН МОЖЕ ВИЯВЛЯТИ
КЛОНІВ, АНАЛІЗУВАТИ РІВЕНЬ ПОМИЛОК ТА
ОТРИМУВАТИ МЕТАДАНІ.
ІНСТРУМЕНТИ, ЯКІ
ДОПОМОЖУТЬ
ВЕРИФІКУВАТИ
ВІЗУАЛЬНІ ДАНІ:
- ВЕРИФІКАЦІЯ ВІДЕО

ПРОЄКТ INVID — «ШВЕЙЦАРСЬКИЙ АРМІЙСЬКИЙ

НІЖ», ЯКИЙ ДОПОМАГАЄ БУТИ БІЛЬШ ЕФЕКТИВНИМ
У ПЕРЕВІРЦІ ФАКТІВ У СОЦІАЛЬНИХ МЕРЕЖАХ,
ОСОБЛИВО СТОСОВНО ВІДЕО ТА ЗОБРАЖЕНЬ.

YOUTUBE DATA VIEWER — ЦЕ ПРОСТИЙ ІНСТРУМЕНТ

ВІД AMNESTY INTERNATIONAL ДЛЯ ОТРИМАННЯ
ПРИХОВАНИХ ДАНИХ ІЗ ВІДЕО, РОЗМІЩЕНИХ НА
YOUTUBE.
ІНСТРУМЕНТИ, ЯКІ
ДОПОМОЖУТЬ
ВЕРИФІКУВАТИ
ВІЗУАЛЬНІ ДАНІ:
- ВЕРИФІКАЦІЯ ЛОКАЦІЇ

GOOGLE MAP’S STREET VIEW — ЦЕ НАЙКРАЩИЙ

СПОСІБ ВІРТУАЛЬНО ВІДВІДАТИ МІСЦЕ ПОДІЇ ТА
ПЕРЕВІРИТИ, ЧИ ВСЕ ВІДПОВІДАЄ ДІЙСНОСТІ У
ПЛАНІ КОНФІГУРАЦІЇ БУДІВЕЛЬ ТА
НАВКОЛИШНЬОГО СЕРЕДОВИЩА. І

ЩОБ ОЦІНИТИ І ПЕРЕВІРИТИ, СКІЛЬКИ НАСПРАВДІ

ЛЮДЕЙ МОЖУТЬ ВМІСТИТИСЯ НА ПЕВНІЙ ПЛОЩІ
МОЖНА ВИКОРИСТАТИ MAPCHECKING.
ДЯКУЮ ЗА
УВАГУ