Μεγάλα Δεδομένα και

Υπολογιστικά Νέφη στην

Τηλεπισκόπηση

Φοιτητές
Διδάσκων Καθηγητής
Δριμζάκας Παπαδόπουλος Βασίλειος
Κακαράκης Εμμανουήλ Δρ. Ψάννης Κωνσταντίνος
 Σκοπός της εργασίας

 Εφαρμογές στην ανάλυση μεγάλων δεδομένων στην • Πλεονεκτήματ

τηλεπισκόπηση α

 Εφαρμογή τεχνολογιών υπολογιστικού νέφους στην • Μειονεκτήματ

τηλεπισκόπηση α

 Το μέλλον των τεχνολογιών αυτών στην επιστήμη της

τηλεπισκόπησης
 Τι είναι η Τηλεπισκόπηση;

 Η διαδικασία απόκτησης πληροφοριών για κάποιο

αντικείμενο χωρίς να υπάρξει φυσική επαφή με αυτό.

Μέτρηση της ανάκλασης από απόσταση.

• Ανίχνευση πληροφοριών
• Εξαγωγή πληροφοριών
• Παρακολούθηση φυσικών χαρακτηριστικών
 Μεγάλα Δεδομένα στην
Τηλεπισκόπηση
NASA 1,73 GB/s

OGC (1999): Τα διαθέσιμα

δεδομένα ξεπερνάνε το ένα
Exabyte
Πολυδιάστατη Πληροφορία:
Μεγάλα Δεδομένα στην
Τηλεπισκόπηση
 Μεταδεδομένα (meta-data)

Πληθώρα μεταδεδομένων:
• Περιγραφή προϊόντος
• Μέγεθος δεδομένων
• Τύπος πληροφορίας
• Γεωγραφική πληροφορία
• Πληροφορίες φορέα
 Διαχείριση και ανάλυση
δεδομένων
Geospatial data/day > 10TB*

Αδυναμία παραδοσιακών μέσων επεξεργασίας και ανάλυσης

Αντιμετώπιση προβλήματος:

• Array DBMSs
• Cloud Computing • Graph DBs
• Distributed Systems • MapReduce systems
• Web Services
• Moving Code Paradigm
*Sentinel-1
 Υπολογιστικά Νέφη στην Τηλεπισκόπηση

Αποτελέσματα σε πραγματικό χρόνο:

 Φυσικές Καταστροφές
• Πρόβλεψη/Πρόληψη
• Αντιμετώπιση

Προβλήματα:
• Δυσκολία συγκέντρωσης δεδομένων
• «Βαρύ» υπολογιστικό φορτίο
• Μεγάλος όγκος δεδομένων
 Υπολογιστικά Νέφη στην Τηλεπισκόπηση

Cluster based HPC (High-Performance Computing)

Προβλήματα:
• Ευρετηριοποίηση
• Πολυδιάστατη επεξεργασία
• Η ροή εργασιών αλλάζει δυναμικά
 Υπολογιστικά Νέφη στην Τηλεπισκόπηση

Cloud Computing: παρέχει το λογισμικό, την επεξεργασία και

την μνήμη ως υπηρεσίες.

Πλεονεκτήματα:
• Ευκολότερη πρόσβαση στα δεδομένα
• Ευκολότερη πρόσβαση σε κορυφαίας
τεχνολογίας μέσα (State of the Art)
• Ευκολότερη διαχείριση (Ι/Ο) των
δεδομένων
• Μεγάλη υπολογιστική ισχύς
Big EO Data Management and Analysis
Πλατφόρμες
 Google Earth Engine (GEE)
 Sentinel Hub (SH)
 Open Data Cube (ODC)
 System for Earth Observation Data
Access, Processing and Analysis for
Land Monitoring (SEPAL)
 Open Earth Observation (OpenEO00)
 Πλατφόρμες Cloud EO

Yπολογιστικές λύσεις που

παρέχουν λειτουργίες για Eνσωματώνουν διαφορετικά
διαχείριση μεγάλων είδη τεχνολογιών, Application
δεδομένων, αποθήκευση και Programming Interfaces (API)
πρόσβαση, οι οποίες και web services για την
επιτρέπουν την server side διαχείριση big data
επεξεργασία
 Πλατφόρμες Cloud EO
GEE

Ενώ το GEE παρέχει ένα φιλικό περιβάλλον για τους επιστήμονες, η εφαρμογή διαδικασιών που δεν είναι διαθέσιμες
μέσω των λειτουργιών του GEE API απαιτεί σημαντική προσπάθεια χρήστη.

JavaScript API και Python API

 Πλατφόρμες Cloud EO
Sentinel Hub

Οι δυνατότητες της πλατφόρμας SH διατίθενται μέσω των υπηρεσιών OGC και ενός RESTful API

Data Source, Instances, Layers & Evalscripts4

 Πλατφόρμες Cloud EO
Open Data Cube

Επιτρέπει την καταλογογράφηση τεράστιων συνόλων

δεδομένων EO και την πρόσβαση και τον χειρισμό τους
μέσω της γραμμής εντολών & API

Python API, PostgreSQL, Jupyter Notebooks, Web

Interface Modules
 Πλατφόρμες Cloud EO
SEPAL

Συνδυάζει υπηρεσίες cloud, όπως το

Google Earth Engine, το Amazon Web
Services Cloud (AWS)

Amazon Web Services Cloud, Google Drive ,

Google Cloud Storage
 Πλατφόρμες Cloud EO
Open EO
Αρχιτεκτονική τριών επιπέδων: Client API, Core API, Driver API
REST Web Services

R, Python, JavaScript packages or modules

 Χαρακτηριστικά πλατφόρμας

 Data Abstraction: Αποκρύπτει τον τρόπο αποθήκευσης των δεδομένων χωρίς να

περιορίζει την πρόσβαση σε αυτά.
 Processing Abstraction: Αποκρύπτει πληροφορίες σχετικά με τον τρόπο απόκτησης
και επεξεργασίας των δεδομένων χωρίς να περιορίζει την υπολογιστική ισχύ.
 Physical infrastructure abstraction: Αποκρύπτει το πλήθος των πόρων που
χρησιμοποιεί.
 Open Governance: Η κοινότητα να συμμετέχει στην διαχείριση και την ανάπτυξή της.
 Reproducibility of science: Να επιτρέπει τον διαμοιρασμό και την επαναληψιμότητα
των αναλύσεων και των αποτελεσμάτων μεταξύ της κοινότητας.
 Χαρακτηριστικά πλατφόρμας

 Infrastructure replicability: Να μπορεί να αντιγραφεί η υποδομή, οι διαδικασίες και

τα δεδομένα σε ιδιωτικές υποδομές
 Processing scalability: Να αλλάζει δυναμικά η επίδοση του συστήματος με χρήση
περισσότερων πόρων, χωρίς να περιορίζεται η πρόσβαση στα δεδομένα.
 Data access interoperability: Να παρέχει μέσα και δυνατότητες ώστε να παρέχει
πρόσβαση στα αποτελέσματα και τα δεδομένα, μέσω άλλων εφαρμογών.
 Extensibility: Δυνατότητα προσθήκης εργαλείων για βελτιστοποίηση της απόδοσης
μέσα στην πλατφόρμα.
 Αποτελέσματα

 Δεν υπάρχει υλοποιημένη πλατφόρμα η οποία να ικανοποιεί πλήρως τα κριτήρια

που τίθενται.
 Από τις διαθέσιμες πλατφόρμες που εξετάστηκαν, η ODC είναι η πιο
ολοκληρωμένη με βάση τα άνωθεν κριτήρια.
 Μειονέκτημά της, η έλλειψη υποστήριξης για την επαναληψημότητα των
αποτελεσμάτων.
 Συμπεράσματα
 Βάσεις δεδομένων με γράφους (graph databases).
 High level of abstraction API (απλές διεργασίες).
 Πλατφόρμα στα πρότυπα ODC για τις υπολογιστικά απαιτητικές εργασίες, ο
χρήστης διαχειρίζεται τους πόρους και έχει απευθείας πρόσβαση στα δεδομένα.
 Χρήση Apache Spark για αναλύσεις σε πραγματικό χρόνο (x100 ταχύτητα από
το Hadoop MapReduce).
 Χρήση Apache Hadoop MapReduce για δεδομένα μεγάλης κλίμακας.
 Χρήση κινούμενο κώδικα (moving code)