Mineral interpretation results using

deep learning with hyperspectral

imagery

Andrés Bell
Carlos Roberto del-Blanco
Fernando Jaureguizar
Narciso García
María José Jurado
Grupo de Tratamiento de Imágenes (GTI)
Universidad Politécnica de Madrid

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 1
 Table of contents
• Introduction.
• Mineral recognition system for hyperspectral images of drill-core
boxes.
• Results.
– Using LWIR spectral range.
– Using VN-SWIR spectral range.
– Using both spectral ranges.
• System conclusions.
• Final conclusions.

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 2
 Introduction
• Innolog (European Research Project):
– Development of innovative borehole geophysical logging tools and mineral
interpretation software:
• Innovation in tools for wider applicability and sustainability.
– New acquisition sensors.
• Main contribution: Innovation in interpretation software for an improved in-situ and
online recognition and quantification of minerals in the subsurface.
– Use of machine learning methods.
– Test and validate efficiency of new tools in mines.
– Training in the use of the developed technologies.
– Raise competitiveness of European mining companies.

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 3
 Mineral recognition system for hyperspectral
images of drill-core boxes
• Hyperspectral database of drill-core boxes:
– Problems for using it with machine learning techniques:
• Different types of sensors with:
– Diverse spectral and spatial resolutions.
– Different spectral ranges.
• Distortions in the spectral signatures by:
– Acquisition method.
– Geometry of the sensing device, illumination and the cores.
– Scattering properties of the core materials.
• Presence of regions without cores (holes and wooden box areas).

(1)

(2) (2)
(3)
y
(1) (3)

Core
z x
 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 4
 Mineral recognition system for hyperspectral
images of drill-core boxes
• System overview:
Hyperspectral
database of drill-
core boxes Mineral
Prediction
Machine-learning classification
compatible database

Training

Deep neural
network model

• General features:
– Deep neural network model adapted to hyperspectral imagery.
– Prediction: segmentation mask showing the minerals present in the input.

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 5
 Results
• Databases features:
Spectral Range of Number of bands
Range wavelengths (nm)
LWIR 7500 - 12000 ~90
VN-SWIR 450 - 2500 ~340

• Three scenarios:
– LWIR spectral range.
– VN-SWIR spectral range.
– LWIR and VN-SWIR spectral ranges.

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 6
 Results
• Recognition results (top 5):
– Different recognition results depending on:
– Spectral range.
– Number of samples per mineral category: imbalanced.
Using LWIR spectral range Using VN-SWIR spectral range
Minerals F1-score Minerals F1-score
Albite 0,90 Actinolite 0,77
Amphibole 0,97 Amphibole 0,91
Apatite 0,70
Biotite-Chlorite 0,82
Carbonate 0,96
Carbonate 0,97
Clinopyroxene 0,99
Epidote 0,74
Epidote 0,98
Microcline 0,92 Saponite 0,90

Quartz 0,94 White Mica 0,79

Quartz-Clay-Feldspar 0,96 White Mica-Chlorite 0,95
Sulphide-Oxide 0,98 Average / total 0,86
Average / total 0,93

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 7
 Results
• Recognition results using both (LWIR and VN-SWIR) spectral
ranges:
– Strong imbalance in the number of samples (especially in Biotite for LWIR).
– Higher recognition performance with higher number of samples.
F1-score Number of samples (pixels)
Band VN-
LWIR VN-SWIR LWIR
Mineral SWIR
Amphibole 0,92 0,95 1.733.048 917.039
Biotite 0,72 0,14 173.644 Very few
13.776
samples
Carbonate 0,95 0,95 2.833.219 1.347.898
Epidote 0,71 0,99 83.113 329.661
Water-Phyllosilicate 0,86 0,87 193.488 532.467
White Mica 0,83 0,95 404.327 42.830
Average (with Biotite) 0,83 0,81
Average (without
Biotite) 0,85 0,94

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 8
 Results
• Mineral classification performance (confusion matrix – top 5):
– LWIR band.
Background 0,99 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Class 1 0,01 0,96 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
0,01 0,01 0,84 0,00 0,00 0,00 0,01 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,01 0,09 0,00 0,01 0,00
Albite 0,00 0,00 0,00 1,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Quartz 0,00 0,00 0,00 0,00 0,99 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Apatite 0,03 0,02 0,00 0,03 0,01 0,77 0,00 0,04 0,00 0,00 0,02 0,00 0,00 0,08 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Biotite 0,02 0,01 0,01 0,01 0,01 0,00 0,93 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Miscellaneous 0,01 0,00 0,00 0,01 0,00 0,00 0,01 0,93 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,01 0,00
0,00 0,00 0,00 0,02 0,00 0,00 0,00 0,00 0,97 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Carbonate
0,02 0,00 0,01 0,02 0,00 0,00 0,00 0,00 0,00 0,86 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,04 0,00 0,00 0,03 0,01 0,00 0,00 0,00
Epidote 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,98 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Microcline 0,02 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,02 0,93 0,00 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,01 0,00 0,00 0,00 0,00

True mineral
Amphibole 0,12 0,00 0,00 0,07 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,80 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Orthoclase 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,98 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Garnet (Ugrandite) 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,99 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 1,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
White Mica 0,01 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,01 0,01 0,00 0,00 0,00 0,00 0,00 0,96 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Clinopyroxene 0,01 0,00 0,00 0,02 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,96 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Olivine 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,99 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Plagioclase 0,07 0,03 0,01 0,07 0,19 0,01 0,00 0,00 0,01 0,01 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,58 0,00 0,00 0,00 0,01 0,00 0,00
Gypsum 0,02 0,00 0,00 0,02 0,00 0,00 0,00 0,01 0,00 0,00 0,01 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,92 0,00 0,00 0,02 0,00 0,00
0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,98 0,00 0,00 0,00 0,00
Quartz-Clay-Feldspar 0,01 0,00 0,02 0,00 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,02 0,94 0,00 0,00 0,00
Apatite-Other 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,98 0,00 0,00
Other-Carbonate 0,02 0,01 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,92 0,00
Water-Phyllosilicate 0,19 0,03 0,00 0,14 0,56 0,05 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,04
Feldspar-Quartz
Sulphide-Oxide
Phyllosilicate
Tourmaline

Predicted mineral

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 9
 Results
• Mineral classification performance (confusion matrix – top 5):
– VN-SWIR band.
Background 0,99 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Miscellaneous 0,00 0,98 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,00
Amphibole 0,00 0,00 0,96 0,00 0,01 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Carbonate 0,00 0,01 0,01 0,97 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Class 4 0,01 0,00 0,02 0,00 0,91 0,02 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00
White Mica-Chlorite 0,00 0,01 0,00 0,00 0,02 0,96 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
White Mica 0,04 0,03 0,05 0,05 0,04 0,03 0,72 0,01 0,01 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,00
Biotite 0,01 0,00 0,15 0,01 0,02 0,01 0,00 0,70 0,00 0,00 0,00 0,03 0,00 0,00 0,01 0,06 0,00 0,00 0,00 0,00 0,00 0,00

True mineral
Water 0,03 0,01 0,15 0,04 0,02 0,01 0,05 0,00 0,59 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,04 0,01 0,00 0,00 0,00
Wood 0,10 0,05 0,01 0,01 0,01 0,02 0,01 0,00 0,07 0,69 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,00 0,00
Epidote 0,01 0,03 0,06 0,10 0,01 0,01 0,00 0,05 0,00 0,00 0,69 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,02 0,00 0,00
Saponite 0,02 0,00 0,01 0,02 0,00 0,02 0,00 0,00 0,01 0,00 0,00 0,91 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Talc 0,02 0,04 0,00 0,04 0,04 0,37 0,10 0,02 0,04 0,00 0,00 0,02 0,30 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Quartz-Water 0,04 0,00 0,06 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,82 0,00 0,00 0,00 0,05 0,01 0,00 0,01 0,00
Class 16 0,05 0,04 0,06 0,00 0,04 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,79 0,00 0,00 0,01 0,00 0,01 0,00 0,00
Biotite-Chlorite 0,02 0,00 0,17 0,00 0,02 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,77 0,00 0,00 0,00 0,00 0,00 0,00
Chlorite-Biotite-Sericite 0,03 0,00 0,07 0,00 0,00 0,01 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,03 0,02 0,04 0,76 0,02 0,01 0,00 0,00 0,00
Water-Phyllosilicate 0,02 0,03 0,03 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,89 0,00 0,00 0,00 0,00
Actinolite 0,04 0,08 0,09 0,01 0,01 0,00 0,03 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,02 0,01 0,00 0,00 0,68 0,00 0,01 0,00
Dark Phyllosilicate 0,01 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,97 0,00 0,00
Tourmaline 0,06 0,02 0,11 0,05 0,01 0,00 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,02 0,01 0,00 0,00 0,00 0,01 0,00 0,69 0,00
Other-Water 0,10 0,00 0,13 0,05 0,00 0,00 0,15 0,00 0,13 0,00 0,00 0,00 0,00 0,01 0,01 0,00 0,00 0,00 0,02 0,00 0,01 0,40

Predicted mineral

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 10
 Results
• Examples of problematic spectral signatures:
– LWIR band:
Reflectance

Reflectance
Clinopyroxene Olivine

100 % classified
as Clinopyroxene

Wavelength (nm) Wavelength (nm)

– VN-SWIR band:

White Mica-
Reflectance
Reflectance

Talc
Chlorite

37 % classified as
White Mica-
Chlorite

Wavelength (nm) Wavelength (nm)

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 11
 System conclusions
• Strong imbalance in the number of samples of the mineral
categories:
– Possible measures to deal with the problem:
• Gather more samples (time consuming and costly).
• Apply specific machine learning techniques for scarce data.
• Discard categories with few samples or group together into the same class.
• Recognition in the LWIR range more accurate than in VN-SWIR:
– More variety of minerals.
– Spectral signature patterns may be more distinctive.
• VN-SWIR band still useful:
– Recognition of several mineral categories only possible in this band.
– Spectral signature patterns in this band may be still discriminative enough.
• Very interesting option for low-budget systems.

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 12
 Final conclusions
• Automatic mineral recognition from hyperspectral imagery is
possible:
– Successful application of innovative machine learning methods (patent in
process).
• Development of a mineral recognition system for hyperspectral
images of drill-core boxes:
– Better recognition capability for those mineral categories with a higher
number of samples.
• Real-time operation:
– Viable (less than one second per prediction), necessary for recognition
during downhole explorations.

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 13
 Mineral interpretation results using
deep learning with hyperspectral
imagery

Andrés Bell
Carlos Roberto del-Blanco
Fernando Jaureguizar
Narciso García
María José Jurado
Grupo de Tratamiento de Imágenes (GTI)
Universidad Politécnica de Madrid

 Grupo de Tratamiento de Imágenes (GTI) – Technical University of Madrid (UPM) May 2020, EGU2020 Presentation 14