Ứng dụng XAI trong

phân đoạn ảnh y khoa

Giảng viên: PGS.TS Lý Quốc Ngọc Nhóm : Twelve

21C11015 Nguyễn Phương Nam
21C11026 Nguyễn Thành Thái
21C11029 Hoàng Minh Thanh
 1. Introduction

2. Related work

Contents 3. SOTA methods

4. Experiment

5. Conclusion

6. Q&A
 Explainable AI

Vì sao dự đoán sai? Mô hình bị thiên kiến?

Dựa trên những yếu tố nào Bị bias trên đặc trưng gì, nhóm
dữ liệu nào?

Kết luận dựa trên cơ sở gì?

Liệu dự đoán đúng nhưng lại dựa trên
đặc trưng sai?
1. Introduction
 Why we needs Explainable AI (XAI)

❑ Mục tiêu của XAI là để giúp con người hiểu, có thể tin
tưởng và quản lý hiệu quả các kết quả của một hệ
thống AI.

Megatron-Turing Natural Language Generation model (MT-

NLG) có hơn 530 tỉ tham số

GPT-4 ước tính có 100 Trillion tham số

Why we needs Explainable AI (XAI)
 Động lực nghiên cứu

Khoa học Ứng dụng

• Không thể lý giải khi input thay đổi
• Có thể chỉnh sửa để đạt kết quả
tốt hơn​
• Lý giải được các trường hợp bị
bias (thiên kiến)
• Biết được nguyên nhân nào tác động
làm thay đổi kết quả dự đoán
• Có thể giải thích khi bị Adversarial
Attack
• Lý giải:
- Giải thích khi trường hợp
tranh chấp, kiện tụng
- Giải thích nguyên nhân gây
ra sự cố
• Ứng dụng trong các trường hợp yêu
cầu độ chính xác cao
• Có thể cải thiện được độ chính xác
cao, đảm bảo hệ thống hoạt động ổn
định.
• Tích hợp kết quả diễn giải để
phát triển các hệ thống khác​

Adversarial Attack: là kỹ thuật để tìm ra một sự nhiễu loạn làm thay đổi dự đoán
của một mô hình học máy. Sự nhiễu loạn có thể rất nhỏ và mắt người không thể
nhận thấy được.
XAI in Medical Image Segmentation
(XAI in MIS)

Explainable AI Medical Image

(XAI scope, (Lung, Chest, Brain, ...,
Visual/Text/number, ...) CT,MRI, X-ray)
XAI in
MIS

Image
Segmentation
(Edge base, Threadhold,
Region base, ..)
2. Related work
 Medical Image

❑ Ảnh não 2D lấy từ ảnh MRI (3D)

2D (X-ray)
3D (MRI,CT)

Ảnh não Ảnh khối u

 Image Segmentation

❑ Hướng tiếp cận

● Machine learning
● Deep learning
 Image Segmentation

❑ U-NET(Không phải SOTA)

● Mô hình tiêu biểu nhất cho bài toán Segmentation
● Mô hình Unet là mô hình đơn giản nhất để dễ dàng XAI
● Dữ liệu y khoa rất ít, chi phí gán nhãn cao
(Các mô hình Transformer cần dữ liệu cực lớn - hàng triệu tấm ảnh)
 XAI problem statement

❑ Requirement
● Lý giải cho 1 dự đoán mô
hình của 1 ảnh bất kỳ
❑ Input
● Một ảnh bất kỳ
● Mô hình phân đoạn và trọng số XAI
Model
❑ Output
● Sự giải thích (The Explanation)
 Image (Saliency Maps)
 Visual Image
 Văn bản (Text)
 Number
 Tree/Table/...
 Explainable AI

❑ XAI Method Taxonomy

● Khả năng:
 Giải thích ở nhiều model (XAI Model Agnostic)
 Chỉ những model cụ thể (XAI Model Specific)
● Phạm vi:
 Toàn cục (Global)
 Cục bộ (Local)
image model weight
● Giai đoạn nào:
 Trước khi training model
 Trong khi training model ● Output:
 Sau khi training model (Post-hoc)  Numerical
● Phương pháp:  Textual
 Rule
 Thay thế (Surrogate)
 Visual (Images, Graph, Chart,.)
 Trực quan hóa (Visualization)
 Model
 Mixed
 XAI by scope
❑ Cục bộ (Local Explanations) vs Toàn cục (Global Explanations)

Giải thích kết quả của 1 dự đoán dựa Giải thích kết quả của 1 dự đoán dựa
trên một đặc trưng cục bộ trên phạm vi toàn cục
(Explain individual predictions) (Explain complete behavior of model)

Tìm ra được sự bias của mô hình trong Làm rõ được những bias sẽ ảnh hưởng
phạm vi toàn cục đến những nhóm dữ liệu nào
(Help unearth biases in the local (Help shed light on big picture biases affecting
neighborhood of a given instance) larger subgroups)

Điều tra được dự đoán dựa trên Điều tra dự đoán đúng có đã dựa trên
những đặc trưng đúng hay sai những đặc trưng đúng hay chưa
(Help vet if individual predictions are being (Help vet if the model, at a high level, is
made for the right reasons ) suitable for deployment)

Interpreting Machine Learning Models:​ State-of-the-art, Challenges, Opportunities​

 Explainable AI

❑ Người sử dụng XAI:

● End users (e.g., người xin vay)
● Người cần ra quyết định (e.g., bác sĩ, luật sư, judges)
● Cơ quan quản lý (e.g., người làm luật)
● Researchers và kỹ sư
❑ Chức năng của XAI:
● Debugging
● Phát hiện trong trường hợp bị bias (Bias Detection)
● Cơ sở để tin tưởng mô hình (Recourse)
● Biết được khi nào và trường hợp nào thì mô hình
đáng tin cậy
● Các mô hình phụ trở, để gỡ lỗi, giám sát, giúp hệ
thống hoạt động ổn định.
 Explainable AI

❑ Output:
● Inherently Interpretable Models
Lý giải bằng mô hình đơn giản mà con người dễ dàng hiểu được
 Ưu: Lý giải dễ dàng hiểu được, dễ dàng tiếp cận với người dùng thông thường
 Nhược:
• Độ chính xác không cao
• Không bao quát hết và mô tả đầy đủ về model

● Post hoc Explanations

Hậu xử lý để cung cấp thông tin cần thiết về mô hình
 Ưu: Cung cấp các thông tin cần thiết, mô tả đầy đủ các hành vi của model
 Nhược:
• Độ phức tạp cao
• Không phải ai cũng có thể hiểu được
 Explainable AI for Deep Learning

❑ Feature attribution: Làm nổi bật các đặc trưng quan

trọng ảnh hướng đến việc dự đoán của mô hình
● Pixel attribution: trường hợp đặc biệt của feature attribution
 Phương pháp Perturbation-based
• LIME, SHAP, ...
 Phương pháp Gradient-base:
Output là Saliency map
• CAM (Vanilla gradient)
• Grad-CAM
• SmoothGrad...

❑ Saliency map:
Là ảnh grayscale trong đoạn [0 , 1], kích thước cùng với ảnh gốc

Input Output
Saliency map
 Saliency map giải thích điều gì?

❑ Output phương pháp Gradient-base

XAI in MIS => Saliency map.
❑ Saliency map giải thích bằng cách làm nổi bật:
● Theo vùng (region)/điểm ảnh (pixel) ảnh hưởng:
 Region/pixel nào trong ảnh tác động đến kết quả dự đoán cuối cùng
● Theo từng giai đoạn (stage)/từng lớp (layers)
 Với từng lớp thì mô hình đã tập trung học ở vùng nào
VD: stage1: học ở các tai, mắt, tóc,...; stage2: thì học toàn bộ khuôn mặt,…
● Theo từng lớp nhãn (ground truth) khác nhau
 Vùng được học với từng class khác nhau (chó/mèo/voi/..)
 Lợi ích của Saliency map

❑ Nếu saliency map làm nổi bật không đúng các đặc
trưng cần học, ta có thể biết để điều chỉnh:
● Theo region/pixel:
 Tăng thêm dữ liệu có nhiều các ảnh có đặc trưng và nhãn tương ứng để
model có thể học được đúng trong trường hợp đó.
● Theo từng giai đoạn (stage)/từng lớp (layers)
 Nếu với từng stage/layers mà saliency map không học đúng thì có thể
tăng/giảm thêm layers hoặc điều chỉnh mô hình
● Theo từng lớp nhãn (ground truth) khác nhau
 Với những lớp nhãn có độ chính xác thấp hoặc saliency học không đúng với
yêu cầu thì cần tăng thêm dữ liệu để mô hinh có thể học tốt hơn
 ​Công
Nguyên lý Ưu điểm Nhược điểm
trình

- Chỉ ra được đặc trưng

- Việc lựa chọn kernel hợp lý
nào quan trọng cho việc - Áp dụng cho tất cả loại mô hình
không đơn giản.
dự đoán bằng cách xáo - Dùng hồi quy tuyến tính (hoặc
- Dữ liệu perturbed được lấy
trộn input và quan sát cây quyết định), giải thích ngắn
​LIME ngẫu nhiên, có thể có dữ liệu “kỳ
kết quả và dễ hiểu.
dị”.
- Làm nổi bật các phần - LIME áp dụng: bảng, ảnh và văn
- Lời giải thích của LIME có thể bị
quan trọng bản.
thao túng/điều khiển.

- Thể hiện được mối quan

- Giải thích tầm quan hệ tầm quan trọng các thuộc tính
- Tính toán chậm
trọng/đóng góp của các với kết quả
-
đặc trưng cho dự đoán - Lời giải thích chính xác hơn
Lời giải thích của SHAP có thể bị
SHAP trung bình - Cung cấp khả năng lý giải toàn
thao
- Shap tính trung bình cục và cục bộ
túng / điều khiển.
các hoán vị mask đặc -
- Có thể có điểm dữ liệu kỳ dị
trưng SHAPE áp dụng: bảng, ảnh và tex
t

- Dựa trên SHAP và

DeepShap
nhanh hơn dựa trên xắp Tốc độ tính toán nhanh hơn Tính toán gần đúng (xấp xỉ)
DeepLift
xỉ sum
​Công trình Nguyên lý Ưu điểm Nhược điểm

- Phải thêm lớp GAP vào CNN

- Tạo lớp GAP các node - Có thể chỉ lấy được thông tin ở lớp
- Visualization phản ánh
là feature map của lớp conv cuối cùng
​CAM tầm quan trọng các dữ
conv cuối cùng với lớp - Không được phép có nhiều fully
liệu đầu vào.
Fully connected connected layer ở phía sau lớp GAP

- Không cần thay đổi kiến - Grad-CAM chỉ backpropagate đến

trúc mạng. lớp conv cuối.
- Tính weight dựa trên
​Grad-CAM - Giữ lại các spatial - Không có thông tin về ảnh đầu
gradient
information và high-level vào. Đôi khi sẽ bị mất mát thông tin
feature. quan trọng ở ảnh đầu vào.
 Ý tưởng phương pháp Gradient-base
❑ Mô hình blackbox (deep learning) học dựa trên tăng/giảm đạo hàm
● Hàm loss: với là learning rate (tỷ lệ học)

● VD: Kết quả dự đoán ảnh là con mèo là 0.6 hay 60%.

0.6 (~60%) là 3

=+0.2-0.3+0.7-0.5-0.3+0.8 (layer đầu)

= +0.4-0.7+0.9 (layer cuối)
= 0.6 (output)
Đạo hàm (Gradient result) sẽ tăng hoặc giảm
 Phân dương: thành phần khớp đúng với nhãn
 Phân âm: thành phần khớp đúng với nhãn
=> Gradient dương -> vùng nào đó trong ảnh
có tác động đến kết quả cuối cùng.
Loss Landscapes
 Phương pháp Gradient-base

❑ Chọn Phương pháp Gradient-base vì:

● Trực quan, dễ quan sát
● Tính toán nhanh hơn so với các phương pháp khác
● Phù hợp XAI cho bài toán Segmetation và mô hình
U-NET
CAM, Grad-CAM, Guide GradCAM, SmoothCam
 Tóm tắt
❑ XAI in MIS:
● Chọn ảnh 2D não để phân đoạn khối u
● Chọn U-net là mô hình Segmentation
● Chọn Gradient-base cho phương pháp XAI
❑ Saliency map:
● Giải thích: vùng nào làm nổi
bật theo region/pixel, stage Explainable AI
(XAI scope,
Medical
Image
ground truth Visual/Text/number,
...)
(Lung, Chest, Brain, ...,
XAI in CT,MRI, X-ray)

● Lợi ích: biết cần thay đổi gì MIS

Image
❑ Ý tưởng XAI Gradient-base: Segmentation
(Edge base,

● Tăng/giảm gradient ~ Khớp/không Threadhold, Region

base, ..)

khớp giữa dự đoán và ground truth

3. XAI trong phân đoạn khối u
từ ảnh não
 Medical Image Segmentation

❑ Input:
● 1 ảnh chụp não kích thước
❑ Output:
● 1 mask chứa khối u tương ứng
❑ Nhãn (Ground Truth):
● ; pixel não không có khối u
● ; pixel não có khối u
❑ Dataset:
● Tập ảnh 2D não
● Tập mask 2D tương tương ứng
Unet Architecture
Unet Architecture
 Loss Functions
Binary Cross-Entropy
 XAI trong phân đoạn khối u não

❑ Input:
● Ảnh chụp 2D não
● Mô hình U-net và trọng số đã training
● Kết quả phân đoạn khối u của U-net
❑ Output:
● Explainable (Saliency map - vùng ảnh khối u được kích hoạt)

Input:
• 1 ảnh não bất kỳ
• trọng số model XAI Menthod
• model Output :
Saliency map
 Phương pháp Gradient-based
❑ Mục tiêu:
● Visualize saliency map cho các lớp convolution cuối cùng

5x5

conv1 conv2 feature map

dense layer

Gradient-
base method
Saliency map
 Pipeline of Method Framework

❑ Giải thích được các đặc trưng nào đóng góp

cho việc phân đoạn
 XAI in Segmentation

CAM (Vanilla gradient) SmoothGrad

CAM (Vanilla
XAI Menthod
gradient) là gì?
Grad-CAM

Input
Guided Grad-CAM
 CAM (Class Activation Map)

❑ Vanilla gradient (CAM)

● Mục tiêu: Vùng (Region) nào trong ảnh thể hiện đặc trưng của
lớp cần phân loại
GAP : Global Average Pooling
● Ý tưởng: Gradient dương -> vùng nào đó trong ảnh có tác
động đến kết quả cuối cùng.
 CAM (Class Activation Map)

❑ Vanilla gradient (Class Activation Map):

● B1: Tính feed forward của ảnh đầu vào đến lớp Conv
cuối cùng.
● B2: GAP lớp Conv cuối cùng
● B3: Training hàm linear classification theo GAP vừa
tính (Lớp dense cuối cùng được xấp xỉ bằng hàm
Linear – Theo công thức Taylor bậc nhất) để lấy w

Vanilla gradient

● B3: Dùng hàm linear để tính và biểu diễn saliency map.

 Class Activation Map in CNN

❑ Vanilla gradient (Class Activation Map):

Feed forward

Training linear approx

 Grad-CAM (Gradient-weighted
Class Activation Mapping)
❑ Grad-CAM:
● B1. Tính feed forward của ảnh đầu vào.
● B2. Lấy raw score của lớp cần tính, tính trung bình lớp neuron
trước khi softmax
● B3. Coi các lớp khác là 0, lớp cần tính là 1
● B4. Đạo hàm ngược đến lớp conv cuối cùng (lớp conv trước khi
đi qua lớp dense)
● B5. Tính hệ số của từng lớp feature map là trung bình đạo hàm
ngược.
● B6. Tính trung binh của feature map bằng
cách tổng hệ số nhân với từng lớp
● B7. Áp hàm RELU
● B8. Biểu diễn saliency map
Grad-CAM
 Guided Grad-CAM

❑ Guided Grad-CAM
● Kết hợp GradCAM + VanillaGrad
bằng nội suy song tuyến
(bilinear interpolation)
Global Average Pooling
 Các công đoạn SmoothGrad

❑ Thêm nhiễu (đạo hàm dao động rất lớn ở quy

mô nhỏ)
● B1. Thêm nhiễu vào ảnh cần XAI (nhiễu theo phân
phối chuẩn)
● B2. Tính GradCAM như cho tất cả ảnh đã sinh
● B3. Tính trung bình kết quả
​Công trình ​Nguyên lý Ưu điểm Nhược điểm

- Sử dụng các lớp tích chập để filter các đặc

trưng.

- Các quá trình down/up sampling nhưng

​ NET
U
vẫn giữ các giai đoạn encode - Mô hình đơn - Độ chính xác
(ResUNet+
downsampling đến cuối cho quá trình khởi giản và hiệu quả thấp
+)
tạo lại cuối cùng.
- Trích lọc đặc trưng và tìm ra bối cảnh của
hình ảnh, tổng hợp mask đưa ra nhãn từng
pixel.

- Tương tự UNET
- Dùng skip-connection (redisual
learning) giải quyết vấn đề vanishing - Độ chính xác
gradient cao hơn UNET - Kiến trúc phức
ResNET
- Tăng số lượng layer, tăng độ sâu mạng. - Độ phức tạp tạp hơn UNET
Tăng kích thước ảnh đầu vào xử lý hiệu quả cao hơn
hơn
​Công trình ​Nguyên lý
- Kết hợp căn bằng cả chiều sâu và
chiều rộng để đạt được model có
EfficientNet
kích thước lớn, với hiệu năng
(Eff-UNet,..)
cao độ phân giải cao hơn compund
scaling.
- ​Chia bức ảnh cần
segmentation thành từng Patches
và position encoding.
Transfomer
- Tính sự quan trọng của từng
(DPT, Swin
Pathes khi đi qua lớp Mask
UNETR...)
Transfomer
- Sau đó Upsampling và lấy Argmax
để được Segmentation Map
Ưu điểm Nhược điểm
- Độ chính xác cao hơn.
- Tốn tài nguyên tính toán
- Mạng cấu trúc lớn hơn
hơn ResNET
nhưng dễ hội tụ
- Độ chính xác rất cao
trên tập dữ liệu lớn - Độ chính xác thấp với tập
- Độ chính xác thấp trên dữ liệu nhỏ hoặc khi
dữ liệu nhỏ training chưa đủ lâu vì
- Học được thứ tự và vị không đủ khả năng khái
trí của Patches tốt hơn quát hóa.
(do có position - Yêu cầu TFLOPS cao hơn
encoding)
GradCAM in UNET

Feed forward

backpropagation
XAI Image Result
 Các vấn đề còn tồn đọng

❑ Các vấn đề của XAI

● Sự đánh đổi giữa độ chính xác và khả năng giải thích?
● Mô hình thay thế có phản ánh trung thực mô hình black
box ban đầu?
● Lời giải thích không có ý nghĩa, hoặc không cung cấp đủ
chi tiết để hiểu hộp đen đang làm gì.
❑ Grad-CAM chỉ Backpropagation đến lớp Conv cuối
● Ưu: Giữ lại các spatial information và high-level feature.
● Nhược: Không có thông tin về ảnh đầu vào. Đôi khi sẽ bị
mất mát thông tin quan trọng ở ảnh đầu vào (cạnh, màu
sắc, ...)
3. XAI trong phân đoạn ảnh
y khoa
 XAI trong phân đoạn ảnh khối u não

❑ Input
● Ảnh não 2D
● Model & weight
● Ảnh phân đoạn
khối u

XAI Model

❑ Output
● Saliency map
 Framework pipeline

❑ Framework pipeline
● Huấn luyện mô hình Image Segmentation thông
thường
 Thu được trọng số mô hình
● Áp dụng mô hình XAI

weight
 Image Segmentation

❑ Encoder-Decoder Based Models

● Encoder (Downsampling): Trích lọc đặc trưng để tìm ra bối cảnh
của hình ảnh
● Decoder (Upsampling): Tăng kích thước ảnh về ban đầu,
để từng bước phân đoạn từng pixel.
 Explainable AI
Image Segmentation
❑ Input:
● Một ảnh cần giải thích
● Trọng số mô hình segmentation
● Output của segmentation
❑ Output:
● Explainable

XAI
Model
 Hướng tiếp cận Hậu xử lý

❑ Có 2 hướng tiếp cận, cho bài toán pixel

attribution:
● Perturbation-based: LIME, SHAP, ...
● Gradient-base: Vanilla gradient, Grad-CAM, ..
 Các công đoạn LIME & SHAP

❑ 1. Chọn 1 mẫu dữ liệu để giải thích

❑ 2. Tạo ra bộ dữ liệu xáo trộn : Thay đổi các đặc trưng

của điểm dữ liệu ban đầu
● Thay đổi các đặc trưng của điểm dữ liệu ban đầu.
❑ 3. Gán trọng số cho tất cả dữ liệu trong tập perturbed
❑ 4. Huấn luyện mô hình hồi quy tuyến tính theo tập
perturbed có trọng số
● Giải thích độ quan trọng của đặc trưng (importance of feature)
của điểm dữ liệu đang xét.
 Loss function

❑ Hàm mất mát

● f: mô hình ban đầu cần được giải thích (deep neural
network)
● g: mô hình thay thế, đơn giản hơn (linear regression)
● pi: trọng số giữa x và z
 Các công đoạn Grad-CAM

❑ Các bước tính:

● 1. Tính feed forward của ảnh đầu vào.
● 2. Tính gradient của đầu ra tương ứng với ảnh đầu vào.
 Thực hiện backpropagate đến lớp convolutional cuối cùng

● 3. Biểu diễn saliency map

4. Experiment result
 References
❑ Zhang, Y.; Weng, Y.; Lund, J. Applications of Explainable Artificial Intelligence in
Diagnosis and Surgery. Diagnostics 2022, 12, 237. https://www.mdpi.com/2075-
4418/12/2/237/htm
❑ Tjoa E. and Guan C. (2021) A survey on explainable artificial intelligence (XAI): toward
medical XAI. IEEE Transact. Neural Networks Learning Systems 32, 4793–4813
10.1109/TNNLS.2020.3027314. https://arxiv.org/pdf/1907.07374.pdf
❑ Teixeira, L.O.; Pereira, R.M.; Bertolini, D.; Oliveira, L.S.; Nanni, L.; Cavalcanti, G.D.C.; Costa,
Y.M.G. Impact of Lung Segmentation on the Diagnosis and Explanation of COVID-19 in
Chest X-ray Images. Sensors 2021, 21, 7116. https://arxiv.org/pdf/2009.09780.pdf
❑ Costa YMG, Silva SA Jr, Teixeira LO, Pereira RM, Bertolini D, Britto AS Jr, Oliveira LS,
Cavalcanti GDC. COVID-19 Detection on Chest X-ray and CT Scan: A Review of the Top-
100 Most Cited Papers. Sensors (Basel). 2022 Sep
26;22(19):7303. https://pubmed.ncbi.nlm.nih.gov/36236402/
❑ Shamshad, F., Khan, S.H., Zamir, S.W., Khan, M.H., Hayat, M., Khan, F.S., & Fu, H. (2022).
Transformers in Medical Imaging: A Survey. ArXiv, abs/2201.09873.
❑ https://darwin.v7labs.com/v7-labs/covid-19-chest-x-ray-dataset
Q&A
Thanks
Evaluation
❑ Để biểu diễn dưới dạng toán học, ta cần các ký
hiệu:
● I: ảnh đầu vào
● Vector đầu ra gồm có C chiều
● S(I): vector đầu ra, với S(I) = [S1(I), S2(I), …, SC(I)]
● Sc(I): giá trị dự đoán (xác suất) của ảnh I với lớp dự
đoán là c
❑ Ví dụ, biến đầu vào “x” và “y” và đầu ra “f”, ta có
các hàm số:
● z = x + 2y
● f = 2*z
❑ Cách 1: Tính toán hàm số:
● f = 2*z = 2*(x + 2y) = 2x + 4y
❑ Cách 2: Tính toán đạo hàm:
● Cả hai cách, nhận xét: với cùng đầu vào x = 1 và y = 1. Ảnh
hưởng của biến y gấp đôi biến x.
● Tuy nhiên, tính “thủ công” như cách 1 không hiệu quả với DNN
với hàng triệu tham số. Và các hàm số, không phải lúc nào cũng
tuyến tính.
❑ Ví dụ, biến đầu vào “x” và “y” và đầu ra “f”, ta có
các hàm số:
● z = x + 2y
● f = 2*z
❑ Cách 1: Tính toán hàm số:
● f = 2*z = 2*(x + 2y) = 2x + 4y
❑ Cách 2: Tính toán đạo hàm:
● Cả hai cách, nhận xét: với cùng đầu vào x = 1 và y = 1. Ảnh
hưởng của biến y gấp đôi biến x.
● Tuy nhiên, tính “thủ công” như cách 1 không hiệu quả với DNN
với hàng triệu tham số. Và các hàm số, không phải lúc nào cũng
tuyến tính.
 Explainable AI

❑ Sự đánh đổi giữa “độ chính xác” và “khả năng

giải thích”
 Explainable AI

❑ Phân loại theo outputs của XAI:

● Lý giải bằng trực quan
 Hình ảnh
 Biểu đồ (plot)
● Lý giải bằng văn bản
 Từng ký tự (Cell Activation Value)
 InterpNET : tạo ra văn bản để lý giải cho hình ảnh input
 Thông tin ngữ nghĩa cho mô hình
● Lý giải bằng toán học hoặc số liệu
 Concept Activation Vectors (CAVs)
 Linear classifiers for features inspection
 Local Interpretable Model-Agnostic Explanations (LIME)
 Explainable AI
● Intrinsically interpretable: Sử dụng các mô hình Machine
Learning truyền thống để lý giải mô hình Blackbox
● Post hoc interpretation methods: Sử dụng hậu xử lý để cung
cấp thêm thông tin Explainable
 Framework pipeline

❑ Framework pipeline
● Phrase 1: Segmentation (U-NET)
● Phrase 2: Classification (VGG, ResNET, Inception)
 Bị nhiễm Covid
 Không
● Phrase 3: Explainable (LIME, Grad-CAM)
 Framework pipeline

❑ Framework pipeline
● Offline (Input -> Training -> Output)
 Medical Image

❑ Các loại ảnh trong ảnh y khoa

X-quang CT MRI
(2D) (3D) (3D)
Khai triển Taylor bậc nhấtnhất
 Framework pipeline

❑ Framework pipeline
● Phrase 1: Segmentation (U-NET)
● Phrase 2: Classification (VGG, ResNET, Inception)
 Bị nhiễm Covid
 Không
● Phrase 3: Explainable (LIME, Grad-CAM)
 Framework pipeline

❑ Framework pipeline
● Offline (Input -> Training -> Output)
 XAI trong phân đoạn ảnh khối u não

❑ Input
● Ảnh não 2D
● Model & weight
● Ảnh phân đoạn
khối u

XAI Model

❑ Output
● Saliency map
 Local Explanations
• Feature Importances
• Rule Based
• Saliency Maps
• Prototypes/Example Based
• Counterfactuals
 Global Explanations
• Collection of Local Explanations
• Representation Based
• Model Distillation
• Summaries of Counterfactuals
 Medical Image

❑ Các loại ảnh trong ảnh y khoa

X-quang CT MRI
(2D) (3D) (3D)
Nhãn
●Mask
: không chứa khối u
: có chứa khối u