Machine Translated by Google

Tháng 4 năm 2022 Tạp chí đồ họa tháng 4 năm 2022

Tập 43 Số 2 TẠP CHÍ HÌNH ẢNH Tập 43 Số 2

Tích hợp cơ chế chú ý tăng cường cạnh và mạng U-Net để phân đoạn

hình ảnh y tế

1 1
Lý Thúy Vân , Bai Jing1,2, Zheng Liang

(1. Trường Khoa học và Kỹ thuật Máy tính, Đại học Dân tộc Phương Bắc, Ngân Xuyên, Ninh Hạ 750021; 2.

Phòng thí nghiệm Xử lý Thông minh Hình ảnh và Đồ họa, Ủy ban Dân tộc Quốc gia, Ngân Xuyên, Ninh Hạ 750021)

Tóm tắt: Phân đoạn ảnh y tế là một bước quan trọng trong lĩnh vực xử lý ảnh y tế.Với sự phát triển dần dần của công nghệ học sâu, công nghệ phân đoạn ảnh

Công nghệ đã phát triển nhờ những bước nhảy vọt. Tuy nhiên, trong quá trình phân đoạn, việc phân chia pixel cạnh của các đặc điểm tổn thương vẫn còn mờ và không chính xác. đến cuối cùng này,

Mô-đun chú ý tăng cường cạnh (CEA) được đề xuất, thực hiện mã hóa tính năng theo hai hướng khác nhau theo chiều ngang và chiều dọc để thu thập thông tin vị trí và

tăng cường thông tin cạnh bằng cách tính toán độ lệch giữa các tính năng vị trí và tính năng đầu vào. Việc áp dụng mô-đun này cho mạng phân đoạn hình ảnh y tế dựa trên

U-Net có thể vượt qua giới hạn không gian của hạt nhân tích chập, nắm bắt thông tin kênh chéo nhận biết vị trí và thông tin đường viền cạnh rõ ràng hơn, nhờ đó cải

thiện độ chính xác của phân đoạn. Các thử nghiệm so sánh định lượng trên tập dữ liệu công khai Kvasir-SEG cho thấy mạng có mô-đun chú ý đã đạt được kết quả tốt hơn về

Dice, độ chính xác, thu hồi và các chỉ số khác, có thể cải thiện hiệu quả hiệu ứng phân đoạn hình ảnh y tế. Từ khóa: phân đoạn ảnh y tế; thông tin vị trí; cơ chế chú

ý; đường bao cạnh; khác biệt ranh giới

Số TTHTCĐ: TP 391 DOI10.11996/JG.j.2095-302X.2022020273

Mã định danh tài liệu: A ID bài viết: 2095-302X(2022)02-0273-06

Đường viền dựa trên U-Net tăng cường sự chú ý cho phân đoạn hình ảnh y tế

LI Cui-yun1 , BAI Jing1,2, ZHENG Liang1

(1. Trường Khoa học và Kỹ thuật Máy tính, Đại học North Minzu, Yinchuan Ningxia 750021, Trung Quốc;

2. Phòng thí nghiệm chính về xử lý hình ảnh và đồ họa thông minh của Ủy ban các vấn đề dân tộc nhà nước, Yinchuan Ningxia 750021, Trung Quốc)

Tóm tắt: Phân đoạn ảnh y tế có ý nghĩa sống còn đối với xử lý ảnh y tế. Với sự phát triển của học sâu,

kỹ thuật phân đoạn ảnh đã đạt được sự phát triển vượt bậc. Tuy nhiên, vẫn còn mờ nhạt và thiếu chính xác.

các vấn đề trong việc phân biệt các pixel đường viền cho các đặc điểm tổn thương. Để giải quyết các vấn đề, chúng tôi đã đề xuất một đường viền

mô-đun tăng cường chú ý (CEA). Nó có thể có được thông tin vị trí phong phú bằng cách mã hóa tính năng theo hai cách khác nhau

hướng và tăng cường đường viền bằng cách tính toán độ lệch giữa các tính năng vị trí và tính năng đầu vào. Hơn nữa,

chúng tôi đã xây dựng U-Net để phân đoạn hình ảnh y tế dựa trên mô-đun được đề xuất, nó có thể vượt qua không gian

giới hạn của hạt tích chập, do đó nắm bắt thông tin kênh chéo nhận biết vị trí và đường viền cạnh rõ ràng hơn

thông tin. Khi làm như vậy, độ chính xác của phân đoạn có thể được cải thiện. Các thí nghiệm trên Kvasir-SEG công cộng

Ngày nhận: 22-07-2021; ngày quyết toán: 18-09-2021

Nhận: Ngày 22 tháng 7 năm 2021; Hoàn thành: Ngày 18 tháng 9 năm 2021 Dự án tài trợ: Quỹ

Khoa học Tự nhiên Quốc gia Trung Quốc (61762003, 62162001); Chương trình Giới thiệu và Đào tạo Nhân tài "Ánh sáng Phương Tây" của Viện Khoa học Trung Quốc (JF2012c016-2); Nhân tài xuất sắc Ninh Hạ Chương trình hỗ trợ;

Dự án Quỹ Khoa học Tự nhiên Ninh Hạ (2022AAC02041)

Hạng mục nền tảng Quỹ Khoa học Tự nhiên Quốc gia Trung Quốc (61762003, 62162001); Chương trình đào tạo và giới thiệu nhân tài “Ánh sáng phương Tây”

của Cas (JF2012c016-2); Chương trình hỗ trợ tài năng xuất sắc Ninh Hạ; Dự án Quỹ Khoa học Tự nhiên Ninh Hạ (2022AAC02041)

Tác giả thứ nhất: Li Cuiyun (1996–), nữ, học viên cao học. Hướng nghiên cứu chính là xử lý ảnh số và nhận dạng mẫu. E-mail: 1107893490@qq.com Tác

giả thứ nhất: LI Cui-yun (1996–), học viên cao học.

Email1107893490@qq.com

Tác giả tương ứng: Bai Jing (1982–), nữ, giáo sư, Ph.D. Các hướng nghiên cứu chính là CAD&CG, thị giác máy tính và học máy. E-mail: baijing@nun.edu.cn Tác

giả tương ứng: BAI Jing (1982–), giáo sư, Tiến sĩ. Mối quan tâm nghiên cứu chính của cô bao gồm CAD&CG, thị giác máy tính và học máy, v.v.

E-mail: baijing@nun.edu.cn
Machine Translated by Google

274 Xử lý hình ảnh và thị giác máy tính 2022

bộ dữ liệu chứng minh rằng mạng với mô-đun CEA đạt được kết quả tốt hơn về Xúc xắc, độ chính xác, tỷ lệ thu hồi và

các chỉ số đánh giá khác trong phân khúc y tế.

Từ khóa: phân đoạn ảnh y tế; thông tin địa điểm; cơ chế chú ý; đường viền cạnh; viền

khác biệt

Trong những năm gần đây, với việc áp dụng các thuật toán học sâu trong phân Thay thế các mô-đun con trong U-Net để cải thiện khả năng phân đoạn hình ảnh y tế. Tuy

đoạn ảnh y tế, công nghệ phân đoạn ảnh y tế đã có những bước tiến vượt bậc. Phân đoạn nhiên, hầu hết các kỹ thuật phân đoạn hình ảnh y tế hoàn thành phân đoạn cuối cùng

chính xác kết quả có thể cung cấp cơ sở phụ trợ cho điều trị y tế và giảm hiệu quả tác thông qua vị trí của vùng đặc trưng hoặc thuộc tính của chính đặc điểm đó, điều này

động chủ quan của chẩn đoán cuối cùng do sự khác biệt về trình độ cá nhân của bác sĩ, gián tiếp sử dụng các đặc điểm đường viền ranh giới và không sử dụng đầy đủ thông tin

điều này có ý nghĩa nghiên cứu lớn. vị trí đặc trưng, điều này ảnh hưởng đến hiệu ứng phân đoạn cuối cùng . 1.2 Cơ chế

Hình ảnh y tế có các thuộc tính dữ liệu duy nhất như độ tương phản không dễ chú ý Với sự cải tiến liên tục của cơ chế chú ý [11], mạng có thể thu được cả thông

thấy, thông tin ranh giới mờ, hình dạng và kích thước không nhất quán, đây là những tin cấu trúc của đối tượng địa lý và thông tin vị trí, và nó ngày càng được

thách thức trong các nhiệm vụ phân đoạn. Các mạng hiện tại thường sử dụng các thuộc sử dụng rộng rãi trong lĩnh vực phân đoạn ảnh y tế. Các mạng ép và kích thích (SENet)

tính tính năng mục tiêu và thông tin vị trí liên quan của chúng để phân đoạn khu vực [12] điều chỉnh trọng số của từng kênh thông qua kích thích thông tin được nén và áp

mục tiêu nhằm cải thiện hiệu quả phân đoạn của hình ảnh y tế. Ví dụ: FCN [1] thay thế dụng các trọng số khác nhau cho khu vực mục tiêu của bản đồ đặc trưng, khiến mạng tập

lớp tích chập bằng lớp được kết nối đầy đủ để trực tiếp thu được kết quả phân đoạn trung vào các tính năng mục tiêu và tăng cường các tính năng của mạng Khả năng trích

của từng pixel và thu được tính năng mục tiêu cuối cùng. MU-Net [2] kết hợp các tính xuất có thể cải thiện hiệu quả hiệu ứng phân đoạn của mô hình. Lấy cảm hứng từ mô hình

năng mạng còn lại với các kết nối bỏ qua để tăng cường thông tin toàn cầu mục tiêu chú ý nút cổ chai ( mô-đun chú ý nút cổ chai, BAM) [13] và mô hình chú ý khối chập (mô-

nhằm thu được kết quả phân đoạn. U-Net3+ [3] khai thác các kết nối bỏ qua quy mô đầy đun chú ý khối chập, CBAM) [14], bằng cách hợp nhất thông tin kênh và không gian để

đủ để thu nhận trực tiếp các tính năng của đối tượng. Đối tượng tổn thương có thuộc thu được thông tin vị trí Tính năng không gian, thiết lập sự phụ thuộc lẫn nhau giữa

tính cấu trúc đặc thù, các phương pháp trên tuy đã đạt được một số kết quả nhất định các kênh và có được khả năng nhận dạng đối tượng tốt hơn. Chú ý U-Net [15] sử dụng

nhưng còn nhấn mạnh vào thông tin vị trí không gian mà bỏ qua thông tin cấu trúc không cơ chế chú ý để tập trung vào khu vực mục tiêu, loại bỏ các tính năng không liên quan

gian của đối tượng, dẫn đến việc phân vùng đối tượng bị sai sót nhất định. Mặt khác, và hoàn thành thành công việc phân đoạn tổn thương. Chú ý không gian [16] cải thiện

thông tin cạnh của tổn thương cũng ảnh hưởng đến độ chính xác của phân đoạn, nhưng khả năng phân đoạn của mô hình mạng bằng cách thu thập thông tin tính năng không gian .

hầu hết các mạng chỉ sử dụng CNN [4] để phân đoạn ngầm khu vực mục tiêu và gián tiếp

hoàn thành việc trích xuất thông tin đường viền [5]. Do đó, sự tương tác của hai yếu

tố trên ảnh hưởng đến độ chính xác của phân vùng mục tiêu của tổn thương.

Để giải quyết các vấn đề trên, bài báo này sử dụng mạng U-Net cổ điển làm khung Phối hợp Chú ý [17] có thể đồng thời thu được thông tin về cấu trúc và vị trí của các

cơ bản để đề xuất mô-đun chú ý nâng cao đường viền (CEA), mô-đun này đồng thời nắm bắt đối tượng địa lý , do đó, bản đồ đối tượng địa lý đầu ra cuối cùng hoàn toàn chứa

thông tin vị trí và thông tin cấu trúc của hình ảnh đầu vào để cải thiện hơn nữa độ thông tin vị trí phong phú.

chính xác của phân vùng hình ảnh y tế.

2 Phương pháp của bài báo này

Nhằm giải quyết các vấn đề mà các phương pháp hiện tại không thể sử dụng
1 công việc liên quan

đầy đủ thông tin vị trí đặc trưng và phân chia các pixel cạnh của các đặc điểm tổn

1.1 Mạng phân đoạn ảnh Trong thương không chính xác, dẫn đến ranh giới bị mờ và kết quả phân đoạn hình ảnh không

những năm gần đây, mạng nơ-ron tích chập sâu đã đạt được kết quả đạt yêu cầu, CEA được đề xuất. Phương pháp này sử dụng mạng U-Net cổ điển làm cấu

Phân đoạn tự động end-to-end đã nhận được sự quan tâm và ứng dụng rộng rãi [6]. Vào trúc cơ bản và áp dụng mô-đun chú ý để lấy mẫu nâng cấp của giai đoạn giải mã, để nó

năm 2015, mạng tích chập U-Net [7] đã được đề xuất, sử dụng cấu trúc liên kết của bộ có thể nắm bắt đầy đủ thông tin vị trí trong khi tăng cường các tính năng đường viền

mã hóa, bộ giải mã và kết nối bỏ qua và trở thành phương pháp chính trong phân đoạn cạnh và đạt được phân đoạn chính xác của mục tiêu diện tích. Thiết kế cấu trúc mạng

hình ảnh y tế. SegNet [8] trích xuất trực tiếp các tính năng mục tiêu và đạt được hiệu tổng thể được hiển thị trong Hình 1, trong đó nửa bên trái là giai đoạn mã

suất phân đoạn tốt. UNet++[9] sử dụng các kết nối dày đặc để phân đoạn các đối tượng hóa, thực hiện các hoạt động lấy mẫu xuống để trích xuất thông tin tính năng của mục

trong quá trình bỏ qua các kết nối . R2UNet [10] kết hợp kết nối dư và tích chập vòng tiêu. Nửa bên phải là tầng giải mã [18], thực hiện thao tác lấy mẫu ngược để hoàn tất

tròn, quá trình giải mã thông tin đặc trưng. Trong quá trình upsampling

1
Machine Translated by Google

mùa 2 Cuiyun Li, và cộng sự: Phân đoạn hình ảnh y tế bằng sự kết hợp của cơ chế chú ý nâng cao cạnh và mạng U-Net 275

Hình 1 Kiến trúc mạng

tổng thể Hình 1 Kiến trúc mạng tổng thể

Giới thiệu CEA để tăng cường sử dụng thông tin vị trí đối tượng đồng thời nắm Mức độ chú ý của khu vực mục tiêu, hoạt động chuẩn hóa phi tuyến tính được thực hiện trên

bắt hiệu quả thông tin đường viền của ranh giới, giúp mạng trích xuất các đối bản đồ tính năng hợp nhất, cụ thể là

tượng tổn thương với thông tin cạnh rõ ràng hơn và cải thiện độ chính xác của
F h,
w T (3)
g
Với

kết quả phân đoạn. Trong mạng bộ giải mã, thiết kế tổng thể của CEA được hiển

Trong số đó, T là phép toán chuyển vị; [ ,] là phép toán nối;

thị trong Hình 2 và mỗi lớp lấy mẫu ngược được đưa vào mô-đun này. Thứ

F là phép toán
3. Ưu
tích
đãichập;
tính và
năng.
là hàm
Chiakích
các hoạt
tính phi
năngtuyến.
được hợp
Bước
nhất, tính năng đầu vào được mã hóa theo hai hướng, để nó có thể thu được đầy

nhất thành các vectơ đặc trưng theo hai hướng, sử dụng
đủ thông tin vị trí của tổn thương, và trên cơ sở đó, sự khác biệt về ranh

tích chập 1×1 để thu được các tính năng hướng phụ được kích
giới được tăng cường.Bản đồ tính năng đầu ra cuối cùng chứa nhận thức vị trí

thích ( ) z và sử dụng hhàm Sigmoid z và ( )

phong phú và đường viền ranh giới mạnh mẽ cải thiện hình ảnh y tế.hiệu ứng phân Trong

con số Ánh xạ giá trị tính năng thành giá trị trọng số trong khoảng [0,1], nghĩa là
đoạn cuối cùng. Các bước cụ thể như sau: Bước 1. Khởi tạo. Với một tính năng

đầu vào x với kích thước h×w , thao tác gộp trung bình được thực hiện dọc theo fh ( (zh)) (4)

các hướng ngang và dọc tương ứng để thu được mã hóa thông tin trên cấu f Trong
( ( ))Với(5) Bước 4. Tính toán bản đồ đặc
Trong

trúc dọc và cấu trúc ngang của tính năng đầu vào, cụ thể là trưng có trọng số. Thông qua thao tác nhân ma trận, thông tin trọng số theo

hướng ngang và dọc được tích hợp để thu được trọng số của từng vị trí trong không

gian; nó được áp dụng cho ảnh gốc để thu được sự chú ý của đối tượng trọng số theo

1 không gian, cụ thể là

gh x chào
xin
( ,) (1)
W 0 ≤ i W
(( ,) )(6)
x ij
(
ffy, ij
) i
h Trong
( j)

1 Bước 5. Tính toán các tính năng tăng cường cạnh. Để nắm bắt sự khác biệt
g x( j,w ) (2)
h
Trong

≤ 0j H và tăng cường thông tin tính năng cạnh, sự khác biệt giữa bản đồ tính năng ban đầu

Bước 2. Tính năng nén. Sau khi ghép các đặc trưng của hai hướng, chúng
x và bản đồ chú ý tính năng có trọng số y được tính toán thêm để thu được độ lệch

được gửi đến tích chập F để thu được các bản đồ đặc trưng của thông tin không biên, cụ thể là

gian của hai hướng; nhằm tăng tốc độ hội tụ của mô hình và cải thiện độ chính xác của
y ij
Yx )
(, ij (, ) (7)

Hình 2 Mô-đun chú ý nâng cao

đường viền Hình 2 Mô-đun chú ý nâng cao đường viền

Machine Translated by Google

276 Xử lý hình ảnh và thị giác máy tính 2022

CEA được sử dụng trong bài viết này trước tiên tính toán bản đồ đối tượng địa lý có trọng Kết quả thử nghiệm tổng thể sử dụng Xúc xắc làm chỉ số đánh giá chính ( các chỉ số khác

số từ hai hướng, đồng thời thu được thông tin về cấu trúc và vị trí của đối tượng địa lý, nắm bắt được sử dụng làm tham chiếu phụ) và giá trị của tất cả các chỉ số trên càng lớn thì độ chính xác của

hiệu quả cấu trúc toàn cầu và các đối tượng địa lý chi tiết trong hình ảnh y tế; sau đó tính toán đầu phân đoạn càng cao và hiệu quả thử nghiệm càng tốt. Trong quá trình thử nghiệm, các phương pháp tăng

vào bản đồ đặc trưng và bản đồ đặc trưng có trọng số thông qua phương pháp bù Sự khác biệt bậc nhất cường dữ liệu như lật ngang và xoay đã được sử dụng. 3.2 Bố trí thí nghiệm

có thể nâng cao thông tin đường viền ranh giới, làm nổi bật thông tin ranh giới của tổn thương và

thu được sự khác biệt giữa vùng đặc trưng và thông tin nền, để đạt được nhiều hơn hiệu ứng phân Môi trường phần mềm và phần cứng: Môi trường phần cứng thử nghiệm là Intel Core i7 2600+GTX

đoạn chính xác. 2070 super 8 GB+16 GB RAM; môi trường phần mềm là CUDA10.0+Pytorch1.3.0+python3.6+VS Code.

3 Kết quả thí nghiệm

Chi tiết thí nghiệm: Dice Loss được sử dụng để tính toán sự mất mát giữa hình ảnh dự đoán

và hình ảnh thực trong quá trình đào tạo . Tốc độ học ban đầu của mạng là 10 4 , kích thước lô là 4
3.1 Bộ dữ liệu và chỉ số đánh giá 3.1.1 Bộ dữ

và kỷ nguyên là 200. Kích thước hình ảnh đầu vào ban đầu là 512×512 và số kênh ban đầu là 3; toàn bộ
liệu Bài báo này sử dụng bộ dữ liệu polyp Kvasir-

mạng được đào tạo theo cách từ đầu đến cuối và cơ chế dừng sớm được sử dụng để cải thiện hiệu suất
SEG [19] đầy thách thức làm dữ liệu thử nghiệm, bao gồm 1.000 hình ảnh và nhãn polyp. Quá

tổng quát hóa của mạng. 3.3 Thử nghiệm so sánh Để xác minh tính hiệu quả của CEA được đề xuất , thử
trình huấn luyện sử dụng phương pháp phân chia dữ liệu chung giống như PraNet và cộng sự [20-22],

nghiệm sử dụng mạng phân đoạn hình ảnh y tế cổ điển U-Net làm điểm chuẩn để hoàn thành nhiệm vụ phân
trong đó 88% được sử dụng làm tập dữ liệu huấn luyện và 12% được sử dụng làm tập dữ liệu thử nghiệm.

đoạn hình ảnh y tế. Các kết quả thí nghiệm được thể hiện trong Bảng 1.
Bộ dữ liệu này chứa các hình ảnh gốc và nhãn thực tương ứng của chúng, đồng thời có các đặc điểm là

có sự khác biệt lớn về đặc điểm tổn thương và hình dạng không đồng nhất. Trong số đó, ranh giới tổn

thương của dữ liệu polyp rất khó phân biệt với thông tin cơ bản, vì vậy bộ dữ liệu này gặp

nhiều thách thức hơn trong các nhiệm vụ phân đoạn hình ảnh y tế. 3.1.2 Chỉ tiêu đánh giá hệ số tương

đồng (Dice). Đo sự trùng lặp của 2 mẫu, chỉ báo nằm trong khoảng từ 0 đến 1 , trong đó 1 biểu thị

Bảng 1 So sánh thử nghiệm mô-đun CEA (%)

trạng thái trùng lặp hoàn toàn và 0 biểu thị trạng thái hoàn toàn không trùng lặp, nghĩa là
Bảng 1 Mô-đun CEA cho các thí nghiệm so sánh (%)
Người mẫu Dice mIou Precision Recall F1

U-Net[5] 84,90 75,06 79,40 90,71 84,08

U-Net+SE[9] 89,65 82,84 85,76 92,91 88,91

U-Net+CBAM[12] 89,70 83,04 85,60 93,30 88,87

Bài này 90.85 84.53 87,71 93,29 90,17

2TP Lưu ý: Số liệu in đậm là giá trị tối ưu

Xúc xắc ×100% 2 (số 8)

TP FN FP
Có thể thấy từ Bảng 1 rằng đối với mạng U-Net , điểm của Xúc xắc tăng 4,75% sau khi thêm mô-

Tỷ lệ liên kết giao lộ trung bình (mIoU). Sử dụng vùng chồng lấp của các vùng được phân đoạn

đun SE và 4,80% sau khi thêm mô-đun CBAM , trong khi phương pháp trong bài viết này đã tăng điểm Xúc
Tỷ lệ đo lường mối tương quan giữa giá trị thực và giá trị dự đoán, đó là

xắc lên 5,95% . So sánh có thể thấy rằng việc bổ sung từng mô-đun có thể nâng cao hiệu quả hiệu ứng
k
1 P
người yêu
k tôi k
(9) phân đoạn của hình ảnh y tế và CEA được đề xuất trong bài báo này cao hơn lần lượt là 1,15% và 1,20%
k 1 tôi 0
p pp ij
ij
ii so với mô-đun CBAM và SE . Kết hợp với phân tích chỉ số toàn diện của Dice, mIou và F1 , phương pháp
j 0 j 0
trong bài báo này đã đạt được kết quả tốt nhất. Tuy nhiên, Precision và Recall có mối tương quan
Trong đó, i là giá trị thực; j là giá trị dự đoán; pii là dự đoán của i là j. Độ chính xác. là tỷ

nhất định khi dữ liệu được thống nhất, khi một trong các giá trị cao thì giá trị chỉ số kia thấp. Kết
lệ của số trường hợp dự đoán chính xác trên tổng số dự đoán tích cực, nghĩa là

hợp tất cả các dữ liệu chỉ mục, phương pháp trong bài báo này có tác dụng tích cực nhất định trong

nhiệm vụ phân đoạn ảnh y tế.

TP
Độ chính xác ×100% (10)
TPFP
Tỷ lệ nhớ lại (Recall). Để dự đoán tỷ lệ phần trăm mẫu dương tính chính xác so với mẫu

Hình 3 cho thấy kết quả so sánh trực quan giữa các phương pháp khác và phương pháp trong
dương tính thực, đó là

bài báo này. Từ các kết quả so sánh, có thể thấy rằng mạng U-Net có sai lệch rõ ràng khi phân đoạn các
TP
Hồi tưởng ×100% (11)
TP FN tổn thương mục tiêu, chứa một số lượng lớn các vùng dư thừa và không thể đảm bảo tính toàn vẹn của

điểm số F1 . Đó là mức trung bình có trọng số của độ chính xác và thu hồi mô hình, cụ thể là kết quả phân đoạn; mặc dù SENet cải thiện vấn đề dư thừa tồn tại trong U-Net Net , cấu trúc tổng thể

cũng tương đối toàn vẹn, nhưng vẫn có các vùng phân đoạn không liên tục (như được hiển thị trong

Thu hồi chính xác hàng 3 ); Mạng CBAM đã cải thiện hơn nữa về tính toàn vẹn phân đoạn, nhưng vẫn chứa

F 1 2 ×100% (12)
Thu hồi chính xác
Machine Translated by Google

mùa 2 Cuiyun Li, và cộng sự: Phân đoạn hình ảnh y tế bằng sự kết hợp của cơ chế chú ý nâng cao cạnh và mạng U-Net 277

Chứa các vùng dư thừa; so sánh, phương pháp trong bài báo này có thể dự đoán tốt hơn hình So sánh toàn diện dữ liệu thử nghiệm và kết quả trực quan cho thấy rằng việc sử

dạng và vị trí của tổn thương, đồng thời cải thiện hiệu quả hiện tượng thiếu hoặc thừa dụng đầy đủ thông tin vị trí của tính năng mục tiêu và thông tin đường viền ranh giới có

phân đoạn. Tóm lại, phương pháp này có lợi thế đáng kể về tính toàn vẹn và độ chính xác thể giúp mạng nắm bắt các tính năng mục tiêu chính xác hơn và độ chính xác của phân đoạn

của phân đoạn. được cải thiện đáng kể.

Hình 3 So sánh trực quan kết quả phân đoạn của

các thuật toán khác nhau Hình 3 So sánh trực quan kết quả phân đoạn

3.4 Thí nghiệm cắt bỏ Với sự gia tăng của , thông tin vị trí đặc trưng và thông tin ranh giới đã được trích xuất

3.4.1 Ảnh hưởng của số lượng mô-đun khác nhau đến kết quả thí nghiệm liên tục, điều này đóng vai trò tích cực trong kết quả phân đoạn. Tuy nhiên, số lượng mô-

Trong thí nghiệm, số lượng chế độ kết nối khác nhau được thiết kế cho mô-đun CEA . đun được thêm vào quá lớn, dẫn đến thông tin tính năng dư thừa, ngược lại có tác dụng ức

Cụ thể, khi xem xét việc truyền thông tin theo từng lớp trong quá trình lấy mẫu thông tin chế. Nhìn chung, đối với mạng U-Net , khi thêm 3 module CEA thì hiệu quả phân đoạn ảnh y tế

tính năng, để có được thông tin đường viền cạnh rõ ràng hơn, cấu trúc kết nối của mô-đun là tốt nhất. 3.4.2 Ảnh hưởng của thông tin đường viền cạnh đến kết quả thực nghiệm Phần

CEA ở lớp dưới luôn được giữ nguyên. Mô-đun phía trên được xóa ở các mức độ khác nhau để này sẽ khám phá ảnh hưởng của thông tin đường bao ranh giới tổn thương đối với tác vụ

tạo thành các phương thức kết nối khác nhau.Kết quả thử nghiệm được thể hiện trong Bảng 2. phân đoạn ảnh. của các chỉ số đánh giá được sử dụng đồng thời Đo lường toàn diện

tác động phân đoạn của các tổn thương. Trong số đó, w/o Contour có nghĩa là mô-đun không

có thông tin ranh giới và w Contour có nghĩa là mô-đun có thông tin ranh giới.Kết quả thử

Bảng 2 Ảnh hưởng của số lượng mô-đun CEA khác nhau đến kết quả thí nghiệm (%)
nghiệm được thể hiện trong Bảng 3.
Bảng 2 Ảnh hưởng của số lượng mô-đun CEA khác nhau đến

kết quả thực nghiệm (%)

Người mẫu Dice mIou Precision Recall F1

U-Net 84,90 75,06 79,40 90,71 84,08

U-Net+ CEA -1 89,73 82,71 87,55 91,42 89,12 Bảng 3 Ảnh hưởng của thông tin biên dạng cạnh đến mô hình (%)

U-Net+ CEA -2 90,27 83,79 87,72 92,78 89,99 Bảng kích thước đầy đủ

U-Net+ CEA -3 90,85 84,53 87,71 93,29 90,17 Mô hình mạng Xúc xắc mIoU Thu hồi chính xác F1

U-Net+ CEA -4 90,40 84,25 86,89 93,57 89,79 không có đường viền 90,4 84,38 87.07 93,62 89,95

Lưu ý: Số liệu in đậm là giá trị tối ưu w đường viền 90,8 84,53 87,71 93,29 90,17

Lưu ý: Số liệu in đậm là giá trị tối ưu

Có thể thấy từ Bảng 2 rằng sau khi thêm số lượng mô-đun CEA khác nhau vào 1 , hiệu

suất phân đoạn của mạng được cải thiện ở các mức độ khác nhau. Sau khi thêm 3 mô-đun CEA Từ dữ liệu so sánh trong Bảng 3 , có thể thấy rằng sau khi thêm tính năng tăng

vào 2 , hiệu quả tốt nhất đã đạt được, cao hơn 5,95% so với điểm Dice của U -Net ban đầu. cường thông tin ranh giới, hiệu suất phân đoạn của mạng được cải thiện. Lấy Xúc xắc làm

chỉ số đánh giá chính, có thể thấy rằng sau khi thêm cải tiến đường biên, nó cao hơn 0,40%

Qua phân tích dữ liệu, có thể thấy thông tin ranh giới của vùng mục tiêu đóng vai so với ban đầu và việc trích xuất các đặc điểm đường viền có thể nhìn thấy đóng vai trò

trò rất quan trọng trong tác vụ phân đoạn. Với số lần upsampling rất quan trọng trong việc phân đoạn ảnh.
Machine Translated by Google
278 Xử lý hình ảnh và thị giác máy tính
4 Tóm tắt
Nhằm vào nhiệm vụ phân đoạn ảnh y tế, một CEA được đề xuất.Thứ nhất, các
bản đồ đặc trưng được mã hóa theo hai hướng, thu được thông tin cấu trúc không
gian và thông tin vị trí của các đặc trưng, và thu được các phụ thuộc khoảng cách
xa; thứ hai, chúng được hợp nhất để có được sự phong phú Bản đồ chú ý đặc điểm của
thông tin vị trí tăng cường tập trung vào khu vực mục tiêu; cuối cùng, trên cơ sở
này, sự khác biệt giữa thông tin ranh giới và thông tin nền được tăng cường, làm
cho đường viền của các đặc điểm tổn thương rõ ràng hơn và cải thiện độ chính xác
của phân vùng. Các thử nghiệm trên bộ dữ liệu polyp liên quan cho thấy mô-đun CEA
được đề xuất trong bài báo này có hiệu suất vượt trội trong phân đoạn hình ảnh y
tế và có một mức độ tiến bộ nhất định.
Tài liệu tham khảo _
[1] SHELHAMER E, LONG J, DARRELL T. Mạng chập hoàn toàn cho phân đoạn
ngữ nghĩa[J]. Giao dịch của IEEE về Phân tích mẫu và Trí thông
minh của máy, 2017, 39(4): 640-651.
[2] SEO H, HUANG C, BASSENNE M, et al. U-net được sửa đổi (mU-net) với
sự kết hợp của các tính năng cấp cao phụ thuộc vào đối tượng để
cải thiện khả năng phân đoạn gan và khối u gan trong hình ảnh
CT[J]. Giao dịch của IEEE về Hình ảnh Y tế, 2020, 39(5):
1316-1325.
[3] HUANG HM, LIN LF, TONG RF, et al. UNet 3+: UNet được kết nối toàn
diện dành cho phân đoạn hình ảnh y tế[C]//ICASSP 2020 - Hội nghị
quốc tế IEEE về Xử lý âm học, giọng nói và tín hiệu. New York:
IEEE Press, 2020: 1055-1059.
[4] Kim Y. Mạng nơ-ron tích chập để phân loại câu[EB/OL].(25-08-2014)
[30-06-2021]. https://arxiv.org/abs/1408.5882. [5] Sun Wenyan ,
Dong Enqing, Cao Zhulou và cộng sự Phương pháp phân đoạn cục bộ
mạnh dựa trên các đường viền hoạt động mờ [J] Acta Automatica Sinica,
2017, 43(4): 611-621.
SUN WY, DONG EQ, CAO ZL, et al. Một phương pháp phân đoạn cục
bộ mạnh mẽ dựa trên đường viền hoạt động dựa trên năng lượng mờ
[J]. Acta Automatica Sinica, 2017, 43(4): 611-621 (bằng tiếng
Trung).
[6] VALPOLA HARRI. Từ PCA thần kinh đến học sâu không giám sát[EB/OL].
(28-11-2014) [2021-06-30]. http://arxiv.org/ abs/1411.7783v2.
[7] RONNEBERGER O, FISCHER P, BROX T. U-net: mạng tích chập để phân
đoạn hình ảnh y sinh[C]// Điện toán hình ảnh y tế và can thiệp
có sự trợ giúp của máy tính.
Heidelberg: Springer, 2015: 234-241.
[8] BADRINARAYANAN V, KENDALL A, CIPOLLA R. SegNet: kiến trúc bộ mã hóa-
giải mã tích chập sâu cho phân đoạn hình ảnh[J]. Giao dịch của
IEEE về Phân tích mẫu và Trí thông minh của máy, 2017, 39(12):
2481-2495.
[9] ZHOU ZW, RAHMAN SIDDIQUEE MM, TAJBAKHSH N,
2022
et al. UNet++: kiến trúc U-net lồng nhau để phân đoạn hình ảnh y
tế[C]//Học sâu trong phân tích hình ảnh y tế và học đa phương
thức để hỗ trợ quyết định lâm sàng.
Heidelberg: Springer, 2018: 11-3.
[10] ALOM MZ, YAKOPCIC C, TAHA TM, v.v. Phân đoạn hạt nhân với mạng nơ
ron tích chập định kỳ dựa trên mạng U-net (R2U-net)[C]//NAECON
2018 - Hội nghị Điện tử và Hàng không Vũ trụ Quốc gia của IEEE.
New York: IEEE Press, 2018: 228-233. Jin Weidong, Tang Peng,
v.v. Dựa trên Tăng cường Chú ý Hình ảnh
[11] Vạn Long , , ,
Phân đoạn tàu võng mạc dựa trên mô hình CBAM-U-Net [J].Nghiên cứu ứng dụng máy
tính, 2020, 37(S2): 321-323.
WAN JL, JIN WD, TANG P, et al. Phân đoạn mạch máu võng mạc dựa
trên mô hình CBAM-U-Net tăng cường chú ý thị giác [J]. Nghiên
cứu Ứng dụng Máy tính, 2020, 37(S2): 321-323 (bằng tiếng Trung).
[12] HU J, SHEN L, ALBANIE S, et al. Mạng ép và kích thích [J]. Giao
dịch của IEEE về Phân tích mẫu và Trí thông minh của máy, 2020,
42(8): 2011-2023.
[13] PARK J, WOO S, LEE JY, et al. BAM: mô-đun chú ý nút cổ chai [EB/
OL]. (2018-08-13) [2021-06-21]. http://arxiv.org/ abs/1807.06514.
[14] WOO S, PARK J, LEE JY, et al. CBAM: mô-đun chú ý khối tích chập[M]//
Computer Vision – ECCV 2018. Cham: Springer International
Publishing, 2018: 3-19.
[15] OKTAY O, SCHLEMPER J, FOLGOC LL, et al. Chú ý U-net: tìm hiểu nơi
tìm tuyến tụy[EB/OL]. (2018-05-13) [2021-06-21]. https://arxiv.org/
abs/1804.03999.
[16] WANG HR, FAN Y, WANG ZX, et al. Mạng chú ý không gian không tham
số cho người Nhận dạng lại [EB/OL]. (2018-11-30) [2021-06-21].
https://arxiv.org/abs/1811.12150.
[17] HOU QB, ZHOU DQ, FENG J S. Phối hợp chú ý để thiết kế mạng di động
hiệu quả[C]//Hội nghị IEEE/CVF 2021 về Thị giác máy tính và Nhận
dạng mẫu. New York: Nhà xuất bản IEEE, 2021: 13708-13717.
[18] Li Tianpei, Chen Li.Phân đoạn tàu võng mạc dựa trên kiến trúc bộ mã hóa-giải
mã chú ý kép [J].Khoa học máy tính, 2020, 47(5): 166-171.
LI TP, CHEN L. Phân đoạn tàu võng mạc dựa trên sự chú ý kép và
cấu trúc bộ mã hóa-giải mã[J]. Khoa học Máy tính, 2020, 47(5):
166-171 (bằng tiếng Trung).
[19] JHA D, SMEDSRUD PH, RIEGLER MA, et al. Kvasir-SEG: Bộ dữ liệu
polyp được phân đoạn[M]//MultiMedia Modeling. Chăm: Springer
International Publishing, 2019: 451-462.
[20] FAN DP, JI GP, ZHOU T, et al. PraNet: mạng chú ý ngược song song
để phân đoạn polyp[C]//Máy tính hình ảnh y tế và can thiệp có sự
hỗ trợ của máy tính - MICCAI 2020. Heidelberg: Springer, 2020:
263-273.
[21] TOMAR NK, JHA D, ALI S, et al. DDANet: mạng chú ý bộ giải mã kép
để phân đoạn polyp tự động[M]// Nhận dạng mẫu. Hội thảo và Thách
thức Quốc tế ICPR. Chăm: Springer International Publishing, 2021:
307-314.
[22] HUANG CH, WU HY, LIN Y L. HarDNet-MSEG: mạng nơ-ron phân đoạn
polyp bộ mã hóa-giải mã đơn giản đạt được trên 0,9 xúc xắc trung
bình và 86 FPS[EB/OL]. (2021-01-18) [2021-01-20]. https://
arxiv.org/abs/2101.07172.