3.

2 Các cách khởi tạo biến

Khởi tạo trọng số
Khởi tạo trọng số là một việc quan trọng khi phát triển các mô hình mạng nơ-ron học sâu.
Các nơ ron trong mạng nơ-ron bao gồm các tham số được gọi là trọng số được sử dụng để tính
tổng trọng số của các đầu vào.

Các mô hình mạng nơ ron fit dữ liệu bằng cách sử dụng một thuật toán tối ưu hóa gọi là stochastic
gradient descent để thay đổi từng bước trọng số mạng để giảm thiểu hàm loss, hy vọng tạo ra một
bộ trọng số cho khả năng đưa ra các dự đoán hữu ích.

Khởi tạo trọng số là một thủ tục để đặt trọng số của mạng nơ-ron thành các giá trị ngẫu nhiên nhỏ
để xác định điểm bắt đầu cho việc tối ưu hóa của mô hình mạng nơ-ron.

đào tạo mô hình deep learning là một nhiệm vụ khó khăn mà hầu hết các thuật toán bị ảnh hưởng
mạnh bởi sự lựa chọn khởi tạo. Điểm ban đầu có thể xác định liệu thuật toán có hội tụ hay không,
với một số điểm ban đầu không ổn định đến mức thuật toán gặp khó khăn và thất bại hoàn toàn.

Mỗi lần, mạng nơ-ron được khởi tạo với một tập trọng số khác nhau, dẫn đến một điểm khởi đầu
khác nhau cho quá trình tối ưu hóa và có khả năng dẫn đến một tập hợp trọng số cuối cùng khác và
hiệu suất của mạng sẽ khác nhau.

Khởi tạo trọng số cho Sigmoid và Tanh

Cách tiếp cận tiêu chuẩn để khởi tạo trọng số của các lớp mạng nơron và các nút sử dụng chức năng
kích hoạt Sigmoid hoặc Tanh được gọi là khởi tạo “glorot” hoặc “xavier”.

Khởi tạo Xavier

Phương pháp khởi tạo xavier được tính như một số ngẫu nhiên có phân phối xác suất đồng nhất
(U) giữa phạm vi −(1/sqrt(n))- (1 / sqrt (n))−(1/sqrt(n)) và 1/sqrt(n)1 / sqrt (n)1/sqrt(n) , trong đó
nnn là số lượng đầu vào cho nút.

1/sqrt(n)]weight=U[−(1/sqrt(n)),1/sqrt(n)]

Khởi tạo Xavier chuẩn hóa

Phương pháp khởi tạo xavier chuẩn hóa được tính toán dưới dạng số ngẫu nhiên có phân phối xác
suất đồng nhất (U) giữa phạm vi –(sqrt(6)/sqrt(n+m)) và sqrt(6)/sqrt(n+m), trong đó n là số lượng
đầu vào và m là số đầu ra từ lớp

weight = U [-(sqrt(6)/sqrt(n + m)), sqrt(6)/sqrt(n + m)]weight=U[−(sqrt(6)/sqrt(n+m)),sqrt(6)/sqrt(n+m)]

Khởi tạo trọng số cho Relu
Việc khởi tạo trọng số “xavier” được phát hiện có vấn đề khi được sử dụng để khởi tạo các mạng sử
dụng chức năng kích hoạt tuyến tính (ReLU)
Do đó, một phiên bản sửa đổi của cách tiếp cận đã được phát triển đặc biệt cho các nút và lớp sử
dụng kích hoạt ReLU, phổ biến trong các lớp ẩn của hầu hết các mô hình mạng nơ ron đa lớp và
Perceptron nhiều lớp.

Khởi tạo trọng số He

Phương pháp khởi tạo He được tính toán dưới dạng một số ngẫu nhiên có phân phối xác suất
Gaussian (G) với giá trị trung bình là 0,0 và độ lệch chuẩn là sqrt(2/n)sqrt (2 / n)sqrt(2/n) , trong
đó nnn là số đầu vào cho nút.
weight=G(0.0,sqrt(2/n))weight = G (0.0, sqrt(2/n))weight=G(0.0,sqrt(2/n))