Bài 1: Linear regression

Least Squares Linear Regression

lấy bình phương e=y^-y vì e có thể là một số âm, có thể được mô tả bằng cách lấy
giá trị tuyệt đối |e|. Tuy nhiên cách này ít được sử dụng vì hàm abs không khả vi
tại gốc tọa độ, không thuận tiện cho việc tối ưu, ½ để dễ lấy đạo hàm

hàm mất mát thường là trung bình cộng của sai số tại mọi điểm vì số lượng
điểm dữ liệu trong tập huấn luyện có thể thay đổi => sai số trên từng điểm, lấy
trung bình còn tránh hiện tượng tràn số khi số lượng điểm dữ liệu lớn.

- Chúng ta trừ gradient trong việc cập nhật theta vì gradient chỉ
theo hướng đi lên dốc nhất của hàm loss. Bằng cách trừ đi
gradient, chúng ta đang di chuyển ngược lại so với hướng dốc
nhất. Gradient của bất kì điểm nào chỉ hướng đi lên dốc nhất
của hàm tại điểm đó. Độ lớn của gradient chỉ cho chúng ta biết
rằng how much the loss function thay đổi nếu chúng ta di
chuyển theo hướng gradient đó.