Tóm tắt nội dung Loss Function (hàm mất mát) đo sai số giữa dự đoán và giá trị thực, là tín hiệu duy nhất mà thuật toán tối ưu dựa vào để cập nhật tham số. Mỗi loss function mã hóa một giả định thống kê khác nhau về phân phối nhiễu (noise) của dữ liệu — không phải lựa chọn tùy ý. Tính lồi (convexity) và độ mượt (smoothness) của loss quyết định hành vi hội tụ của Gradient Descent. Chọn sai loss function không gây lỗi runtime, nhưng khiến mô hình tối ưu sai mục tiêu một cách âm thầm. Loss Function là hàm số duy nhất mà toàn bộ quá trình huấn luyện mô hình machine learning xoay quanh: mọi thuật toán tối ưu, từ Gradient Descent đến Adam, đều chỉ đang cố gắng làm giá trị của hàm này nhỏ nhất có thể. Hiểu sai bản chất của loss function đồng nghĩa với việc không kiểm soát được mô hình đang thực sự học gì. Loss Function là gì và vai trò trong huấn luyện mô hình Loss Function, hay hàm mất mát, là một hàm số nhận đầu vào là giá trị dự đoán (predicted value) ŷ của mô hình và giá tr...

Hàm kích hoạt (activation function) quyết định cách một neuron biến đổi tín hiệu trước khi truyền sang tầng tiếp theo. Nếu một mạng chỉ gồm các phép biến đổi tuyến tính, việc xếp chồng nhiều layer vẫn có thể rút gọn thành một phép biến đổi tuyến tính duy nhất và mạng không thể mô hình hóa tốt những quan hệ phi tuyến phức tạp. Không tồn tại một activation tốt nhất cho mọi kiến trúc và mọi bài toán. ReLU phù hợp với nhiều CNN và MLP, GELU phổ biến trong Transformer, Sigmoid thích hợp cho xác suất nhị phân hoặc multi-label, trong khi Softmax thường được sử dụng để chuyển logits thành phân phối xác suất trên nhiều lớp loại trừ lẫn nhau. Tóm tắt nội dung Hidden layer: ReLU, Leaky ReLU, GELU và SiLU là những lựa chọn phổ biến. Binary classification: thường huấn luyện bằng raw logits và BCEWithLogitsLoss; Sigmoid dùng khi cần xác suất. Multi-class classification: thường dùng logits với CrossEntropyLoss; Softmax chủ yếu cần ở bước suy luận. Regression: thường dùng đầu ra tuyến...