Adam Optimizer là thuật toán tối ưu kết hợp hai ý tưởng quan trọng: ghi nhớ xu hướng của gradient trong quá khứ và tự điều chỉnh kích thước bước cập nhật cho từng tham số. Nhờ đó, Adam thường là một lựa chọn khởi đầu hiệu quả khi huấn luyện mạng nơ-ron sâu, đặc biệt trong NLP, Transformer và nhiều bài toán Deep Learning hiện đại. Nếu Gradient Descent cơ bản chỉ sử dụng gradient tại bước hiện tại, Adam duy trì thêm hai thống kê động của gradient. Để hiểu chính xác thuật toán, cần tách Adam thành ba thành phần: moment bậc nhất, moment thô bậc hai và bias correction . Tóm tắt nội dung Adam duy trì trung bình động của gradient và trung bình động của bình phương gradient . Moment bậc nhất giúp xác định hướng cập nhật ổn định hơn, còn moment bậc hai giúp điều chỉnh độ lớn bước đi cho từng tham số. Bias correction sửa sai lệch do hai moment được khởi tạo bằng 0. Adam dễ sử dụng nhưng không phải luôn tốt nhất; AdamW hoặc SGD với Momentum có thể phù hợp hơn tùy bài toán. ...

Multi-Layer Perceptron (MLP) là mạng nơ-ron truyền thẳng gồm nhiều tầng, trong đó các tầng chính thường là những lớp kết nối đầy đủ (fully connected). MLP là một trong những kiến trúc cơ bản nhất để hiểu cách mạng nơ-ron biến đổi dữ liệu, tạo tính phi tuyến, tính gradient và học tham số. MLP có thể được sử dụng cho phân loại, hồi quy, dữ liệu dạng bảng, xấp xỉ hàm hoặc làm classification head và feed-forward block trong những mô hình lớn hơn. Dù CNN phù hợp hơn với cấu trúc không gian của ảnh và Transformer phù hợp với nhiều bài toán chuỗi, MLP vẫn xuất hiện ở hầu hết hệ thống Deep Learning hiện đại dưới một hình thức nào đó. Tóm tắt nội dung MLP gồm input, hidden layers và output , với dữ liệu truyền theo một chiều từ đầu vào đến đầu ra. Mỗi hidden layer thường thực hiện phép biến đổi affine + activation phi tuyến . Forward Pass tạo dự đoán; Backpropagation tính gradient; optimizer cập nhật tham số. MLP là baseline tốt cho nhiều dữ liệu dạng vector nhưng không tự có ind...

Gradient Descent , hay thuật toán hạ gradient, là một trong những thuật toán tối ưu quan trọng nhất của Machine Learning và Deep Learning. Nếu Backpropagation trả lời câu hỏi “mỗi tham số ảnh hưởng đến sai số bao nhiêu?” , thì Gradient Descent sử dụng chính các gradient đó để quyết định tham số cần thay đổi theo hướng nào . Từ hồi quy tuyến tính đến mạng nơ-ron, CNN, Transformer hay các mô hình ngôn ngữ lớn, ý tưởng cốt lõi vẫn giống nhau: xác định hướng làm hàm mất mát tăng nhanh nhất, sau đó đi theo hướng ngược lại để giảm sai số. Tóm tắt nội dung Gradient Descent cập nhật tham số theo công thức θ ← θ − η∇L(θ) . Gradient cho biết hướng tăng nhanh nhất của hàm mất mát, vì vậy ta đi theo hướng âm của gradient. Learning rate quyết định kích thước mỗi bước cập nhật và ảnh hưởng trực tiếp đến độ ổn định của quá trình học. Batch Gradient Descent, SGD và Mini-batch Gradient Descent khác nhau chủ yếu ở lượng dữ liệu dùng để ước lượng gradient mỗi bước. Gradient Descent ...