Tóm tắt nội dung Cosine Similarity (độ tương đồng cosine) đo góc giữa hai vector, không quan tâm độ dài (magnitude) của chúng. Giá trị nằm trong [-1, 1]; với vector không âm (như TF-IDF, embedding) thường nằm trong [0, 1]. Được dùng rộng rãi để so sánh văn bản, tìm kiếm ngữ nghĩa (semantic search) và hệ thống gợi ý. Khác biệt cốt lõi với Euclidean Distance: cosine đo hướng, Euclidean đo khoảng cách tuyệt đối. Khi làm việc với văn bản hoặc embedding, câu hỏi thường gặp nhất là: hai vector này giống nhau đến mức nào? Cosine Similarity trả lời câu hỏi đó bằng cách đo góc giữa hai vector thay vì khoảng cách giữa chúng, và đây là lý do nó trở thành công cụ mặc định trong NLP. Cosine Similarity là gì và tại sao cần đến nó Trong không gian vector (vector space), mỗi văn bản, từ hoặc item có thể được biểu diễn thành một vector số thực nhiều chiều. Cosine Similarity đo mức độ giống nhau giữa hai vector bằng cách tính cosin của góc tạo bởi chúng. Điểm quan trọng: cosine chỉ quan ...

Tóm tắt nội dung Loss Function (hàm mất mát) đo sai số giữa dự đoán và giá trị thực, là tín hiệu duy nhất mà thuật toán tối ưu dựa vào để cập nhật tham số. Mỗi loss function mã hóa một giả định thống kê khác nhau về phân phối nhiễu (noise) của dữ liệu — không phải lựa chọn tùy ý. Tính lồi (convexity) và độ mượt (smoothness) của loss quyết định hành vi hội tụ của Gradient Descent. Chọn sai loss function không gây lỗi runtime, nhưng khiến mô hình tối ưu sai mục tiêu một cách âm thầm. Loss Function là hàm số duy nhất mà toàn bộ quá trình huấn luyện mô hình machine learning xoay quanh: mọi thuật toán tối ưu, từ Gradient Descent đến Adam, đều chỉ đang cố gắng làm giá trị của hàm này nhỏ nhất có thể. Hiểu sai bản chất của loss function đồng nghĩa với việc không kiểm soát được mô hình đang thực sự học gì. Loss Function là gì và vai trò trong huấn luyện mô hình Loss Function, hay hàm mất mát, là một hàm số nhận đầu vào là giá trị dự đoán (predicted value) ŷ của mô hình và giá tr...

Hàm kích hoạt (activation function) quyết định cách một neuron biến đổi tín hiệu trước khi truyền sang tầng tiếp theo. Nếu một mạng chỉ gồm các phép biến đổi tuyến tính, việc xếp chồng nhiều layer vẫn có thể rút gọn thành một phép biến đổi tuyến tính duy nhất và mạng không thể mô hình hóa tốt những quan hệ phi tuyến phức tạp. Không tồn tại một activation tốt nhất cho mọi kiến trúc và mọi bài toán. ReLU phù hợp với nhiều CNN và MLP, GELU phổ biến trong Transformer, Sigmoid thích hợp cho xác suất nhị phân hoặc multi-label, trong khi Softmax thường được sử dụng để chuyển logits thành phân phối xác suất trên nhiều lớp loại trừ lẫn nhau. Tóm tắt nội dung Hidden layer: ReLU, Leaky ReLU, GELU và SiLU là những lựa chọn phổ biến. Binary classification: thường huấn luyện bằng raw logits và BCEWithLogitsLoss; Sigmoid dùng khi cần xác suất. Multi-class classification: thường dùng logits với CrossEntropyLoss; Softmax chủ yếu cần ở bước suy luận. Regression: thường dùng đầu ra tuyến...

Tóm tắt nội dung Độ đo tương đồng (similarity) và khoảng cách (distance) là hai mặt của cùng một bài toán, nhưng không phải lúc nào cũng chuyển đổi tuyến tính cho nhau. Mỗi độ đo (Euclidean, Manhattan, Minkowski, Cosine, Jaccard, Pearson) mã hóa một giả định hình học hoặc thống kê khác nhau về dữ liệu. Chọn sai độ đo không làm thuật toán báo lỗi — nó âm thầm làm mô hình học sai cấu trúc dữ liệu. Không có độ đo "tốt nhất" tuyệt đối; lựa chọn phụ thuộc vào loại dữ liệu, chiều không gian và ý nghĩa mà "giống nhau" cần biểu diễn. Cosine similarity chỉ là một điểm trong một không gian lớn các độ đo tương đồng và khoảng cách. Mỗi độ đo phản ánh một cách hiểu khác nhau về khái niệm "giống nhau", và việc chọn sai có thể khiến mô hình clustering, k-NN hay recommendation system hoạt động sai mà không hề báo lỗi. Khoảng cách và tương đồng: hai mặt của cùng một khái niệm Về mặt toán học, một hàm khoảng cách (distance function) d(A, B) là một metric nếu ...