Backpropagation, hay thuật toán lan truyền ngược , là cơ chế giúp mạng nơ-ron biết mỗi trọng số đã đóng góp bao nhiêu vào sai số dự đoán. Từ thông tin đó, mô hình có thể điều chỉnh các tham số theo hướng làm giảm hàm mất mát và dần học được quy luật từ dữ liệu. Hầu hết mô hình học sâu trong xử lý ngôn ngữ tự nhiên, thị giác máy tính và nhiều lĩnh vực trí tuệ nhân tạo đều dựa vào Backpropagation để tính gradient. Hiểu thuật toán này giúp ta nhìn rõ điều gì thực sự xảy ra phía sau các lệnh quen thuộc như loss.backward() trong PyTorch. Tóm tắt nội dung Backpropagation dùng quy tắc dây chuyền để tính gradient của hàm mất mát theo từng tham số. Quá trình huấn luyện thường gồm: forward pass → tính loss → backward pass → cập nhật trọng số . Backpropagation không phải thuật toán tối ưu ; nó tính gradient, còn Gradient Descent, Adam hoặc SGD sử dụng gradient để cập nhật tham số. Cùng một nguyên lý được dùng để huấn luyện CNN, Transformer, LSTM, ViT và nhiều kiến trúc học sâu khá...

NATURAL LANGUAGE PROCESSING / VECTOR REPRESENTATION Word Embedding trong NLP: Biểu diễn từ bằng vector từ  →  vector  →  không gian ngữ nghĩa “mèo”  →  [0.21, −0.74, 0.35, ..., 0.18] Biểu diễn từ bằng vector (word embedding) là kỹ thuật ánh xạ mỗi từ sang một vector số có số chiều cố định. Thay vì coi các từ chỉ là những ký hiệu rời rạc, Word Embedding cho phép mô hình học máy xử lý chúng trong một không gian số, nơi những từ có cách sử dụng hoặc ngữ nghĩa gần nhau thường có biểu diễn tương đối gần nhau. Tóm tắt nội dung Word Embedding giải quyết hạn chế của cách biểu diễn từ rời rạc bằng cách học một vector dày đặc cho mỗi từ. Khoảng cách và góc giữa các vector có thể phản ánh một phần quan hệ về ngữ nghĩa hoặc cách dùng từ. Bài viết trình bày trực giác toán học, cách Word2Vec học embedding, phép đo cosine, ví dụ Python và sự khác biệt giữa embedding tĩnh với embedding theo ngữ cảnh. ...