Chuỗi Topic Modeling · Bài 2/3 Các mô hình như LDA mô tả tài liệu bằng phân phối xác suất trên các chủ đề, nhưng biểu diễn bag-of-words khiến chúng gần như không trực tiếp khai thác quan hệ ngữ nghĩa giữa các từ. Mô hình chủ đề neural (neural topic model) giải quyết một phần hạn chế này bằng mạng nơ-ron, suy luận biến phân và các biểu diễn embedding. Hai hướng quan trọng là Embedded Topic Model (ETM) , đưa từ và chủ đề vào cùng một không gian embedding, và Contextualized Topic Models (CTM) , sử dụng biểu diễn ngữ cảnh từ các mô hình ngôn ngữ tiền huấn luyện. Đây là bước chuyển quan trọng từ mô hình chủ đề dựa chủ yếu trên tần suất sang mô hình có khả năng khai thác ngữ nghĩa tốt hơn. Tóm tắt nội dung Neural topic model không đơn giản là thay LDA bằng neural network; phần quan trọng là cách mô hình hóa biến ẩn chủ đề và cách suy luận chúng. ETM biểu diễn từ và chủ đề trong cùng không gian vector, nhờ đó tận dụng quan hệ ngữ nghĩa giữa các từ. CTM kết hợp biểu diễn ngữ cảnh...

FastText Word Embedding: Biểu diễn từ bằng các mảnh ký tự FastText là phương pháp biểu diễn nhúng từ mở rộng từ Word2Vec bằng cách không xem mỗi từ như một đơn vị hoàn toàn độc lập. Thay vào đó, mô hình còn học các đơn vị con của từ (subword) , thường là các chuỗi n ký tự liên tiếp. Cơ chế này đặc biệt hữu ích với từ hiếm, từ có biến thể hình thái và cả những từ chưa xuất hiện trong dữ liệu huấn luyện. Điểm cốt lõi cần hiểu là vector của một từ trong FastText không chỉ đến từ chính từ đó mà còn được tổng hợp từ các n-gram ký tự cấu thành nó. Tóm tắt nội dung FastText học vector của từ và các n-gram ký tự bên trong từ. Các từ có chung cấu trúc ký tự có thể chia sẻ thông tin, giúp xử lý từ hiếm và từ ngoài từ điển tốt hơn Word2Vec truyền thống. FastText vẫn dùng mục tiêu huấn luyện như CBOW hoặc Skip-gram; điểm khác biệt chính nằm ở cách biểu diễn từ đầu vào . FastText: từ → n-gram ký tự → vector Ví dụ minh họa cố định với n = 3 và từ . playing từ đầu vào...

Mô hình Agentic RAG: AI Agent tự động lập kế hoạch, truy xuất Vector Database và tự kiểm tra (Self-Reflection) Agentic RAG mở rộng Retrieval-Augmented Generation từ một pipeline cố định thành một quá trình có khả năng ra quyết định. Thay vì luôn retrieval một lần rồi sinh câu trả lời, hệ thống có thể phân tích nhiệm vụ, chọn nguồn dữ liệu, truy xuất nhiều bước, kiểm tra bằng chứng và quyết định có cần tìm thêm hay không. Điểm quan trọng không nằm ở việc “gắn agent vào RAG”, mà ở việc biến retrieval thành một vòng lặp có trạng thái và điều kiện dừng . Cách tiếp cận này đặc biệt phù hợp với câu hỏi nhiều bước, dữ liệu nằm ở nhiều nguồn hoặc trường hợp một truy vấn duy nhất khó thu được đủ bằng chứng. RAG tuyến tính bắt đầu yếu ở đâu? Một pipeline RAG thông thường thường có dạng: Query → Retrieval → Reranking → Context → LLM → Answer Pipeline này hiệu quả khi query có thể biểu diễn khá trực tiếp nhu cầu thông tin. Ví dụ, câu hỏi “Hybrid search trong ...

Chuyển đổi từ vựng thành vector nhị phân thông qua kỹ thuật One-Hot Encoding Khi học biểu diễn nhúng từ (word embedding) , one-hot thường xuất hiện ở bước đầu tiên nhưng cũng là phần dễ gây nhầm lẫn nhất. One-hot không phải là vector ngữ nghĩa cuối cùng của từ; nó chỉ giúp mô hình xác định chính xác từ nào đang được xử lý. Bài viết sử dụng một ví dụ nhỏ với các từ cat, dog, eats, fish, meat để phân tích toàn bộ quá trình: từ điển → one-hot → ma trận nhúng → vector ngữ cảnh → dự đoán → sai số → lan truyền ngược → cập nhật embedding. Tóm tắt nội dung One-hot chỉ xác định danh tính của từ , không biểu diễn ý nghĩa của từ. Phép nhân giữa ma trận embedding và one-hot thực chất là chọn đúng vector tương ứng với từ . Vector chỉ mang thông tin hữu ích sau khi được cập nhật qua quá trình huấn luyện và lan truyền ngược . Từ One-Hot đến Word Embedding One-hot xác định vị trí, ma trận...