Latent Dirichlet Allocation (LDA) là một mô hình chủ đề (topic model) giúp khám phá các nhóm từ thường cùng xuất hiện trong một tập tài liệu mà không cần nhãn chủ đề có sẵn. Thay vì gán cứng mỗi văn bản vào một loại, LDA mô tả mỗi tài liệu bằng một tổ hợp nhiều chủ đề với các tỷ trọng khác nhau [1]. Điều quan trọng nhất khi bắt đầu học LDA không phải là thuộc công thức, mà là hiểu hai lớp phân phối xác suất đứng sau kết quả của mô hình. Tóm tắt nội dung 1. LDA phát hiện cấu trúc chủ đề tiềm ẩn thông qua quy luật đồng xuất hiện của từ, chứ không đọc hiểu văn bản theo cách của con người. 2. Mỗi chủ đề là một phân phối trên từ vựng; mỗi tài liệu là một phân phối trên các chủ đề. 3. Phân phối Dirichlet giúp mô hình hóa tỷ trọng các chủ đề và, trong dạng LDA Bayesian thường dùng, tỷ trọng các từ của từng chủ đề. 4. Đầu ra phải được diễn giải và kiểm tra theo ngữ cảnh; tên chủ đề không được mô hình tự hiểu hay bảo đảm. 1. Vì sao cần một mô hình để...

SegFormer là kiến trúc học sâu dành cho phân đoạn ngữ nghĩa (semantic segmentation) , kết hợp một Transformer encoder phân cấp với decoder MLP rất nhẹ. Thay vì sử dụng Transformer ở một độ phân giải duy nhất như Vision Transformer (ViT), SegFormer tạo đặc trưng ở nhiều tỉ lệ không gian, phù hợp hơn với bài toán cần dự đoán nhãn cho từng pixel. Điểm đáng chú ý của SegFormer không chỉ nằm ở việc đưa self-attention vào Computer Vision. Kiến trúc được thiết kế xoay quanh bốn ý tưởng: Mix Transformer (MiT), Overlapping Patch Embedding, Efficient Self-Attention, Mix-FFN và All-MLP Decoder . SegFormer cũng không sử dụng positional embedding cố định như ViT, nhờ đó tránh việc phải nội suy positional embedding khi độ phân giải ảnh thay đổi. Tóm tắt nội dung SegFormer gồm MiT encoder phân cấp và All-MLP decoder . Encoder tạo bốn feature map ở các độ phân giải 1/4, 1/8, 1/16 và 1/32 so với ảnh đầu vào. Efficient Self-Attention giảm số lượng token dùng cho Key và Value, giúp at...

Tóm tắt nội dung TF-IDF đo mức độ quan trọng của một từ đối với một tài liệu dựa trên hai tín hiệu: từ đó xuất hiện nhiều đến đâu trong tài liệu và hiếm đến đâu trong toàn bộ tập tài liệu. Một từ có TF cao nhưng xuất hiện ở gần như mọi tài liệu thường không có nhiều khả năng phân biệt; IDF được dùng để giảm trọng số của những từ như vậy. Sau khi tính TF-IDF, mỗi tài liệu có thể được biểu diễn thành một vector số để phục vụ tìm kiếm, đo độ tương đồng và các mô hình Machine Learning cổ điển. TF-IDF đơn giản, nhanh và dễ giải thích, nhưng không thực sự hiểu ngữ nghĩa, thứ tự từ hay quan hệ ngữ cảnh. TF-IDF , viết tắt của Term Frequency–Inverse Document Frequency , là một kỹ thuật gán trọng số cho từ dựa trên mức độ quan trọng của từ đó trong một tài liệu so với toàn bộ tập tài liệu. Đây là một trong những biểu diễn văn bản cổ điển quan trọng nhất trong xử lý ngôn ngữ tự nhiên và truy hồi thông tin. Điểm cốt lõi rất trực quan: một từ đáng chú ý khi nó x...