Stemming là gì? Stemming là một kỹ thuật trong xử lý ngôn ngữ tự nhiên (NLP) giúp giảm các từ về dạng gốc của chúng bằng cách loại bỏ các hậu tố hoặc tiền tố. Mục đích của stemming là chuẩn hóa văn bản, giúp giảm số lượng từ cần xử lý trong các tác vụ như tìm kiếm thông tin, phân tích văn bản và học máy. Ví dụ: "running", "runner" → "run" "happily", "happiness" → "happi" Tại sao Stemming quan trọng? Stemming giúp giảm kích thước từ vựng của văn bản, từ đó: Cải thiện hiệu suất của các mô hình NLP. Tăng cường độ chính xác trong truy vấn tìm kiếm. Chuẩn hóa văn bản , giúp xử lý dữ liệu dễ dàng hơn. Các thuật toán Stemming phổ biến Có nhiều thuật toán stemming khác nhau, trong đó phổ biến nhất là: a. Porter Stemmer Được phát triển bởi Martin Porter năm 1980. Dựa trên tập hợp các quy tắc để cắt bỏ hậu tố. Ví dụ: "playing" → "play" "happiness" → "happi" b. Snowball Stemmer (Porter2) Là phi...

Bag of Words (BoW) là một kỹ thuật phổ biến trong Xử lý Ngôn ngữ Tự nhiên (NLP) để biểu diễn văn bản thành dạng số. Mô hình này đơn giản nhưng hiệu quả trong nhiều bài toán như phân loại văn bản, tìm kiếm thông tin và phân tích cảm xúc. Bag of Words là gì? Bag of Words là một phương pháp biểu diễn văn bản bằng cách đếm số lần xuất hiện của các từ trong một tài liệu. Trong mô hình này, thứ tự từ không quan trọng, chỉ quan tâm đến sự có mặt và tần suất của từ. Ví dụ: Câu 1: "Tôi yêu học máy và xử lý ngôn ngữ tự nhiên." Câu 2: "Học máy là một lĩnh vực quan trọng của trí tuệ nhân tạo." Với Bag of Words, hai câu trên có thể được biểu diễn thành: | Tôi | yêu | học | máy | và | xử | lý | ngôn | ngữ | tự | nhiên | là | một | lĩnh | vực | quan | trọng | của | trí | tuệ | nhân | tạo |  | Câu 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |  | Câu 2 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | ...

Tách từ tiếng Việt là bài toán xác định ranh giới giữa các từ trong một chuỗi văn bản. Khó khăn nằm ở chỗ khoảng trắng trong tiếng Việt thường phân cách các âm tiết , nhưng một từ hoàn chỉnh có thể gồm nhiều âm tiết như “sinh viên” , “đại học” , “công nghệ” hay “tự nhiên” . Tách từ đúng giúp các hệ thống NLP dựa trên từ biểu diễn văn bản hợp lý hơn, đặc biệt trong tìm kiếm, TF-IDF, phân loại văn bản, gán nhãn từ loại và một số mô hình ngôn ngữ tiếng Việt. Tuy nhiên, với các Transformer sử dụng tokenizer dưới mức từ như subword hoặc SentencePiece, tách từ thủ công không phải lúc nào cũng là bước bắt buộc . Việc có cần tách từ trước hay không phụ thuộc vào mô hình và pipeline cụ thể. Tóm tắt nội dung Khoảng trắng trong tiếng Việt không phải lúc nào cũng là ranh giới từ ; nhiều từ gồm hai hoặc nhiều âm tiết. Word segmentation và tokenization có liên quan nhưng không hoàn toàn đồng nghĩa. Ba hướng chính gồm dựa trên từ điển, mô hình thống kê và mô hình học sâu . Tron...