Xử lý hiện tượng bùng nổ từ vựng khi dùng Bag-of-Words cho tiếng Việt

Tóm tắt

• Làm rõ nguyên nhân gây bùng nổ từ vựng và không gian thưa thớt (sparse matrix) khi dùng Bag-of-Words cho tiếng Việt.
• Trình bày vai trò của các bước tiền xử lý văn bản, tách từ chuẩn xác và loại bỏ từ dừng.
• Hướng dẫn sử dụng các tham số giới hạn tần suất từ vựng trong lập trình Python.
• Giới thiệu các phương pháp giảm chiều dữ liệu nâng cao như TruncatedSVD và chuyển đổi sang không gian dense vector.

Khi xây dựng các hệ thống xử lý ngôn ngữ tự nhiên (NLP) cho tiếng Việt, việc chuyển đổi văn bản thô thành dạng số học là bước khởi đầu bắt buộc. Trong số các phương pháp cổ điển, Bag of Words (BoW) trong Xử lý Ngôn ngữ Tự nhiên vẫn được xem là nền tảng trực quan nhất. Tuy nhiên, khi áp dụng mô hình này vào đặc trưng từ tính đơn lập và linh hoạt của tiếng Việt, các kỹ sư dữ liệu thường vấp phải một rào cản lớn: hiện tượng bùng nổ từ vựng dẫn đến không gian thưa thớt (sparse matrix). Bài viết này sẽ phân tích nguyên nhân gốc rễ và các kỹ thuật xử lý chuyên sâu giúp tối ưu hóa mô hình.

Bản chất của không gian thưa thớt trong Bag-of-Words tiếng Việt

Trong mô hình Bag-of-Words, mỗi văn bản được đại diện bằng một vector có độ dài bằng tổng số lượng từ vựng độc lập ($V$) xuất hiện trong toàn bộ tập huấn luyện (corpus). Đối với tiếng Anh hoặc các ngôn ngữ Ấn-Âu, ranh giới từ được xác định sẵn bằng dấu cách. Trong khi đó, tiếng Việt là ngôn ngữ đơn lập, ranh giới từ mờ nhạt và mang tính ngữ cảnh cao.

Khi thực hiện quá trình tách từ tiếng Việt (Word Segmentation), một câu đơn giản cũng có thể sản sinh ra hàng loạt từ ghép hoặc thực từ khác nhau. Giả sử tập dữ liệu của bạn có 50.000 văn bản thu thập từ mạng xã hội, tổng số từ vựng độc lập sau khi xử lý có thể lên tới hàng trăm nghìn đơn vị. Điều này khiến ma trận biểu diễn văn bản trở thành một sparse matrix (ma trận thưa), nơi phần lớn các ô giá trị đều bằng 0.

Ví dụ minh họa: * Văn bản A: "Hệ thống xử lý ngôn ngữ tự nhiên rất phức tạp." * Văn bản B: "Trí tuệ nhân tạo và học máy là xu hướng."

Khi gộp chung vào một từ điển, vector biểu diễn cho từng câu sẽ có kích thước bằng tổng số từ độc lập của cả hai câu (cộng thêm các văn bản khác trong tập dữ liệu), nhưng mỗi câu chỉ kích hoạt một vài vị trí mang giá trị khác 0. Điều này làm lãng phí bộ nhớ tính toán và gây ra hiện tượng overfitting khi đưa vào các mô hình phân loại như Thuật toán SVM trong phân loại văn bản hay Phân tích cảm xúc tiếng Việt trong NLP: Các case study.

Nguyên nhân gây bùng nổ từ vựng đặc trưng ở tiếng Việt

Hiện tượng bùng nổ từ vựng không chỉ đến từ quy mô dữ liệu lớn mà còn bắt nguồn từ đặc thù hình thái học:

1. Sự biến hóa của từ ghép và từ láy: Tiếng Việt có kho tàng từ ghép và từ láy vô cùng phong phú ("nhanh nhẹn", "nhanh nhanh", "đỏ rực", "đỏ chót"). Nếu bộ tách từ không chuẩn hóa tốt, mỗi biến thể sắc thái sẽ được tính là một chiều dữ liệu độc lập.
2. Sai sót trong quá trình gán nhãn từ loại và tách từ: Các lỗi dính từ (ví dụ: "máy_tính" và "máy tính" bị xem là hai từ khác nhau) làm phình to từ điển một cách giả tạo.
3. Tiếng lóng, từ địa phương và lỗi chính tả: Trên các nền tảng mạng xã hội, cách viết tắt, biến tấu từ ngữ ("ko", "ghê vãi", "đỉnh chóp") tạo ra hàng nghìn từ vựng rác chỉ xuất hiện một hoặc hai lần trong toàn bộ tập dữ liệu (hapax legomena).

Các phương pháp tiền xử lý NLP giúp thu gọn từ điển

*Xử lý bùng nổ từ vựng Bag-of-Words tiếng Việt *

Để giải quyết tận gốc hiện tượng bùng nổ từ vựng trước khi đưa vào ma trận BoW, bước tiền xử lý NLP cần được thiết kế nghiêm ngặt với các kỹ thuật sau:

Chuẩn hóa văn bản và loại bỏ nhiễu

Toàn bộ văn bản cần được đưa về chữ thường (lowercase). Các ký tự đặc biệt, biểu tượng cảm xúc (emoji) lặp thừa, hoặc các khoảng trắng kép phải được làm sạch bằng biểu thức chính quy (Regex). Việc này giúp ép các biến thể có cùng ý nghĩa về chung một dạng chuẩn.

Lọc bỏ từ dừng (Stopwords)

Các từ chức năng như "và", "của", "là", "trong", "các" xuất hiện với tần suất cực cao nhưng không mang lại giá trị phân biệt ngữ nghĩa. Xây dựng một danh sách từ dừng chuẩn hóa riêng cho tiếng Việt giúp cắt giảm từ 30% đến 50% kích thước của ma trận từ vựng ban đầu.

Ngưỡng tần suất xuất hiện (Frequency Thresholding)

Một cách tiếp cận đơn giản nhưng cực kỳ hiệu quả để thu gọn từ điển tiếng Việt là loại bỏ các từ xuất hiện quá ít lần (ví dụ: chỉ xuất hiện 1 hoặc 2 lần trong toàn bộ corpus) hoặc xuất hiện quá nhiều lần (gần như có mặt ở mọi văn bản).

from sklearn.feature_extraction.text import CountVectorizer

# Giới hạn kích thước từ điển và loại bỏ từ hiếm bằng min_df
vectorizer = CountVectorizer(max_features=10000, min_df=5, max_df=0.85)
X = vectorizer.fit_transform(corpus)

Thông qua tham số min_df và max_features, chúng ta có thể kiểm soát trực tiếp số chiều của không gian đặc trưng, ép mô hình chỉ tập trung vào các từ có sức chứa thông tin cao.

Kỹ thuật giảm chiều dữ liệu và chuyển đổi biểu diễn

Khi việc cắt giảm từ vựng ở mức độ tiền xử lý vẫn chưa đủ để đưa ma trận về kích thước tối ưu, các phương pháp toán học và biểu diễn nâng cao sẽ can thiệp để tối ưu hóa không gian.

Chuyển đổi từ BoW sang TF-IDF

Mặc dù Bag-of-Words đếm tần suất thô dễ dẫn đến việc các từ xuất hiện nhiều lấn át các từ có giá trị ngữ nghĩa đặc trưng, việc áp dụng trọng số TF-IDF giúp cân bằng lại điều này. TF-IDF giảm trọng số của các từ xuất hiện tràn lan trong corpus và tăng trọng số của các từ mang tính đặc thù cao cho từng văn bản.

Ứng dụng phương pháp giảm chiều

Đối với các ma trận thưa thớt có số chiều lên tới hàng chục nghìn, các kỹ thuật giảm chiều dữ liệu như Phân tích thành phần chính (PCA) hoặc Phân rã giá trị kỳ dị (SVD / TruncatedSVD) thường được áp dụng:

• TruncatedSVD: Hoạt động cực kỳ hiệu quả trên sparse matrix của BoW, giúp nén không gian nhiều chiều thành một không gian đặc trưng dày đặc (dense vector) với số chiều nhỏ hơn nhiều (ví dụ từ 50,000 chiều xuống còn 300 chiều).
• Word Embedding: Thay vì giữ nguyên biểu diễn túi từ rời rạc, việc chuyển dịch sang các mô hình không gian phân tán như FastText hoặc Word2Vec giúp giải quyết triệt để bài toán thưa thớt bằng cách gom các từ đồng nghĩa vào gần nhau trong không gian vector liên tục.

Đánh giá hiệu năng và lựa chọn phương pháp phù hợp

Không có một công thức duy nhất áp dụng cho mọi bài toán NLP tiếng Việt. Việc lựa chọn phương pháp xử lý bùng nổ từ vựng phụ thuộc vào bài toán cụ thể và tài nguyên tính toán:

• Nếu bạn xây dựng hệ thống phân loại văn bản đơn giản với tập dữ liệu vừa phải, việc kết hợp CountVectorizer kèm theo lọc min_df và loại bỏ từ dừng là lựa chọn nhanh chóng, tiết kiệm tài nguyên.
• Nếu bài toán đòi hỏi độ chính xác cao đối với các biểu hiện ngữ nghĩa phức tạp hoặc phân tích cảm xúc đa chiều, việc chuyển sang các mô hình nhúng từ (Embedding) hoặc kết hợp kỹ thuật nén SVD sẽ mang lại hiệu quả vượt trội hơn hẳn so với việc giữ nguyên không gian Bag-of-Words thô.

Việc hiểu rõ bản chất không gian thưa thớt và áp dụng đúng đắn các bước tiền xử lý lẫn giảm chiều sẽ giúp các kỹ sư làm chủ hoàn toàn dữ liệu tiếng Việt, tối ưu hóa thời gian huấn luyện và nâng cao độ chính xác cho các mô hình học máy.

One-Hot trong Word Embedding: Từ chỉ mục đến vector từ

Kỹ thuật TF-IDF

Thuật toán SVM trong phân loại văn bản