Chuyển đến nội dung chính

Bag of Words (BoW) trong Xử lý Ngôn ngữ Tự nhiên

Bag of Words (BoW) là một kỹ thuật phổ biến trong Xử lý Ngôn ngữ Tự nhiên (NLP) để biểu diễn văn bản thành dạng số. Mô hình này đơn giản nhưng hiệu quả trong nhiều bài toán như phân loại văn bản, tìm kiếm thông tin và phân tích cảm xúc.

Bag of Words là gì?

Bag of Words là một phương pháp biểu diễn văn bản bằng cách đếm số lần xuất hiện của các từ trong một tài liệu. Trong mô hình này, thứ tự từ không quan trọng, chỉ quan tâm đến sự có mặt và tần suất của từ.

Ví dụ:

Câu 1: "Tôi yêu học máy và xử lý ngôn ngữ tự nhiên." Câu 2: "Học máy là một lĩnh vực quan trọng của trí tuệ nhân tạo."

Với Bag of Words, hai câu trên có thể được biểu diễn thành:

| Tôi | yêu | học | máy | và | xử | lý | ngôn | ngữ | tự | nhiên | là | một | lĩnh | vực | quan | trọng | của | trí | tuệ | nhân | tạo | 

| Câu 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 

| Câu 2 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |

Cách tạo Bag of Words bằng Python

Sử dụng CountVectorizer từ scikit-learn


CountVectorizer() giúp chuyển đổi văn bản thành ma trận số.
fit_transform(documents) tạo ma trận tần suất từ. 
get_feature_names_out() lấy danh sách từ vựng.
X.toarray() hiển thị ma trận BoW dưới dạng mảng số.

Kết quả thu được của mã trên:
Từ vựng: ['của' 'học' 'là' 'lý' 'lĩnh' 'máy' 'một' 'ngôn' 'ngữ' 'nhiên' 'nhân' 'quan' 'trí' 'trọng' 'tuệ' 'tôi' 'tạo' 'tự' 'và' 'vực' 'xử' 'yêu'] Biểu diễn BoW: [[0 1 0 1 0 1 0 1 1 1 0 0 0 0 0 1 0 1 1 0 1 1] [1 1 1 0 1 1 1 0 0 0 1 1 1 1 1 0 1 0 0 1 0 0]]

Loại bỏ stopwords

Trong văn bản, một số từ như "và", "của", "là" thường không mang nhiều ý nghĩa. Chúng ta có thể loại bỏ chúng bằng cách sử dụng danh sách stopwords.


 kết quả thu được:
Từ vựng sau khi loại bỏ stopwords: ['học' 'lý' 'lĩnh' 'máy' 'ngôn' 'ngữ' 'nhiên' 'nhân' 'quan' 'trí' 'trọng' 'tuệ' 'tôi' 'tạo' 'tự' 'vực' 'xử' 'yêu'] Biểu diễn BoW: [[1 1 0 1 1 1 1 0 0 0 0 0 1 0 1 0 1 1] [1 0 1 1 0 0 0 1 1 1 1 1 0 1 0 1 0 0]]

Tần suất - Inverse Document Frequency (TF-IDF)

Mô hình BoW chỉ đơn thuần đếm số lần xuất hiện của từ, nhưng không đánh giá mức độ quan trọng của từ trong văn bản. Để giải quyết vấn đề này, ta có thể sử dụng TF-IDF

Kết quả thu được:
Từ vựng: ['của' 'học' 'là' 'lý' 'lĩnh' 'máy' 'một' 'ngôn' 'ngữ' 'nhiên' 'nhân' 'quan' 'trí' 'trọng' 'tuệ' 'tôi' 'tạo' 'tự' 'và' 'vực' 'xử' 'yêu'] Biểu diễn TF-IDF: [[0. 0.2248583 0. 0.3160305 0. 0.2248583 0. 0.3160305 0.3160305 0.3160305 0. 0. 0. 0. 0. 0.3160305 0. 0.3160305 0.3160305 0. 0.3160305 0.3160305 ] [0.28852505 0.20528795 0.28852505 0. 0.28852505 0.20528795 0.28852505 0. 0. 0. 0.28852505 0.28852505 0.28852505 0.28852505 0.28852505 0. 0.28852505 0. 0. 0.28852505 0. 0. ]]

Lợi ích của TF-IDF:

  • Giảm trọng số của từ phổ biến.

  • Tăng trọng số của từ quan trọng trong tài liệu.

Ưu điểm và Nhược điểm của Bag of Words

Ưu điểm:

  • Đơn giản, dễ hiểu, dễ triển khai.

  • Hiệu quả với các mô hình học máy cơ bản.

Nhược điểm:

  • Không quan tâm đến ngữ cảnh của từ.

  • Ma trận BoW có thể rất lớn nếu từ vựng phong phú.

  • Không xử lý tốt các từ đồng nghĩa và đa nghĩa.

Như vậy, Bag of Words là một phương pháp cơ bản nhưng hữu ích trong NLP. Tuy nhiên, để cải thiện hiệu quả, ta có thể kết hợp BoW với các kỹ thuật khác như TF-IDF hoặc sử dụng các mô hình học sâu như Word2Vec, BERT. Hy vọng bài viết giúp bạn hiểu rõ hơn về cách biểu diễn văn bản trong NLP và cách áp dụng BoW vào các bài toán thực tế.

© The CS Note · THE CS NOTE

Nội dung gốc thuộc tác giả. Vui lòng không đăng lại toàn văn khi chưa được phép, trừ trường hợp pháp luật hoặc giấy phép áp dụng cho phép. Nội dung của bên thứ ba tuân theo quyền và giấy phép tương ứng.

Nguồn gốc: Bag of Words (BoW) trong Xử lý Ngôn ngữ Tự nhiên

Về trang chủ Về đầu bài
Labels:

Bài Đăng Phổ Biến

Bài toán tháp Hà nội

Trải nghiệm Tháp Hà Nội Kéo thả đĩa hoặc chạm vào các nút bên dưới để di chuyển. Bạn phải chuyển toàn bộ đĩa sang cột ngoài cùng bên phải (Cột 3) mà không đặt đĩa to lên đĩa nhỏ. Cột 1 Cột 2 Cột 3 Điều khiển & Chế độ Số lượng đĩa 4 Tốc độ máy giải ↪ Undo ↻ Chơi lại 🤖 Máy tự giải Thống kê ván chơi Nước đã đi 0 Thời gian 00:00 Tối thiểu cần 15 Kỷ lục của bạn - Lịch sử và Nguồn gốc Truyền thuyết Bài toán Tháp Hà Nội (hay Tháp Brahma) là một trò chơi xếp hình toán học kinh điển được giới thiệu lần đầu vào năm 1883 bởi nhà toán học người Pháp Édouard L...

Bài toán phân tích cảm xúc trong văn bản

Bài toán phân tích cảm xúc (sentiment analysis) là một bài toán NLP nhằm xác định thái độ hoặc cảm xúc được thể hiện trong văn bản. Ví dụ, từ một đánh giá như “Điện thoại đẹp, chạy nhanh nhưng pin hơi yếu”, hệ thống có thể nhận biết rằng người dùng có cả nhận xét tích cực và tiêu cực. Điểm thú vị của bài toán nằm ở khoảng cách giữa cách con người hiểu ngôn ngữ và cách máy tính xử lý dữ liệu. Một hệ thống phân tích cảm xúc cần biến văn bản tự nhiên thành dữ liệu có cấu trúc, học được các mẫu ngôn ngữ từ dữ liệu huấn luyện và đưa ra dự đoán hợp lý trên những câu chưa từng gặp. 1. Bài toán phân tích cảm xúc bắt đầu từ đâu? Hãy tưởng tượng một cửa hàng trực tuyến có hàng nghìn đánh giá mỗi ngày. Con người có thể đọc từng đánh giá để biết khách hàng hài lòng hay không, nhưng việc này nhanh chóng trở nên tốn thời gian khi dữ liệu tăng lên. NLP có thể biến bài toán đó thành một bài toán phân loại. Với mỗi văn bản, hệ thống nhận vào một chuỗi ký...

KAN cho phân đoạn khối u não với bộ BraTS 2020

Kolmogorov-Arnold Network (KAN) mở ra một hướng khác với MLP truyền thống: thay vì chỉ học các trọng số vô hướng trên mỗi kết nối, KAN có thể học những hàm phi tuyến một biến trên các cạnh . Khi đưa ý tưởng này vào kiến trúc encoder-decoder như U-Net, ta có thể sử dụng convolution để giữ cấu trúc không gian của ảnh MRI và dùng KAN để thực hiện các phép biến đổi phi tuyến mạnh hơn trên representation trung gian. Một bài toán phù hợp để nghiên cứu hướng này là phân đoạn u thần kinh đệm trên BraTS 2020 . Dataset cung cấp MRI đa mô thức và yêu cầu xác định các vùng Whole Tumor (WT), Tumor Core (TC) và Enhancing Tumor (ET). Đây là bài toán 3D có sự mất cân bằng voxel lớn, hình dạng khối u rất đa dạng và ranh giới giữa các mô bệnh lý không đơn giản. Lưu ý học thuật quan trọng: U-KAN gốc được công bố cho nhiều benchmark phân đoạn ảnh y tế nhưng không báo cáo kết quả BraTS 2020. Một công trình sau đó đã mở rộng U-KAN sang 3D MRI brain tumor segmentation , nhưng đánh giá trên BraTS 2...

Tách từ trong tiếng Việt Word Segmentation

Tách từ tiếng Việt là bài toán xác định ranh giới giữa các từ trong một chuỗi văn bản. Khó khăn nằm ở chỗ khoảng trắng trong tiếng Việt thường phân cách các âm tiết , nhưng một từ hoàn chỉnh có thể gồm nhiều âm tiết như “sinh viên” , “đại học” , “công nghệ” hay “tự nhiên” . Tách từ đúng giúp các hệ thống NLP dựa trên từ biểu diễn văn bản hợp lý hơn, đặc biệt trong tìm kiếm, TF-IDF, phân loại văn bản, gán nhãn từ loại và một số mô hình ngôn ngữ tiếng Việt. Tuy nhiên, với các Transformer sử dụng tokenizer dưới mức từ như subword hoặc SentencePiece, tách từ thủ công không phải lúc nào cũng là bước bắt buộc . Việc có cần tách từ trước hay không phụ thuộc vào mô hình và pipeline cụ thể. Tóm tắt nội dung Khoảng trắng trong tiếng Việt không phải lúc nào cũng là ranh giới từ ; nhiều từ gồm hai hoặc nhiều âm tiết. Word segmentation và tokenization có liên quan nhưng không hoàn toàn đồng nghĩa. Ba hướng chính gồm dựa trên từ điển, mô hình thống kê và mô hình học sâu . Tron...

KAN là gì? Mạng Kolmogorov-Arnold khác MLP thế nào?

Kolmogorov-Arnold Network (KAN) là một kiến trúc mạng nơ-ron trong đó mỗi cạnh không chỉ chứa một trọng số vô hướng mà mang một hàm một biến có thể học được . Đây là khác biệt cốt lõi so với Multi-Layer Perceptron (MLP), nơi các cạnh chủ yếu thực hiện phép nhân với trọng số còn hàm kích hoạt thường được áp dụng tại các node. KAN được lấy cảm hứng từ định lý biểu diễn Kolmogorov-Arnold và đặc biệt đáng chú ý trong các bài toán xấp xỉ hàm, mô hình hóa khoa học và symbolic regression. Tuy nhiên, KAN không nên được hiểu là kiến trúc đã thay thế MLP trong mọi bài toán Deep Learning; khả năng biểu diễn, chi phí tính toán và mức độ phù hợp của hai kiến trúc khác nhau theo từng nhiệm vụ. Tóm tắt nội dung MLP học chủ yếu trọng số trên các cạnh , còn KAN đặt hàm một biến học được trên từng cạnh . Một KAN layer cộng kết quả của nhiều hàm cạnh để tạo activation của node tiếp theo. KAN gốc sử dụng B-spline để tham số hóa các hàm phi tuyến trên cạnh. KAN có lợi thế đáng chú ý về trực...