Unsupervised Learning là gì? Các kỹ thuật học không giám sát phổ biến

Doanh nghiệp có thể lưu rất nhiều giao dịch nhưng chưa biết khách hàng đang tạo thành những nhóm hành vi nào. Đọc từng dòng dữ liệu khó giúp nhận ra các cấu trúc nằm trong toàn bộ tập thông tin. Unsupervised Learning hỗ trợ khám phá những mối liên hệ ấy khi chưa có sẵn nhãn để hướng dẫn mô hình.

Tuy vậy, một nhóm do thuật toán tạo ra chưa chắc đã là phân khúc khách hàng có thể sử dụng ngay. Bạn vẫn cần hiểu cách dữ liệu được chuẩn bị và kiểm tra kết quả bằng kiến thức nghiệp vụ. Bài viết của Sansan Academy sẽ giúp bạn tiếp cận học không giám sát qua những kỹ thuật phổ biến cùng các tình huống ứng dụng cụ thể.

Unsupervised Learning là gì?

Unsupervised Learning (học không giám sát) là phương pháp học máy tìm cấu trúc hoặc quy luật trong dữ liệu mà không sử dụng nhãn đích đã biết để hướng dẫn việc học. Kết quả có thể là các cụm đối tượng tương đồng, cách biểu diễn dữ liệu gọn hơn hoặc những quan sát khác thường.

Nhãn đích là thông tin về kết quả muốn mô hình học cách xác định. Chẳng hạn, sau khi kiểm tra giao dịch, nhân viên có thể gắn nhãn gian lận hoặc hợp lệ cho từng trường hợp. Các nhãn này đóng vai trò kết quả tham chiếu trong bài toán có giám sát. Với bài toán khám phá không giám sát, mô hình tìm cấu trúc từ những đặc điểm được cung cấp mà không dựa vào các nhãn ấy để học.

Con người vẫn quyết định câu hỏi phân tích và lựa chọn dữ liệu cùng thuật toán phù hợp. Những cấu trúc tìm được cần được diễn giải và kiểm chứng trước khi dùng trong công việc.

Cách học không giám sát hoạt động

Quá trình thường bắt đầu từ một câu hỏi như khách hàng có những kiểu mua sắm nào hoặc giao dịch nào cần xem xét thêm. Từ câu hỏi đó, người phân tích chuẩn bị dữ liệu rồi lựa chọn cách tìm cấu trúc phù hợp.

Tiếp nhận dữ liệu chưa gắn nhãn

Dữ liệu đầu vào có thể là bảng giao dịch, văn bản hoặc thông tin đo từ thiết bị. Trong bảng khách hàng, mỗi dòng có thể đại diện cho một người. Những cột như tần suất mua và mức chi tiêu mô tả đặc điểm của người đó. Thuật toán sử dụng các đặc trưng này để tìm cấu trúc trong dữ liệu.

Chưa gắn nhãn không có nghĩa dữ liệu đã sẵn sàng đưa vào mô hình. Người thực hiện cần kiểm tra bản ghi trùng và giá trị thiếu cùng những sai lệch trong cách ghi nhận. Văn bản hoặc biến phân loại cũng cần được chuyển sang dạng biểu diễn mà thuật toán có thể xử lý.

Đơn vị quan sát phải được xác định nhất quán. Nếu đang phân nhóm khách hàng thì việc một người xuất hiện thành nhiều hồ sơ có thể làm lệch cấu trúc tìm được.

Tìm cấu trúc và quy luật trong dữ liệu

Mỗi kỹ thuật được thiết kế để tìm một dạng cấu trúc cụ thể. Đó có thể là nhóm đối tượng tương đồng hoặc những tập sản phẩm thường xuất hiện cùng nhau trong giao dịch.

Hai khách hàng có thể gần nhau về tổng chi tiêu nhưng khác xa về loại sản phẩm thường mua. Vì vậy, những đặc trưng và thước đo bạn chọn sẽ ảnh hưởng trực tiếp đến ý nghĩa của sự tương đồng mà mô hình tìm được.

Diễn giải và kiểm chứng kết quả

Sau khi chạy mô hình, người phân tích xem điểm chung trong từng nhóm hoặc kiểm tra các quan sát được đánh dấu bất thường. Một mã cụm do thuật toán tạo ra chưa tự mang ý nghĩa như khách hàng trung thành hay khách có nguy cơ rời bỏ.

Việc kiểm chứng có thể gồm đọc mẫu dữ liệu và nhờ người phụ trách nghiệp vụ xem xét. Nếu kết quả khó giải thích thì cần xem lại đặc trưng hay tham số đã dùng. Người phân tích cũng phải xác định kết quả có trả lời câu hỏi ban đầu hay không. Trước khi đưa vào vận hành, cần thống nhất cách sử dụng và theo dõi tác dụng thực tế.

Phân biệt học không giám sát và học có giám sát

Supervised Learning (học có giám sát) sử dụng dữ liệu có nhãn đích để học mối quan hệ giữa đầu vào và kết quả cần dự đoán. Hai hướng tiếp cận đáp ứng những loại câu hỏi khác nhau như bảng dưới đây.

Một quy trình có thể kết hợp cả hai hướng. Chẳng hạn, dữ liệu được giảm chiều trước khi đưa vào mô hình dự đoán và toàn bộ quy trình vẫn phải được đánh giá theo mục tiêu cuối cùng.

Các kỹ thuật học không giám sát phổ biến

Học không giám sát bao gồm nhiều kỹ thuật với đầu ra khác nhau. Bạn nên chọn theo câu hỏi cần giải quyết trước khi cân nhắc thuật toán cụ thể.

Phân cụm với K-means và DBSCAN

K-means chia dữ liệu thành số cụm được chọn trước và tìm tâm đại diện cho từng cụm. Thuật toán luân phiên gán điểm vào tâm gần nhất rồi cập nhật các tâm để giảm tổng bình phương khoảng cách trong cụm.

DBSCAN tìm những vùng có mật độ điểm cao rồi mở rộng chúng thành cụm. Người thực hiện lựa chọn bán kính lân cận cùng ngưỡng số điểm để xác định vùng đủ dày. Những điểm không thuộc cụm được đánh dấu là nhiễu theo cấu hình đang dùng.

Người thực hiện cần kiểm tra số cụm và cách khởi tạo khi dùng K-means hoặc các ngưỡng mật độ khi dùng DBSCAN. Dữ liệu cũng cần được chuẩn bị nhất quán để những phép đo khoảng cách có ý nghĩa.

Giảm chiều dữ liệu với PCA

PCA là viết tắt của Principal Component Analysis (phân tích thành phần chính). Phương pháp kết hợp các đặc trưng ban đầu thành những thành phần mới bằng phép biến đổi tuyến tính. Thành phần đầu tiên giữ lượng phương sai lớn nhất có thể. Những thành phần tiếp theo lần lượt giữ phần biến thiên còn lại và không tương quan tuyến tính với các thành phần đã chọn.

Bạn có thể giữ lại một số thành phần để tạo biểu diễn ít chiều hơn. Việc này hữu ích khi dữ liệu có nhiều biến tương quan hoặc khi muốn quan sát cấu trúc tổng quát. Tuy nhiên, các thành phần mới có thể khó diễn giải bằng ngôn ngữ nghiệp vụ.

Một phần biến thiên nhỏ vẫn có thể chứa tín hiệu quan trọng đối với mục tiêu kinh doanh. Do đó, người thực hiện phải kiểm tra cách xử lý thang đo và tác động của việc bỏ bớt thành phần.

Khai phá luật kết hợp với Apriori

Apriori tìm những tập mục xuất hiện đủ thường xuyên trong dữ liệu giao dịch. Từ các tập mục này, người phân tích tiếp tục tạo và sàng lọc luật kết hợp như khách mua sản phẩm A thường mua thêm sản phẩm B.

Support (độ hỗ trợ) cho biết tỷ lệ giao dịch chứa tập mục đang xét. Confidence (độ tin cậy) cho biết tỷ lệ có sản phẩm B trong những giao dịch đã có A. Lift (hệ số nâng) thể hiện mức đồng xuất hiện so với trường hợp hai sự kiện độc lập.

Giả sử có 100 giỏ hàng với 40 giỏ chứa cà phê và 25 giỏ chứa giấy lọc. Trong đó có 20 giỏ chứa cả hai sản phẩm. Luật từ cà phê đến giấy lọc có support 20%, confidence 50% và lift bằng 2. Đây là số liệu giả định để minh họa cách đọc các chỉ số.

Quan hệ đồng xuất hiện có thể chịu ảnh hưởng từ khuyến mại hoặc cách bố trí bán hàng nên chưa chứng minh việc mua A gây ra hành vi mua B. Trước khi gợi ý mua kèm, cần kiểm tra thêm tần suất xuất hiện và tính hợp lý của cặp sản phẩm.

Phát hiện bất thường với Isolation Forest

Isolation Forest tạo nhiều cây phân tách ngẫu nhiên để cô lập các quan sát. Những điểm dễ bị tách riêng qua ít lần chia thường nhận mức đánh giá bất thường cao hơn để phục vụ sàng lọc.

Trong giao dịch, đầu vào có thể gồm số tiền và tần suất thực hiện cùng những đặc trưng về thời điểm. Với dữ liệu thiết bị, người phân tích có thể xem nhiệt độ hoặc mức tiêu thụ năng lượng. Chất lượng phát hiện phụ thuộc việc các đặc trưng có thể hiện đúng hành vi cần theo dõi hay không.

Ngưỡng cảnh báo cần được lựa chọn theo dữ liệu và khả năng kiểm tra của đơn vị. Những trường hợp được ưu tiên vẫn cần được xác minh vì điểm số chưa cho biết nguyên nhân bất thường.

Ứng dụng của học không giám sát

Unsupervised Learning thường được áp dụng cho những bài toán cần khám phá cấu trúc hoặc sàng lọc dữ liệu chưa có nhãn đầy đủ. Giá trị sử dụng phụ thuộc vào cách doanh nghiệp chuyển kết quả phân tích thành một hành động có thể kiểm tra.

Phân nhóm khách hàng theo hành vi

Doanh nghiệp có thể phân cụm theo tần suất mua, mức chi tiêu và khoảng thời gian từ lần mua gần nhất. Người phân tích cần chọn cùng một kỳ quan sát để đặc điểm giữa các khách có thể đối chiếu. Sau khi phân cụm, nhóm phụ trách xem những đặc điểm nổi bật để đặt tên và mô tả phân khúc.

Kết quả có thể hỗ trợ lựa chọn nội dung chăm sóc hoặc tìm hiểu nhu cầu từng nhóm. Tuy nhiên, chỉ dựa vào hành vi mua hiện tại chưa đủ để xác định chắc chắn ai sẽ rời bỏ hoặc phản hồi tốt với một chiến dịch.

Nếu triển khai cách tiếp cận riêng cho từng nhóm, hãy theo dõi kết quả thực tế sau khi áp dụng. Sự khác biệt giữa các cụm chỉ có ý nghĩa sử dụng khi giúp doanh nghiệp đưa ra quyết định phù hợp hơn.

Phân tích giỏ hàng để gợi ý mua kèm

Từ lịch sử giao dịch, doanh nghiệp có thể tìm các nhóm sản phẩm thường được mua cùng nhau để xây dựng gợi ý hoặc xem xét cách trưng bày. Dữ liệu cần giữ đúng thông tin về từng giỏ hàng để tránh ghép các lần mua khác nhau thành một giao dịch.

Trước khi áp dụng, cần xem quan hệ có còn xuất hiện ngoài những đợt khuyến mại hay không. Một cặp sản phẩm được bán thành bộ có thể đạt chỉ số cao vì chính sách bán hàng đang có. Khi thử gợi ý mới, nên theo dõi cả lợi nhuận và trải nghiệm mua thay vì chỉ nhìn số lượt thêm sản phẩm.

Nhóm văn bản theo chủ đề

Phản hồi khách hàng hoặc yêu cầu hỗ trợ có thể được chuyển thành những vector biểu diễn nội dung rồi phân cụm để khoanh vùng vấn đề. Người phân tích đọc các văn bản đại diện để xác nhận chủ đề và đặt tên phù hợp.

Chất lượng biểu diễn cần phù hợp với tiếng Việt và lĩnh vực đang phân tích. Từ viết tắt hoặc cách diễn đạt chuyên ngành có thể làm những nội dung giống nhau bị tách xa. Bạn cần xem các trường hợp này khi kiểm tra nhóm. Một văn bản chứa nhiều vấn đề cũng có thể khó được mô tả đầy đủ bằng một nhãn cụm duy nhất.

Phát hiện bất thường trong giao dịch và vận hành

Mô hình có thể giúp ưu tiên những giao dịch hoặc trạng thái thiết bị khác biệt để nhân sự xem xét. Bài toán này hữu ích khi số trường hợp cần theo dõi lớn và những sự kiện đáng chú ý xuất hiện ít. Đơn vị triển khai vẫn phải xác định loại bất thường nào có ý nghĩa với hoạt động của mình.

Một giao dịch lớn có thể hoàn toàn hợp lệ còn một kiểu gian lận lặp lại nhiều lần có thể không còn nổi bật về mặt thống kê. Những cảnh báo đã được xử lý cần được ghi nhận để đánh giá mô hình có đang ưu tiên đúng các trường hợp cần kiểm tra hay không.

Ưu điểm của học không giám sát

Học không giám sát mở thêm cách khai thác dữ liệu khi chưa có bộ nhãn phục vụ một mục tiêu dự đoán cụ thể. Những ưu điểm dưới đây cần được xem cùng chi phí chuẩn bị và kiểm chứng kết quả.

Giảm nhu cầu gắn nhãn dữ liệu

Với bài toán phân cụm, doanh nghiệp không cần xác định trước phân khúc đúng cho từng khách hàng rồi mới bắt đầu học. Công việc chuẩn bị tập trung vào làm sạch dữ liệu và chọn những đặc trưng có ý nghĩa.

Nghiên cứu DeepCluster được công bố tại ECCV năm 2018 kết hợp việc học đặc trưng hình ảnh với phân cụm. Phương pháp lặp lại việc nhóm đặc trưng bằng K-means rồi dùng kết quả phân nhóm để cập nhật mạng, thay cho nhãn lớp do con người cung cấp trong bước huấn luyện đó. Đây là một ví dụ về cách tận dụng cấu trúc dữ liệu để học biểu diễn.

Giảm nhu cầu gắn nhãn không tự xác định mức tiết kiệm của toàn dự án. Chi phí tính toán và công sức diễn giải vẫn phải được tính khi lựa chọn phương án.

Khám phá những nhóm và quy luật chưa biết

Khi chưa có danh mục nhóm rõ ràng, phân tích không giám sát giúp tìm những kiểu mua sắm hoặc quan hệ giữa sản phẩm chưa được chú ý. Các kết quả tạo hướng để kiểm tra sâu hơn bằng kiến thức nghiệp vụ.

Trong nghiên cứu về khai phá luật kết hợp năm 1993, Rakesh Agrawal cùng cộng sự trình bày phương pháp tìm các luật giữa những mặt hàng trong cơ sở dữ liệu giao dịch. Nhóm tác giả cũng báo cáo việc áp dụng thuật toán trên dữ liệu bán hàng của một doanh nghiệp bán lẻ lớn.

Một cấu trúc mới tìm được có thể phản ánh hành vi thực hoặc cách dữ liệu được thu thập. Bạn cần kiểm tra khả năng giải thích và tính ổn định trước khi xem đó là hiểu biết có thể sử dụng lâu dài.

Hỗ trợ phân tích và chuẩn bị dữ liệu

Giảm chiều giúp tạo biểu diễn gọn hơn khi tập dữ liệu có nhiều đặc trưng. Kết quả có thể phục vụ việc quan sát hoặc làm đầu vào cho bước xử lý tiếp theo, tùy lượng thông tin giữ lại và mục tiêu của quy trình.

Tài liệu scikit-learn hướng dẫn sử dụng bước giảm chiều không giám sát trước mô hình có giám sát khi số đặc trưng lớn. Hai bước có thể được kết nối trong cùng một quy trình xử lý. Hướng dẫn này cho thấy học không giám sát còn hỗ trợ chuẩn bị dữ liệu cho những nhiệm vụ dự đoán khác.

Khi đánh giá một mô hình dự đoán, bước chuẩn hóa và giảm chiều phải được học từ phần dữ liệu huấn luyện tương ứng để hạn chế rò rỉ dữ liệu. Nếu dùng thông tin của tập kiểm tra để điều chỉnh trước toàn bộ dữ liệu thì kết quả đánh giá có thể lạc quan quá mức.

Cách đánh giá kết quả học không giám sát

Không có nhãn đích sẵn khiến việc đánh giá phải dựa vào nhiều căn cứ hơn một tỷ lệ đúng chung. Bạn cần xem chỉ số kỹ thuật cùng độ ổn định và giá trị sử dụng của kết quả.

Chọn chỉ số phù hợp với từng kỹ thuật

Với phân cụm, Silhouette giúp xem mức độ gần nhau trong cụm và sự tách biệt với cụm lân cận. Chỉ số cần ít nhất hai cụm và không áp dụng khi mỗi quan sát là một cụm riêng. Với DBSCAN, phải làm rõ cách xử lý các điểm nhiễu khi tính và diễn giải chỉ số. Một điểm số cao chưa tự xác nhận các nhóm có giá trị kinh doanh.

Với PCA, có thể theo dõi tỷ lệ phương sai được giải thích và mức sai lệch khi tái tạo dữ liệu từ số thành phần đã giữ. Nếu PCA phục vụ một bước dự đoán thì cần đánh giá thêm kết quả ở bước đó vì thông tin có phương sai nhỏ vẫn có thể quan trọng.

Với luật kết hợp, cần đọc support cùng confidence và lift để tránh chọn luật chỉ vì sản phẩm vốn đã phổ biến. Với phát hiện bất thường, có thể lấy mẫu cảnh báo để xác minh và theo dõi tỷ lệ trường hợp thực sự cần xử lý. Nếu có một tập nhãn đáng tin cậy phục vụ đánh giá thì có thể dùng thêm chỉ số phù hợp trên tập đó.

Kiểm tra độ ổn định của kết quả

Chạy lại mô hình với những lần khởi tạo hoặc mẫu dữ liệu khác nhau giúp nhận diện kết quả quá nhạy với một lựa chọn ban đầu. Khi đối chiếu phân cụm, hãy xem thành viên và đặc điểm nhóm vì số hiệu cụm có thể đổi dù cấu trúc không đổi.

Bạn cũng nên thử những cấu hình lân cận để biết mức độ phụ thuộc vào tham số. Nếu chỉ một giá trị rất hẹp tạo được kết quả dễ diễn giải thì cần kiểm tra thêm. Kết quả ổn định giúp tăng căn cứ để tiếp tục phân tích. Tuy nhiên, một cấu trúc ổn định vẫn có thể chỉ phản ánh lỗi thu thập dữ liệu.

Đối với dữ liệu theo thời gian, hãy xem mô hình hoạt động ra sao ở một giai đoạn khác. Biến động mùa vụ hoặc thay đổi cách ghi nhận có thể làm cấu trúc dịch chuyển dù hành vi nền tảng chưa đổi.

Đối chiếu với kiến thức nghiệp vụ

Người phụ trách nghiệp vụ cần xem các bản ghi đại diện và những trường hợp ở ranh giới nhóm. Họ có thể nhận ra một cụm hình thành do cách nhập dữ liệu hoặc một thay đổi trong chính sách bán hàng.

Hãy xác định quyết định nào sẽ thay đổi nếu sử dụng kết quả phân tích như cách chăm sóc một nhóm khách hàng. Khi triển khai thử, cần theo dõi kết quả để biết việc dùng các nhóm có mang lại lợi ích hay không.

Hạn chế và lưu ý khi áp dụng

Thuật toán luôn tìm cấu trúc theo dữ liệu và tiêu chí đã được cung cấp. Những giới hạn dưới đây cần được xem xét trước khi đưa kết quả vào quyết định thực tế.

Kết quả phụ thuộc vào đặc trưng và thang đo

Trong những phương pháp dựa vào khoảng cách như K-means, một đặc trưng có độ lớn số học cao có thể chi phối kết quả. Nếu tổng chi tiêu được ghi bằng đồng còn số lần mua chỉ là vài đơn vị thì cần xem cách chuẩn hóa phù hợp. Không nên mặc định mọi cột số đều có thể đưa trực tiếp vào cùng một phép đo.

Dữ liệu về chi tiêu chưa đủ mô tả sở thích sản phẩm hoặc mức hài lòng của khách. Người phân tích phải chọn thông tin phù hợp với câu hỏi để mô hình có thể nhận diện những khác biệt cần quan tâm.

Các cụm dữ liệu chưa chắc có ý nghĩa thực tế

Thuật toán có thể tạo ra những nhóm phân tách về mặt tính toán nhưng khó sử dụng trong nghiệp vụ. Một cụm có thể chỉ gom những hồ sơ thiếu dữ liệu hoặc bản ghi từ cùng một hệ thống nguồn. Nếu đặt tên vội, doanh nghiệp có thể nhầm lỗi dữ liệu thành một phân khúc đáng quan tâm.

Hãy kiểm tra quy mô và đặc điểm nổi bật cùng những trường hợp đại diện của từng nhóm. Nếu không thể giải thích các nhóm sẽ hỗ trợ hành động nào thì cần xem lại mục tiêu phân tích trước khi đưa vào sử dụng.

Điểm bất thường chưa đủ để kết luận gian lận

Một giao dịch mới hoặc một thay đổi hợp lệ trong hoạt động vẫn có thể nhận điểm bất thường cao. Trong khi đó, hành vi gian lận có thể không nổi bật nếu giống nhiều quan sát khác trong dữ liệu.

Đơn vị triển khai cần có bước xác minh trước khi kết luận về khách hàng hoặc nguyên nhân sự cố. Kết quả kiểm tra phải được lưu lại để theo dõi cảnh báo sai và điều chỉnh ngưỡng khi cần.

Không có nhãn vẫn cần con người kiểm chứng

Việc chưa sử dụng nhãn đích không làm mất trách nhiệm chọn dữ liệu và kiểm tra chất lượng. Người thực hiện cần biết thông tin được thu thập từ đâu và có phù hợp với phạm vi phân tích hay không. Các quyền truy cập và cách sử dụng dữ liệu khách hàng cũng phải được xác định rõ.

Một kết quả từng hữu ích có thể không còn phù hợp khi dữ liệu đầu vào hoặc quy trình kinh doanh thay đổi. Doanh nghiệp nên phân công người theo dõi và quyết định khi nào phải cập nhật mô hình.

Kết luận

Unsupervised Learning giúp khám phá cấu trúc trong dữ liệu khi chưa có nhãn đích để hướng dẫn việc học. Phân cụm, giảm chiều, khai phá luật kết hợp và phát hiện bất thường phục vụ những câu hỏi khác nhau nên cần được lựa chọn theo mục tiêu cụ thể.

Bạn có thể bắt đầu từ một tập dữ liệu có phạm vi rõ rồi thử kỹ thuật phù hợp. Hãy đánh giá chỉ số kỹ thuật cùng những trường hợp thực tế và kết quả sử dụng sau khi triển khai. Cấu trúc do mô hình tìm thấy chỉ trở thành thông tin có ích khi được diễn giải và kiểm chứng đúng cách.