Data Warehouse là gì? Những đặc điểm kỹ thuật của DW

Báo cáo doanh thu có thể cho ra những con số khác nhau khi bộ phận kinh doanh và kế toán lấy dữ liệu từ các hệ thống riêng. Data Warehouse giúp tổ chức dữ liệu theo những quy tắc chung để việc tổng hợp và phân tích có căn cứ nhất quán.

Để hiểu một kho dữ liệu hoạt động ra sao, cần xem dữ liệu đi từ nguồn đến báo cáo như thế nào. Bài viết của Sansan Academy sẽ giải thích các thành phần, mô hình tổ chức và ứng dụng của Data Warehouse cùng những vấn đề cần cân nhắc khi triển khai.

Data Warehouse là gì?

Data Warehouse (kho dữ liệu và thường viết tắt là DWH hoặc DW) là hệ thống tích hợp, tổ chức và lưu trữ dữ liệu để phục vụ truy vấn phân tích, báo cáo và hỗ trợ ra quyết định. Dữ liệu thường được tập hợp từ nhiều hệ thống nghiệp vụ rồi chuẩn hóa theo các quy tắc và chủ đề đã thống nhất.

Kho dữ liệu có thể tổ chức thông tin theo những chủ đề như bán hàng, khách hàng hoặc tài chính để người sử dụng khai thác. Khi phục vụ phạm vi toàn doanh nghiệp, hệ thống thường được gọi là Enterprise Data Warehouse, viết tắt là EDW.

Doanh nghiệp có thể triển khai kho dữ liệu trên hạ tầng tại chỗ, sử dụng dịch vụ đám mây hoặc kết hợp hai cách này. Cách triển khai cần phù hợp với yêu cầu khai thác, nguồn lực vận hành và điều kiện quản lý dữ liệu của đơn vị.

Những đặc điểm kỹ thuật của Data Warehouse

Data Warehouse được thiết kế để dữ liệu có thể tổng hợp và đọc trong một bối cảnh phân tích rõ ràng. Những đặc điểm về tích hợp, lịch sử và xử lý truy vấn giúp hệ thống đáp ứng các nhu cầu đó.

Tích hợp dữ liệu từ nhiều nguồn theo cấu trúc thống nhất

Dữ liệu đầu vào có thể đến từ phần mềm bán hàng, kế toán, quản lý khách hàng hoặc những tệp nghiệp vụ. Trước khi được sử dụng chung, dữ liệu cần được đối chiếu về mã định danh, đơn vị đo và cách ghi nhận thông tin. Nếu hai hệ thống dùng mã khác nhau cho cùng một sản phẩm, kho dữ liệu cần có quy tắc ánh xạ để nhận diện đúng đối tượng đó.

Sự thống nhất còn liên quan đến ý nghĩa của chỉ tiêu. Một báo cáo có thể tính doanh thu theo ngày đặt hàng còn báo cáo khác dựa vào ngày hoàn tất giao hàng. Nhóm triển khai phải xác định rõ cách tính phục vụ từng mục đích và ghi lại quy tắc để người sử dụng hiểu kết quả.

Lưu dữ liệu lịch sử để phân tích theo thời gian

Dữ liệu lịch sử giúp người dùng xem lại hoạt động trong những giai đoạn khác nhau và nhận diện thay đổi theo thời gian. Muốn phân tích chính xác, hệ thống cần lưu được thời điểm phát sinh cùng những thuộc tính có ảnh hưởng đến cách diễn giải kết quả.

Ví dụ, một khách hàng chuyển từ nhóm bán lẻ sang nhóm doanh nghiệp có thể làm thay đổi cách phân loại doanh thu. Nếu cần xem kết quả theo nhóm khách hàng tại lúc giao dịch diễn ra, kho dữ liệu phải có cách ghi nhận phiên bản thông tin tương ứng.

Dữ liệu vẫn có thể được bổ sung hoặc điều chỉnh theo quy trình quản lý. Điều quan trọng là biết bản ghi nào thay đổi, lý do điều chỉnh và báo cáo lịch sử sẽ sử dụng dữ liệu theo quy tắc nào.

Tối ưu cho truy vấn phân tích thay vì xử lý giao dịch hằng ngày

Truy vấn phân tích thường đọc nhiều bản ghi để tổng hợp theo thời gian, sản phẩm hoặc nhóm khách hàng. Data Warehouse được tổ chức để hỗ trợ việc kết hợp dữ liệu và tính chỉ tiêu trên phạm vi lớn. Một số hệ thống sử dụng lưu trữ theo cột, phân vùng hoặc xử lý song song để đáp ứng nhu cầu này.

Hiệu quả phụ thuộc vào nền tảng và cách thiết kế nên cần đánh giá với truy vấn thực tế của doanh nghiệp. Việc phân bổ truy vấn báo cáo sang môi trường phù hợp cũng giúp quản lý tải cho toàn hệ thống. Nhóm vận hành có thể theo dõi riêng nhu cầu phân tích và nhu cầu xử lý nghiệp vụ để bố trí tài nguyên.

Các thành phần trong kiến trúc Data Warehouse

Kiến trúc Data Warehouse mô tả cách dữ liệu được thu nhận, xử lý và cung cấp cho người khai thác. Các thành phần cần được kết nối bằng quy tắc dữ liệu và cơ chế giám sát để có thể phát hiện lỗi trên toàn bộ quá trình.

Hệ thống nguồn cung cấp dữ liệu đầu vào

Hệ thống nguồn là nơi tạo ra hoặc quản lý dữ liệu cần đưa vào phân tích. Trong doanh nghiệp bán lẻ, nguồn có thể gồm hệ thống đơn hàng, phần mềm kế toán và ứng dụng quản lý khách hàng. Mỗi nguồn cần được xác định rõ người phụ trách cùng phạm vi thông tin được phép khai thác.

Nhóm triển khai phải biết dữ liệu được cập nhật khi nào và cách nhận diện những giao dịch mới, bị sửa hoặc hủy. Tài liệu mô tả dữ liệu, còn gọi là metadata, giúp lưu lại ý nghĩa của các trường và quan hệ giữa chúng. Khi nguồn thay đổi cấu trúc, thông tin này hỗ trợ việc kiểm tra những báo cáo hoặc bảng dữ liệu có thể bị ảnh hưởng.

Quy trình ETL hoặc ELT làm sạch và nạp dữ liệu

ETL là viết tắt của Extract, Transform, Load, gồm trích xuất, biến đổi rồi nạp dữ liệu vào nơi lưu trữ đích. Các bước biến đổi có thể bao gồm chuẩn hóa kiểu dữ liệu, xử lý trùng lặp và áp dụng quy tắc tính toán nghiệp vụ.

ELT là Extract, Load, Transform, trong đó dữ liệu được nạp vào hệ thống đích trước rồi tiếp tục biến đổi tại đó. Việc lựa chọn cách tổ chức phụ thuộc vào khả năng của nền tảng, loại dữ liệu và yêu cầu vận hành của doanh nghiệp.

Với cả hai cách, dữ liệu cần được kiểm tra trước khi công bố cho người sử dụng. Nếu một lần nạp bị gián đoạn, hệ thống cũng cần biết phần nào đã hoàn tất để khi chạy lại không tạo thêm những bản ghi trùng.

Kho lưu trữ tổ chức dữ liệu phục vụ phân tích

Kho lưu trữ tổ chức dữ liệu theo những cấu trúc phù hợp với nhu cầu khai thác. Tùy kiến trúc, hệ thống có thể có khu vực tiếp nhận dữ liệu ban đầu và những lớp dữ liệu đã được chuẩn hóa để phục vụ báo cáo.

Trong phạm vi hẹp hơn, Data Mart là kho hoặc tập dữ liệu được tổ chức cho một bộ phận hay chủ đề cụ thể như bán hàng hoặc tài chính. Các Data Mart có thể nhận dữ liệu từ kho chung hoặc những nguồn được thiết kế riêng theo yêu cầu sử dụng.

Khi xây dựng nhiều Data Mart, doanh nghiệp cần giữ thống nhất những định nghĩa được dùng chung. Mã sản phẩm và cách tính doanh thu cần được quản lý rõ để các bộ phận có thể đối chiếu kết quả khi cần tổng hợp toàn doanh nghiệp.

Công cụ truy vấn và BI khai thác dữ liệu đã xử lý

Người phân tích có thể sử dụng SQL để truy vấn dữ liệu hoặc khai thác qua công cụ BI, viết tắt của Business Intelligence. Những công cụ này hỗ trợ xây dựng báo cáo, dashboard và các màn hình theo dõi chỉ tiêu. Giữa dữ liệu lưu trữ và báo cáo có thể có một lớp mô hình định nghĩa quan hệ cùng các phép tính dùng chung.

Nhờ lớp mô hình đó, nhiều báo cáo có thể sử dụng cùng cách tính một chỉ tiêu mà không phải tự thiết lập lại ở từng nơi. Kết quả hiển thị cần đi kèm thời điểm cập nhật và phạm vi dữ liệu. Người đọc phải biết mình đang xem số liệu của đơn vị nào và dữ liệu đã được xử lý đến thời điểm nào để sử dụng đúng bối cảnh.

Khóa học AI

Hiểu cách chọn bài toán, thiết kế quy trình và dùng AI có kiểm soát trong công việc hằng ngày.

Xem khóa học

Mô hình tổ chức dữ liệu trong Data Warehouse

Mô hình dữ liệu xác định những đối tượng được lưu và cách chúng liên kết để trả lời câu hỏi phân tích. Với mô hình chiều, hai thành phần thường gặp là bảng dữ kiện và bảng chiều, được thiết kế theo mức chi tiết cần khai thác.

Bảng dữ kiện lưu các chỉ số cần phân tích

Bảng dữ kiện (Fact Table) lưu các phép đo gắn với sự kiện hoặc trạng thái nghiệp vụ. Trong ví dụ bán hàng, mỗi dòng có thể đại diện cho một sản phẩm trong một đơn hàng và chứa số lượng cùng giá trị bán của dòng đó.

Trước khi thiết kế, cần thống nhất mỗi dòng đại diện cho điều gì, thường gọi là mức chi tiết của dữ liệu (grain). Nếu trộn tổng tiền của cả đơn hàng vào từng dòng sản phẩm rồi cộng lại, báo cáo có thể ghi nhận doanh thu nhiều lần.

Cách tổng hợp cũng cần phù hợp với ý nghĩa của phép đo. Giá trị bán có thể được cộng trong phạm vi tiền tệ thống nhất, còn tỷ lệ phần trăm và số dư tại nhiều thời điểm cần có quy tắc tính riêng để tránh kết quả gây hiểu nhầm.

Bảng chiều cung cấp bối cảnh như thời gian, sản phẩm và khách hàng

Bảng chiều (Dimension Table) mô tả những đối tượng giúp người dùng lọc và phân nhóm dữ liệu. Bảng chiều sản phẩm có thể chứa tên hàng và nhóm hàng, còn bảng chiều thời gian cung cấp thông tin về ngày, tháng và năm. Bảng dữ kiện liên kết với các bảng chiều thông qua những khóa phù hợp để khai thác bối cảnh đó.

Từ cùng một tập dữ liệu sự kiện, người dùng có thể xem giá trị bán theo tháng hoặc theo nhóm sản phẩm. Với những thuộc tính cần theo dõi lịch sử, bảng chiều có thể lưu các phiên bản cùng thời gian hiệu lực. Cách nối dữ liệu phải lựa chọn đúng phiên bản để phản ánh bối cảnh tại thời điểm cần phân tích.

Mô hình hình sao và mô hình bông tuyết

Mô hình hình sao và mô hình bông tuyết là hai cách tổ chức quan hệ giữa bảng dữ kiện với các bảng chiều. Lựa chọn mô hình cần dựa trên cấu trúc dữ liệu và cách người dùng sẽ truy vấn, đồng thời được kiểm tra trên nền tảng thực tế.

Một hệ thống có thể sử dụng những cách tổ chức khác nhau cho từng phần dữ liệu. Nhóm thiết kế nên thử với những câu hỏi báo cáo thường dùng để đánh giá khả năng đọc hiểu và hiệu quả truy vấn trước khi áp dụng rộng.

Phân biệt Data Warehouse với các hệ thống dữ liệu liên quan

Data Warehouse có thể được xây dựng trên công nghệ cơ sở dữ liệu và phối hợp với nhiều hệ thống lưu trữ khác. Để hiểu ranh giới sử dụng, cần xem nhiệm vụ mà từng thành phần đảm nhận trong dòng dữ liệu của doanh nghiệp.

Cơ sở dữ liệu giao dịch ưu tiên ghi và cập nhật dữ liệu

Cơ sở dữ liệu phục vụ xử lý giao dịch trực tuyến, thường gắn với thuật ngữ OLTP, hỗ trợ những nghiệp vụ đang diễn ra. Các thao tác có thể gồm tạo đơn hàng, ghi nhận thanh toán hoặc cập nhật thông tin khách hàng.

Hệ thống cần bảo đảm dữ liệu được ghi nhận đúng và đáp ứng nhiều yêu cầu nghiệp vụ đồng thời. Dữ liệu phát sinh tại đây có thể được chuyển sang môi trường phân tích theo lịch hoặc cơ chế đồng bộ được thiết kế.

Khi đặt câu hỏi Data Warehouse khác gì database, cần hiểu database là khái niệm rộng về cơ sở dữ liệu. Một hệ quản trị cơ sở dữ liệu có thể được sử dụng để xây dựng kho dữ liệu nếu được thiết kế và vận hành phù hợp với mục đích phân tích.

Data Lake lưu dữ liệu ở nhiều định dạng trước khi khai thác

Data Lake, hay hồ dữ liệu, có thể tập hợp dữ liệu ở nhiều định dạng như bảng, nhật ký hệ thống, tệp văn bản và hình ảnh. Những dữ liệu này có thể được lưu theo các lớp xử lý để phục vụ nhiều nhu cầu khai thác khác nhau.

Khi kết nối Data Warehouse và Data Lake, doanh nghiệp có thể lấy những dữ liệu cần cho báo cáo từ hồ dữ liệu rồi chuẩn hóa theo mô hình phân tích. Việc khai thác vẫn cần danh mục dữ liệu, quyền truy cập và kiểm soát chất lượng để người dùng biết tài nguyên nào phù hợp với nhiệm vụ.

ODS cung cấp dữ liệu vận hành được cập nhật thường xuyên

ODS là viết tắt của Operational Data Store, thường được dùng để tích hợp dữ liệu phục vụ những nhu cầu theo dõi vận hành gần hiện tại. Một đơn vị có thể sử dụng ODS để xem trạng thái đơn hàng và thanh toán từ nhiều hệ thống tại cùng một nơi. Dữ liệu sau đó có thể tiếp tục được cung cấp cho kho phân tích theo kiến trúc đã lựa chọn.

Tần suất đồng bộ và thời gian lưu giữ phải được xác định theo yêu cầu sử dụng. Chẳng hạn, dữ liệu cần đủ mới để nhân viên nhận ra đơn hàng đang chờ xử lý. Tên gọi ODS tự nó chưa cho biết hệ thống đáp ứng được độ trễ nào hoặc lưu được bao nhiêu lịch sử.

Ứng dụng của Data Warehouse trong hệ thống phân tích

Kho dữ liệu tạo nền tảng để những nguồn thông tin riêng lẻ được khai thác theo quy tắc chung. Các ứng dụng có thể bắt đầu từ báo cáo quản trị rồi mở rộng sang phân tích hành vi và chuẩn bị dữ liệu cho mô hình dự đoán.

Cung cấp dữ liệu nhất quán cho báo cáo và dashboard

Khi các báo cáo cùng khai thác một tập dữ liệu đã được chuẩn hóa, việc đối chiếu chỉ tiêu giữa những bộ phận sẽ thuận tiện hơn. Nhóm sử dụng có thể tập trung tìm nguyên nhân biến động thay vì mất nhiều thời gian xác định mỗi bên đã lấy số liệu từ đâu.

Trong thông tin giới thiệu dự án tại Sonadezi, FPT IS nêu việc xây dựng kho dữ liệu cùng hệ thống báo cáo gồm 47 dashboard và 64 biểu mẫu đầu ra. Trường hợp này minh họa cách kho dữ liệu được đặt trong một hệ thống phục vụ nhiều nhu cầu báo cáo của doanh nghiệp.

Sự nhất quán còn phụ thuộc vào cách định nghĩa chỉ tiêu và phạm vi phân quyền. Cùng một tên doanh thu nhưng khác thời điểm ghi nhận hoặc điều kiện lọc vẫn có thể tạo ra những kết quả khác nhau trên dashboard.

Phân tích xu hướng từ dữ liệu lịch sử và nhiều nguồn

Dữ liệu được lưu theo thời gian giúp người phân tích theo dõi thay đổi của doanh thu, nhu cầu hoặc hành vi khách hàng. Khi kết hợp thêm thông tin sản phẩm và kênh bán, doanh nghiệp có thể tìm hiểu biến động đang tập trung ở nhóm nào để tiếp tục kiểm tra nguyên nhân.

Theo nghiên cứu tình huống của Google Cloud, VeXeRe xuất dữ liệu sự kiện từ Google Analytics 4 vào BigQuery để phân tích hành vi và trải nghiệm khách hàng.

Khi đọc xu hướng, cần giữ nhất quán cách tính và phạm vi dữ liệu giữa các kỳ. Những thay đổi về danh mục sản phẩm hoặc thời gian ghi nhận cần được kiểm tra trước khi kết luận hoạt động đã tăng trưởng hay suy giảm.

Chuẩn bị dữ liệu cho một số bài toán học máy và AI

Data Warehouse có thể cung cấp những dữ liệu đã được tổ chức cho bài toán dự báo nhu cầu, phân nhóm khách hàng hoặc đánh giá rủi ro. Nhóm phát triển mô hình cần lựa chọn các biến phù hợp và kiểm tra dữ liệu có phản ánh đúng thời điểm dự đoán hay không.

Trong nghiên cứu tình huống về Cake, Google Cloud mô tả việc sử dụng BigQuery cùng Vertex AI để hỗ trợ đội ngũ khoa học dữ liệu xây dựng các mô hình. Tài liệu ghi nhận 50 mô hình AI được phát triển nội bộ trong trường hợp được giới thiệu, cho thấy kho dữ liệu có thể tham gia vào một kiến trúc AI rộng hơn.

Với dữ liệu lịch sử, phải tránh đưa thông tin chỉ xuất hiện sau thời điểm cần dự đoán vào tập huấn luyện. Việc này giúp hạn chế rò rỉ thông tin khiến kết quả thử nghiệm có vẻ tốt nhưng không phản ánh đúng khả năng sử dụng thực tế.

Những vấn đề cần cân nhắc khi triển khai Data Warehouse

Xây dựng kho dữ liệu Data Warehouse cần bắt đầu từ câu hỏi phân tích và mức độ tin cậy mà người dùng mong muốn. Những yêu cầu đó sẽ ảnh hưởng đến cách lấy dữ liệu, thiết kế mô hình và bố trí nguồn lực vận hành.

Chất lượng dữ liệu và cách đồng bộ từ hệ thống nguồn

Nhóm triển khai cần thống nhất cách kiểm tra bản ghi trùng, trường bị thiếu và những giá trị không hợp lệ. Khi gặp dữ liệu chưa đáp ứng yêu cầu, phải có người chịu trách nhiệm xác minh thay vì để lỗi tự đi qua các lớp xử lý.

Đồng bộ cũng cần theo dõi những bản ghi bị cập nhật hoặc xóa tại nguồn. Có thể sử dụng nạp tăng dần hoặc cơ chế ghi nhận thay đổi dữ liệu, thường gọi là CDC, tùy khả năng của hệ thống và yêu cầu bảo đảm đầy đủ thông tin.

Sau mỗi lần nạp, nên đối chiếu số lượng bản ghi và một số tổng kiểm tra quan trọng. Việc lưu nguồn gốc cùng quá trình biến đổi dữ liệu giúp nhóm vận hành truy lại nguyên nhân khi báo cáo xuất hiện sai lệch.

Tần suất cập nhật, tốc độ truy vấn và khả năng mở rộng

Tần suất cập nhật cần xuất phát từ thời điểm người dùng phải đưa ra quyết định. Báo cáo tổng hợp cuối ngày và màn hình theo dõi trong ca cần được xác định mức độ cập nhật phù hợp với mục đích sử dụng. Trong khi đó, tốc độ truy vấn còn chịu ảnh hưởng của số người dùng đồng thời và cách mô hình dữ liệu được thiết kế.

Trước khi mở rộng, nên thử những báo cáo quan trọng với khối lượng dữ liệu và mức tải gần với thực tế. Các giải pháp như phân vùng, tổng hợp trước hoặc điều chỉnh tài nguyên tính toán cần được lựa chọn theo điểm đang gây chậm. Việc theo dõi đồng thời tốc độ và chi phí giúp doanh nghiệp đánh giá hiệu quả của mỗi thay đổi.

Chi phí lưu trữ, phân quyền và bảo vệ dữ liệu

Tổng chi phí gồm hạ tầng, tài nguyên tính toán và công sức xây dựng, duy trì các luồng dữ liệu. Với một số dịch vụ đám mây, khối lượng truy vấn và việc di chuyển dữ liệu cũng ảnh hưởng đến khoản chi trong quá trình sử dụng.

Phân quyền nên gắn với nhiệm vụ và mức độ nhạy cảm của dữ liệu. Nhân viên có thể cần xem kết quả tổng hợp nhưng không cần truy cập toàn bộ thông tin nhận diện khách hàng hoặc dữ liệu cá nhân chi tiết.

Doanh nghiệp cũng cần xác định thời gian lưu giữ, cách sao lưu và phương án khôi phục. Những yêu cầu bảo vệ dữ liệu phải được tính từ lúc thiết kế để tránh thu thập quá mức hoặc mở rộng quyền truy cập ngoài mục đích sử dụng.

Kết luận

Data Warehouse giúp tích hợp và tổ chức dữ liệu để phục vụ báo cáo, phân tích và một số ứng dụng AI. Chất lượng khai thác phụ thuộc vào cách thống nhất định nghĩa nghiệp vụ, thiết kế mô hình và duy trì dữ liệu theo thời gian.

Khi bắt đầu triển khai, hãy lựa chọn những câu hỏi phân tích có giá trị và xác định rõ dữ liệu cần có để trả lời. Một phạm vi được kiểm chứng tốt sẽ tạo cơ sở mở rộng hệ thống theo nhu cầu thực tế của doanh nghiệp.