Giới Thiệu Google Cloud Data Lakehouse

Giới Thiệu Google Cloud Data Lakehouse

Doanh nghiệp luôn tìm kiếm các giải pháp lưu trữ phù hợp với các yều cầu về khối lượng, độ trễ, khả năng phục hồi và quyền truy cập của big data. Đa phần các tổ chức thường sử dụng Data Warehouse hay Data Lake cho từng mục tiêu lưu trữ của mình tuy nhiên việc này khiến phần lớn doanh nghiệp có khả năng tăng thêm chi phí lưu trữ. Vì vậy Google Cloud đã cho ra mắt giải pháp Data Lakehouse nhằm giải quyết các khó khăn của doanh nghiệp. hãy cùng Cloud Ace tìm hiểu nhé.

Là một kiến trúc quản lý dữ liệu mở kết hợp với các thế mạnh giữa data lake (kho lưu trữ dữ liệu thô ban đầu ) và data warehouse ( kho lưu trữ dữ liệu lịch sử đã được cấu trúc).

Data Lakehouse cho phép các doanh nghiệp lưu trữ lượng lớn dữ liệu thô với chi phí thấp đồng thời cung cấp các chức năng quản lý và giao dịch AICD, kích hoạt business intelligence (BI) và machine learning (ML) trên tất cả dữ liệu.

Mục tiêu: Lưu trữ cho mục tiêu phân tích quyết định kinh doanh.

Nhiệm vụ: Cung cấp các quyền truy cập nhanh vào dữ liệu, thường các truy vấn dùng để tổng hợp và tóm tắt dữ liệu.

Kích cỡ: Chỉ lưu trữ dữ liệu liên quan đến phân tích.

Hạn chế: Tính linh hoạt của việc truy cập dữ liệu và có thể tăng chi phí nếu dữ liệu cần được di chuyển để sử dụng trong tương lai.

Mục tiêu: Lưu trữ tất cả dữ liệu của doanh nghiệp dưới dạng thô.

Nhiệm vụ: Lưu trữ và phân tích dữ liệu lớn, phục vụ cho các hoạt động máy học và AI như deep learning và phân tích real-time.

Kích cỡ: Lưu trữ tất cả dữ liệu có thể được sử dụng - có thể chiếm tới hàng petabyte.

Hạn chế: Số người sử dụng do yêu cầu kỹ năng chuyên môn cao, truy vấn real-time khó khăn do dữ liệu chưa được xử lý.

Mục tiêu: Tổng hợp tất cả các dạng dữ liệu và đóng vai trò như nguồn dữ liệu tối ưu cho doanh nghiệp.

Nhiệm vụ: Có thể được sử dụng cho các nhu cầu BI/Analytic hoặc ML và AI của doanh nghiệp.

Kích cỡ: Lưu trữ tất cả dữ liệu có thể được sử dụng như data lake.

Hạn chế: Dữ liệu đầu vào phải được đảm bảo lưu trữ theo 1 định dạng nhất định, và việc xây dựng khá phức tạp.

🔹Lưu trữ linh hoạt với chi phí thấp cho tất cả các loại dữ liệu (có cấu trúc, không cấu trúc và bán cấu trúc).
🔹Các tính năng quản lý dữ liệu nhằm áp dụng các lược đồ, thực thi quản trị và cung cấp các quy trình ETL, làm sạch dữ liệu.
🔹Hỗ trợ giao dịch cho các thuộc tính ACID nhằm đảm bảo tính nhất quán khi nhiều người dùng đồng thời đọc và ghi dữ liệu.
🔹Các định dạng lưu trữ được tiêu chuẩn hóa có thể được áp dụng cho các chương trình khác.
🔹End-to-end Streaming: hỗ trợ nhập dữ liệu theo thời gian thực và tạo thông tin chuyên sâu.
🔹Tách biệt các tài nguyên điện toán và lưu trữ nhằm đảm bảo khả năng mở rộng cho các công việc khác nhau.
🔹Tích hợp trực tiếp với các ứng dụng BI vào dữ liệu nguồn trong Lakehouse để giảm trùng lặp dữ liệu.

Cloud Ace

Google Cloud Managed Service Provider