BigQuery Cập Nhật Mới Trong Việc Quản Trị Dữ Liệu Và AI

BigQuery Cập Nhật Mới Trong Việc Quản Trị Dữ Liệu Và AI

Theo báo cáo từ Google, hơn 66% doanh nghiệp chưa tận dụng hiệu quả dữ liệu của mình và trong thời đại GenAI đang ngày càng phát triển, thì việc quản lý dữ liệu kém sẽ gây ảnh hưởng nghiêm trọng đối với khả năng ra quyết định cuẩ doanh nghiệp. Chính vì vậy, Google Cloud đã cho ra mắt giải pháp Dataplex, là nền tảng quản trị dữ liệu thống nhất cho BigQuery, giúp tự động hóa việc khám phá, quản lý và tối ưu dữ liệu ở quy mô lớn một cách hiệu quả. Dưới đây là một số cập nhật mới hãy cùng Cloud Ace tìm hiểu nhé.

Dataplex tự động thu thập, nhập và lập chỉ mục metadata từ toàn bộ cơ sở dữ liệu của doanh nghiệp. Ngoài các tài sản dữ liệu trong BigQuery, Pub/Sub và Cloud Storage, Google Cloud đã mở rộng khả năng lập danh mục tự động của Dataplex sang các nguồn sau:

Vertex AI: Các mô hình, dataset và tính năng từ Vertex AI hiện được lập danh mục trong Dataplex gần như real-time, cung cấp cái nhìn tổng quan về dữ liệu và tài sản AI của doanh nghiệp.
Operational databases: Cloud SQL, Spanner và Bigtable hiện được tự động lập danh mục, cung cấp khả năng hiển thị toàn diện về data landscape trong toàn bộ vòng đời.
Looker: Bản preview sẽ sớm được công bố, cho phép người dùng khám phá và quản lý các tài sản BI cùng với dữ liệu và các tài nguyên về AI.

Với kho dữ liệu toàn diện này, doanh nghiệp có thể dễ dàng tìm kiếm, sắp xếp các dữ liệu và tài sản AI của mình, thiết lập nền tảng metadata quan trọng để quản lý hiệu quả data-to-AI.

Dataplex tự động ghi lại toàn bộ hành trình của dữ liệu, giúp người dùng dễ dàng theo dõi nguồn gốc, các bước chuyển đổi và đích đến trong toàn bộ hệ sinh thái dữ liệu. Chế độ xem toàn diện sẽ có những cải tiến mới sau:

Lineage for Vertex AI Pipelines: Ngoài BigQuery, Dataproc và Composer, Dataplex hiện được tích hợp thêm với Vertex AI Pipelines. Tích hợp này giúp theo dõi toàn bộ quá trình từ xử lý, phân tích dữ liệu đến đào tạo và triển khai mô hình AI, hỗ trợ quản trị và đảm bảo tuân thủ các quy định cần thiết.
Column-level lineage for BigQuery: Chế độ xem chi tiết này cung cấp khả năng phân tích chính xác tác động và nguyên nhân, hỗ trợ quản lý dữ liệu nhạy cảm hiệu quả và đảm bảo tuân thủ chặt chẽ các quy định về quyền riêng tư dữ liệu.

Việc tìm đúng dữ liệu một cách nhanh chóng là điều cần thiết đối với bất kỳ doanh nghiệp nào. Dataplex đã cung cấp khả năng tìm kiếm danh mục và đưa việc khám phá dữ liệu lên một tầm cao mới:

Semantic search: Với tính năng sắp ra mắt này, Dataplex có thể hiểu và trả kết quả chính xác nhất từ những câu hỏi bằng ngôn ngữ tự nhiên. Giúp doanh nghiệp dễ dàng tìm thấy và truy cập dữ liệu cần thiết bất kể vai trò hay chuyên môn.
Full catalog search in BigQuery: Người dùng có thể tìm kiếm toàn bộ danh mục và khám phá dữ liệu cũng như tài nguyên AI trong giao diện BigQuery.

Khi phát hiện dữ liệu liên quan, Dataplex sẽ hỗ trợ giải quyết vấn đề "cold start" bằng Data Insights. Tính năng này tự động tạo ra các câu hỏi gợi ý và truy vấn SQL đã được xác thực cho dữ liệu, giúp khởi động quá trình phân tích và rút ngắn thời gian tìm kiếm insight. Điều này cho phép người dùng ở mọi trình độ kỹ năng khám phá dữ liệu mà không cần viết code, đồng thời tạo điều kiện cho các chuyên gia tùy chỉnh truy vấn để đi sâu hơn vào phân tích chuyên môn.

Unified metadata là nền tảng của Dataplex. Ngoài việc tận dụng metadata để tìm kiếm và khám phá, Google Cloud cũng đang triển khai các quy tắc quản trị Dataplex trong bản preview, cho phép người dùng xác định và thực thi các chính sách quản trị. Nhờ tính năng tìm kiếm mạnh mẽ của Dataplex, người dùng có thể dễ dàng xác định chính xác các tài sản dữ liệu hoặc trường thông tin cần quản lý và tạo ra các quy tắc quản trị phù hợp với yêu cầu và chính sách của doanh nghiệp. Dataplex sau đó sẽ tự động áp dụng và thực thi các quy tắc này trên toàn bộ môi trường dữ liệu phân tán, với hệ thống giám sát tích hợp đảm bảo sự tuân thủ chặt chẽ. Phương pháp này giúp đơn giản hóa việc quản trị, giảm rủi ro bảo mật và cung cấp 1 dashboard thống nhất cho tất cả dữ liệu.

English

Cloud Ace

Google Cloud Managed Service Provider