Giới thiệu Google Cloud Hive-BigQuery Open-Source Connector

Giới thiệu Google Cloud Hive-BigQuery Open-Source Connector

Di chuyển kho dữ liệu đám mây là một quy trình phức tạp nhưng mang lại nhiều lợi ích về chi phí, bảo mật, khả năng mở rộng, etc. Nhằm tăng tốc độ cho việc di chuyển, Google Cloud đã giới thiệu trình kết nối mã nguồn mở Hive-BigQuery. Hãy cùng Cloud Ace tìm hiểu nhé.

Trình kết nối Hive-BigQuery triển khai API Hive StorageHandler, cho phép Hive workloads tích hợp với các bảng BigQuery and BigLake. Trong khi các công cụ thực thi của Hive đang xử lý tất cả các hoạt động điện toán, thì trình kết nối quản lý tất cả các tương tác với lớp dữ liệu trong BigQuery, cho dù là dữ liệu cơ bản được lưu trữ trong bộ lưu trữ gốc BigQuery hay trong bộ chứa Cloud Storage thông qua kết nối BigLake.

Google Cloud cung cấp Dịch vụ BigQuery Migration như một giải pháp toàn diện để đẩy nhanh quá trình di chuyển từ kho dữ liệu Hive sang BigQuery. Gồm các công cụ miễn phí như đánh giá và lập kế hoạch, truyền và xác thực dữ liệu.

Hai trong số các công cụ đó, BigQuery batch SQL translator and interactive SQL translator, cho phép người dùng dịch các truy vấn Hive sang cú pháp SQL tuân thủ ANSI của BigQuery để có thể chạy các truy vấn đó.

Trình kết nối Hive-BigQuery mới cung cấp một tùy chọn bổ sung: Người dùng có thể giữ các truy vấn ban đầu bằng phương ngữ HiveQL, tiếp tục chạy các truy vấn đó bằng Hive execution engine nhưng phải để các truy vấn đó truy cập vào dữ liệu được di chuyển sang các bảng BigQuery and BigLake.

Trình kết nối Hive-BigQuery đã đóng một vai trò quan trọng trong việc cho phép các truy vấn dữ liệu BigQuery từ Hive, vì Hive là công cụ truy vấn chính trên kho dữ liệu của chúng tôi. Sự tích hợp này đã cung cấp cho Flipkart sự linh hoạt để sử dụng các công cụ truy vấn nhanh như BigQuery mà không cần sao chép dữ liệu hoặc silo trên các kho dữ liệu khác nhau.
Venkata Ramana Gollamudi, Principal Architect, Flipkart; Apache Committer

Chạy truy vấn với công cụ thực thi MapReduce và Tez

Tạo và xóa các bảng BigQuery khỏi Hive.

Đọc nhanh các bảng BigQuery bằng Storage Read API streams và định dạng Apache Arrow

Hai phương pháp ghi dữ liệu vào BigQuery:

- Ghi trực tiếp nhờ BigQuery Storage Write API in pending mode. Phương pháp này có độ trễ thấp, bảng điều khiển gần như real-time, cửa sổ thời gian làm mới ngắn.
- Ghi gián tiếp nhờ sắp xếp các tệp Avro tạm thời vào Lưu trữ đám mây, sau đó tải các tệp đó bằng Load Job API. Phương pháp này rẻ hơn so với trực tiếp, vì các tác vụ tải BigQuery miễn phí. Tuy nhiên, tốc độ chậm hơn nên chỉ được sử dụng cho workloads không quan trọng về thời gian.

Truy cập các bảng được nhóm và phân vùng theo thời gian của BigQuery.

Cắt tỉa cột để tránh truy xuất các cột không cần thiết từ lớp dữ liệu

Định vị để lọc trước các hàng dữ liệu ở lớp lưu trữ BigQuery. Giúp giảm lượng dữ liệu đi qua mạng và cải thiện hiệu suất truy vấn tổng thể.

Tự động chuyển đổi loại dữ liệu Hive sang loại dữ liệu BigQuery.

Đọc chế độ xem BigQuery và ảnh chụp nhanh bảng

Cloud Ace

Google Cloud Managed Service Provider