Đối với các doanh nghiệp nói chung và retailer nói riêng, viêc ra quyết định thông minh dựa trên dữ liệu real-time là điều đặc biệt quan trọng. Mặc dù việc áp dụng AI thường đòi hỏi nguồn đầu tư lớn, các doanh nghiệp có thể tận dụng tài sản hiện có như camera an ninh và hệ thống thanh toán để khai thác các tiềm năng AI. Bài viết dưới đây của Google Cloud sẽ chỉ ra làm thê nào suy luận AI ngay tại biên có thể giúp tối ưu hóa phân tích cửa hàng, giao dịch nhanh và nâng cao hiệu quả mà không tốn kém. Hãy cùng Cloud Ace tìm hiểu nhé.
Lý do nên ứng dụng phương pháp kết hợp
Khi tìm kiếm online, những thông tin cần có thể nằm ở cả định dạng văn bản và hình ảnh. Để tối ưu hóa, thay vì dùng mô hình ngôn ngữ lớn (LLM) để mô tả hình ảnh, người dùng có thể tận dụng Vertex AI với cách tiếp cận đa phương thức, kết hợp image embeddings và dữ liệu văn bản.
Giải pháp này hỗ trợ người dùng
🔹 Hiểu hình ảnh sâu hơn: Multi-modal embeddings phân tích và hiểu các đặc điểm phức tạp trong hình ảnh.
🔹 Tìm kiếm dựa trên các truy vấn: Cho phép tìm kiếm trực tiếp bằng hình ảnh.
🔹 Lọc kết quả chính xác: Lọc theo các thuộc tính chi tiết như kích thước, chất liệu, và các đặc điểm khác, giúp kết quả tìm kiếm trở nên chính xác và phù hợp hơn.
Nền tảng Vertex AI từ Google Cloud cung cấp các công cụ mạnh mẽ để xây dựng và triển khai giải pháp machine learning, giúp cải thiện hiệu quả tìm kiếm và trải nghiệm người dùng.
🔹 Vertex AI Search: Một công cụ tìm kiếm linh hoạt, hỗ trợ các tính năng như phân loại, lọc, xếp hạng mức độ liên quan tùy chỉnh, và xử lý tốt các tài liệu phi cấu trúc như PDF hoặc tài liệu có chứa đồ họa tích hợp.
🔹 Vertex AI multimodal embedding API: Tạo biểu diễn số từ hình ảnh.
🔹 Vertex AI Vector Search: Cơ sở dữ liệu vector dùng để lưu trữ embeddings và metadata, hỗ trợ cả dữ liệu văn bản lẫn hình ảnh.
Phương pháp tiếp cận của Google Cloud
Để tạo công cụ tìm kiếm đa phương thức, Google Cloud đã sử dụng phương pháp tổng hợp kết hợp của Vertex AI Search và vector search cho hình ảnh:
1. Tìm kiếm văn bản với Vertex AI
🔹 Lập chỉ mục dữ liệu danh mục sản phẩm (tên, mô tả, thuộc tính) trong kho dữ liệu bằng agent builder.
🔹 Khi người dùng nhập từ khóa, Vertex AI Search trả về các kết quả liên quan dựa trên khớp từ khóa, hiểu ngữ nghĩa, và các quy tắc xếp hạng tùy chỉnh.
🔹 Lọc kết quả: Cung cấp các facets (thuộc tính sản phẩm) để người dùng lọc kết quả dễ dàng hơn.
🔹 Hỗ trợ phân tích và chia nhỏ các tài liệu không cấu trúc hoặc phức tạp.
2. Tìm kiếm bằng hình ảnh với vector embeddings
🔹 Sử dụng multimodal embeddings API để tạo image embedding cho sản phẩm người dùng.
🔹 Lưu trữ các embeddings này trong vector search.
🔹 Khi người dùng tải lên hình ảnh hoặc văn bản, chuyển đổi nó thành embedding và truy vấn cơ sở dữ liệu vector để tìm các hình ảnh sản phẩm tương tự.
3. Kết hợp kết quả bằng weighted RRF:
🔹 Rank-biased Reciprocal Rank (RRF): Là phép đo đánh giá mức độ liên quan của danh sách xếp hạng bằng cách xem xét vị trí của mục phù hợp đầu tiên. Nó ưu tiên các danh sách mà các mục phù hợp xuất hiện ở vị trí cao hơn.
🔹 Weighted RRF: Gán trọng số cho điểm liên quan văn bản (từ Vertex AI Search) và điểm tương tự hình ảnh (từ tìm kiếm vector). Người dùng có thể điều chỉnh tầm quan trọng của từng phương thức (Vertex hoặc Vector Search) trong xếp hạng cuối cùng.
🔹 Ensemble: Kết hợp kết quả tìm kiếm văn bản và hình ảnh, sắp xếp lại chúng bằng điểm weighted RRF và hiển thị danh sách kết hợp cho người dùng.
Để nâng cao trải nghiệm tìm kiếm, hãy sử dụng khả năng phân khía cạnh (faceting) của Vertex AI Agent Builder Search:
1. Define facets:
Dựa trên dữ liệu sản phẩm, thiết lập các khía cạnh danh mục, thuộc tính (màu sắc, kích thước, chất liệu, etc.), khoảng giá
2. Dynamic filtering:
Cho phép người dùng tương tác để tinh chỉnh kết quả tìm kiếm bằng các khía cạnh này. Kết quả sẽ tự động điều chỉnh dựa trên dữ liệu được trả về (do đó gọi là "động"), giúp thu hẹp danh sách sản phẩm phù hợp nhất.
3. Natural language query understanding:
Nếu dữ liệu văn bản được cấu trúc, kích hoạt tính năng hiểu ngôn ngữ tự nhiên trong Vertex AI Agent Builder Search để cải thiện độ chính xác.
Các bộ lọc được phân tích từ kết quả trả về có thể được áp dụng đồng thời cho tìm kiếm vector bằng cách sử dụng namespaces, đảm bảo tính nhất quán giữa các phương thức tìm kiếm.
Vietnamese 
English