Triển khai hệ sinh thái AI cấp doanh nghiệp với Apigee
AI Gateway
Triển khai AI Gateway chuẩn doanh nghiệp
Các chức năng cốt lõi của API gateway Apigee bao gồm những tính năng được tích hợp sẵn để quản lý lưu lượng truy cập cho các ứng dụng AI, qua đó cung cấp một phương thức giao tiếp API đồng nhất và ổn định cho việc khai thác dịch vụ.
Các tính năng bao gồm:
- ▪️Model abstraction (Trừu tượng hóa mô hình)
- ▪️Multicloud model routing (Định tuyến mô hình đa đám mây)
- ▪️Request / response enrichment (Làm phong phú dữ liệu yêu cầu/phản hồi)
- ▪️RAG integrations (Tích hợp RAG)
- ▪️Agent connectivity to 3P systems ( Kết nối AI Agent với hệ thống bên thứ 3 bằng cách sử dụng nền tảng Application Integration của Google Cloud)
- ▪️LLM circuit breaker pattern for high availability (Cơ chế ngắt mạch LLM)
- ▪️Semantic caching (Bộ nhớ đệm ngữ nghĩa)
AI Agents
Tối ưu quy trình AI Agent theo bối cảnh doanh nghiệp
Các AI agents ứng dụng LLM để tự động hóa và thực thi tác vụ hiệu quả. Những agent này có thể được phát triển linh hoạt thông qua các nền tảng Agentspace hoặc các bộ khung lập trình chuyên sâu (LangChain, LlamaIndex). Trong kiến trúc này, Apigee đóng vai trò là trung tâm điều phối giữa ứng dụng AI và các agent.
Bên cạnh đó, tính năng Gemini Code Assist trên Apigee cho phép khởi tạo nhanh các API specifications chỉ bằng câu lệnh ngôn ngữ tự nhiên. Khai thác hệ sinh thái qua API Hub giúp doanh nghiệp duy trì bối cảnh xuyên suốt, đảm bảo hệ thống API luôn bảo mật, đồng nhất và chủ động ngăn ngừa tình trạng trùng lặp.
Các tính năng nổi bật:
▪️Apigee API Hub: Phân loại và quản lý tập trung toàn bộ các API cũng như quy trình làm việc nội bộ và của đối tác.
▪️Kiểm soát giới hạn Token: nhằm tối ưu hóa và quản lý chi phí vận hành AI.
▪️Multi-agent orchestration (Điều phối đa tác nhân)
▪️Xác thực và phân quyền
▪️Bộ nhớ đệm ngữ nghĩa (Semantic caching): tăng tốc độ phản hồi và tối ưu hiệu suất tổng thể.
▪️Tạo đặc tả API specification theo bối cảnh doanh nghiệp: thông qua tính năng Gemini Code Assist.
AI Governance
Quản trị quyền truy cập và sử dụng LLM trên toàn doanh nghiệp
Các chính sách và năng lực phân phối tích hợp sẵn của Apigee giúp các đội ngũ vận hành nền tảng GenAI quản trị hiệu quả các ứng dụng AI cũng như quá trình sử dụng mô hình LLM.
Các tính năng nổi bật bao gồm:
▪️Cổng kết nối nội bộ (Developer Portal): cho phép các đội ngũ nhân viên tự truy cập vào các mô hình.
▪️Các biện pháp kiểm soát chi tiết, dựa trên chính sách, đối với quyền truy cập mô hình và giới hạn sử dụng.
▪️Giám sát và báo cáo giới hạn sử dụng token.
▪️LLM auditing và logging
AI Observability
Đảm bảo ứng dụng AI luôn vận hành hiệu quả
Apigee mang đến khả năng quan sát chuyên sâu cho các ứng dụng AI, giúp doanh nghiệp quản lý, tối ưu chi phí generative AI và kiểm soát việc sử dụng AI một cách hiệu quả.
Các khả năng bao gồm:
- ▪️Theo dõi chi tiết mức độ sử dụng mô hình và lượng token tiêu thụ của ứng dụng
- ▪️Báo cáo chi phí nội bộ và tối ưu ngân sách
- ▪️Xây dựng dashboard tùy chỉnh để giám sát usage dựa trên số lượng token thực tế (tích hợp với Looker Studio)
- ▪️Ghi log cho các ứng dụng AI
AI Safety & Security
Bảo mật LLM APIs, đồng thời bảo vệ người dùng cuối và uy tín thương hiệu
Apigee hoạt động như một gateway bảo mật cho LLM APIs, cho phép kiểm soát truy cập thông qua API keys, OAuth 2.0 và xác thực JWT, đồng thời ngăn chặn lạm dụng và quá tải bằng cách áp dụng rate limits và quotas. Apigee Advanced API Security cung cấp thêm các lớp bảo vệ nâng cao.
Các khả năng bao gồm:
- ▪️Tích hợp Model Armor và thực thi policy để kiểm soát, làm sạch prompt và response
- ▪️Xác thực và phân quyền
- ▪️Phát hiện hành vi lạm dụng và bất thường
- ▪️Giảm thiểu rủi ro theo OWASP Top 10 API và các rủi ro bảo mật LLM
- ▪️Phát hiện sai cấu hình bảo mật trong LLM APIs
- ▪️Tích hợp với Google SecOps và các hệ thống SIEM bên thứ ba.
Vietnamese 
English 