Gemini hiện hỗ trợ nguyên bản các tính năng live speech-to-speech (dịch thuật lời nói trực tiếp) mới, được thiết kế để xử lý cả việc continuous listening (nghe liên tục) và two-way conversation (hội thoại hai chiều).

Với chế độ continuous listening, Gemini tự động dịch lời nói từ nhiều ngôn ngữ khác nhau sang một ngôn ngữ đích duy nhất. Cơ chế này cho phép việc sử dụng tai nghe để nắm bắt thông tin từ môi trường xung quanh bằng ngôn ngữ đã chọn.

Đối với two-way conversation, tính năng live speech-to-speech của Gemini xử lý việc chuyển ngữ giữa hai ngôn ngữ theo thời gian thực, và tự động nhận biết ai đang nói để chuyển ngôn ngữ phù hợp.

Tính năng này sở hữu nhiều khả năng quan trọng, hỗ trợ hiệu quả trong thực tế:

• 🔹Hỗ trợ đa ngôn ngữ quy mô lớn: Dịch hơn 70 ngôn ngữ và 2.000 cặp ngôn ngữ, thông qua việc kết hợp vốn kiến thức toàn cầu của mô hình Gemini với năng lực xử lý âm thanh chuyên sâu.

• 🔹Chuyển đổi phong cách: Nắm bắt các sắc thái trong lời nói của con người, bằng cách bảo toàn ngữ điệu, nhịp độ và cao độ của giọng gốc trong bản dịch.

• 🔹Đầu vào đa ngôn ngữ: Xử lý đồng thời nhiều ngôn ngữ trong cùng một phiên làm việc, hỗ trợ theo dõi các cuộc hội thoại đa ngôn ngữ mà không cần thao tác điều chỉnh cài đặt thủ công.

• 🔹Tự động nhận diện: Tự động xác định ngôn ngữ nói và kích hoạt quy trình dịch thuật mà không yêu cầu xác nhận ngôn ngữ nguồn thủ công.

• 🔹Khả năng lọc tiếng ồn: Lọc bỏ tạp âm môi trường, đảm bảo chất lượng đàm thoại rõ ràng ngay cả tại các khu vực ồn ào hoặc không gian mở.