Gemini Live の Guided Vision：アクセシビリティのために設計

GoogleはGemini LiveにGuided Visionをリリースした。これは、盲人、低視力者、または直感的な視覚支援を求めるユーザー向けの会話型視覚解釈機能である。アクセシビリティコミュニティとの密接な協力により開発され、Airaとのパートナーシップを通じて数万時間分の視覚解釈データを提供し、1,000名以上のTrusted Testerメンバーがモデルの品質向上に貢献した。ユーザーはGemini Liveセッション中にカメラを共有することで、周囲の環境のリアルタイム説明を聞き、詳細なフォローアップ質問をし、カメラフレーミングを調整するための音声ガイダンスを受け取ることができる。栄養成分表示などの小さな文字の読み取り、落とした物品の探知、服飾の色や柄の照合、見知らぬ環境の探索といった日常的なタスクをサポートし、インド、ブラジル、シンガポール、インドネシア、日本などのコミュニティからのフィードバックに基づき複数言語に対応している。Geminiアプリの設定、Androidのアクセシビリティショートカット（フローティングアクセシボタン、二本指スワイプ、または音量キー同時押下）、TalkBack統合経由で利用できる。Googleは、Guided Visionは補助ツールであり、医療機器や移動補助具、白杖の代替ではないと強調しており、ナビゲーション、安全な移動ガイダンス、障害物検知には適していない。Android 9以上の端末で、Gemini Liveがサポートされる地域・言語で利用可能である。

(出典：Gemini)