カメラ画像認識 (GPT-4o)

概要

このサンプルは、OpenAIのGPT-4oを使用して、ARグラスのカメラに写っている物を認識します。

詳細

カテゴリ

• カメラアクセス
• ChatGPT

MiRZAに載せる上での特徴

• スマートフォンと異なりARグラス上のカメラは視界に追従するため、視界内の状況について自然に把握することができます。

使用技術

• ChatGPT
• UnityWebRequest

ユースケース

• 画像検索
• 視覚障害者のための周囲の状況説明 (音声読み上げ機能は別途用意する必要があります)

お問い合わせ先

• NTTコノキューデバイス

Unityプロジェクトのセットアップ

1. Snapdragon Spaces SDKのインポート

1. まだ、Snapdragon Spaces SDKをインポートしていない場合はインポートします。

   • 基本パッケージ

2. 以下のサンプルのパッケージもインポートする必要があります。

   • 基本サンプル

2. QONOQサンプルのインポート

1. 以下のUnityパッケージをダウンロードします。

   • QONOQ_GPT_Image_Analyzer

2. ダウンロードしたUnityパッケージをUnityEditorのProjectタブにドラッグ&ドロップします。

3. サンプルがUnityプロジェクトにインポートされます。

3. 依存パッケージのインポート

UniTaskのインポート

1. 「UniTask.2.5.5.unitypackage」をダウンロードします。

2. ダウンロードした「UniTask.2.5.5.unitypackage」をUnityEditorのProjectタブにドラッグ&ドロップします。

3. UniTaskが、Unityプロジェクトにインポートされます。

4. シーンのセットアップ

1. ProjectのAssets/Samples/QONOQ/Scenes/GPT Image Analyzer/GPT Image Analyzerシーンを選択します。
   

2. Image Analyzerオブジェクトを選択します。

3. GPT Image AnalyzerコンポーネントのOpen AI API KeyにAPIキーを入力します。

TIP

GPT Image AnalyzerコンポーネントのOpen AI API Key_TextにAPIキーが記載された.txt形式のファイルを格納することも出来ます。APIキーの.txtファイルのみを.gitignoreで除外することで、GitHub等で外部にプロジェクトを公開する場合に、役立ちます。

5. このサンプルを使用するには、カメラフレームへのアクセス機能の有効化を行う必要があります。
   

6. UnityEditorの[Edit] > [Project Settings] > [XR Plug-in Management] > [OpenXR (Androidタブ)]で[Meta Quest Support]の歯車マークをクリックします。
   　

7. 「Force Remove Internet Permission」を無効にします。 　

WARNING

UnityEditor上でスクリプトのコンパイルがされるたびに、「Force Remove Internet Permission」は、自動で有効化されてしまいます。ビルドする直前にその都度無効化する必要があります。

有効化されてしまっている場合は、Projec Validationタブにて警告されるため、[Fix]をクリックすることでも、無効化出来ます。

8. シーンをビルドします。

アプリの使用方法

1. 画像解析ボタンを押すことで、ARグラスのカメラ画像に対する解析が始まります。

2. ボタンを押した数秒後に、解析結果が右側に表示されます。

アプリが正常に動作しない場合

• インターネット機能の有効化に関するページをご確認ください。