カメラ画像認識 (GPT-4o)

概要
このサンプルは、OpenAIのGPT-4oを使用して、ARグラスのカメラに写っている物を認識します。
APIキーについて
このサンプルを動作させるには、OpenAI の有料プランであるGPT-4oのAPIキーが必要です。
詳細
Unityプロジェクトのセットアップ
1. Snapdragon Spaces SDKのインポート
2. 依存パッケージのインポート
UniTaskのインポート
Window > PackageManager
を開きます。- 左上の
+▼
ボタンから、「Add package from git URL...」を選択します。 - URLの欄に、
https://github.com/Cysharp/UniTask.git?path=src/UniTask/Assets/Plugins/UniTask
を入力して「Add」を選択します。 - UniTaskが、Unityプロジェクトにインポートされます。
Newtonsoft.Jsonのインポート
Window > PackageManager
を開きます。- 左上の
+▼
ボタンから、「Add package by name...」を選択します。 - Nameの欄に、
com.unity.nuget.newtonsoft-json
を入力して「Add」を選択します。 - Newtonsoft.Jsonが、Unityプロジェクトにインポートされます。
3. MiRZAライブラリのインポート
- 「MiRZAライブラリのUnityプロジェクトでの利用方法」の通りに、MiRZAライブラリをインポートします。
- タッチセンサーを使用して画像認識を開始する際に、MiRZAライブラリを使用しています。
4. QONOQサンプ ルのインポート
-
以下のUnityパッケージをダウンロードします。
-
ダウンロードしたUnityパッケージをUnityEditorの
Project
タブにドラッグ&ドロップします。 -
サンプルがUnityプロジェクトにインポートされます。
5. シーンのセットアップ
-
Project
の以下のシーンを選択します。Assets/Samples/QONOQ/1.0.1/Scenes/Spaces Feature (Single)/GPT Image Analyzer/[Headworn] GPT Image Analyze Speaker
-
Sample Assets/Image Analyze Speaker
オブジェクトを選択します。 -
GPT Image Analyzer
コンポーネントのOpen AI_API Key
に「OpenAI」のAPIキーを入力します。- ※OpenAIの有料プランであるGPT-4oのAPIキーが必要です。
- ※OpenAIの有料プランであるGPT-4oのAPIキーが必要です。
TIP
GPT Image Analyzer
コンポーネントのOpen AI API Key_Text
にAPIキーが記載された.txt形式のファイルを格納することも出来ます。APIキーの.txtファイルのみを.gitignoreで除外することで、GitHub等で外部にプロジェクトを公開する場合に、役立ちます。
音声出力を行う場合
-
Sample Assets/Image Analyze Speaker
オブジェクトを選択します。 -
GoogleTextToSpeechConverter
コンポーネントのGcp_API Key
に「Google Cloud」のAPIキーを入力します。- ※「Cloud Text-to-Speech API」を有効にしておく必要があります。
- ※「Cloud Text-to-Speech API」を有効にしておく必要があります。
-
このサンプルを使用するには、カメラフレームへのアクセス機能の有効化を行う必要があります。
- プロジェクト設定をHeadworn用に設定します。
- シーンをビルドします。
アプリの使用方法
-
以下のいずれかの方法で、画像認識を開始できます。
- グラスの右側面のタッチセンサーをシングルタップする
- UI上の画像解析ボタンを押す
-
数秒後に、解析結果がUIの右側に表示されます。
- Google CloudのAPIキーを設定済みの場合は、音声出力も行われます。