メインコンテンツまでスキップ
バージョン: 1.0.2

カメラ画像認識 (GPT-4o)

概要

このサンプルは、OpenAIのGPT-4oを使用して、ARグラスのカメラに写っている物を認識します。

APIキーについて

このサンプルを動作させるには、OpenAIの有料プランであるGPT-4oのAPIキーが必要です。

詳細

カテゴリ

  • カメラアクセス
  • ChatGPT
  • 音声案内

MiRZAに載せる上での特徴

  • スマートフォンと異なりARグラス上のカメラは視界に追従するため、視界内の状況について自然に把握することができます。

使用技術

  • ChatGPT
  • TextToSpeech
  • UnityWebRequest

ユースケース

  • 画像検索
  • 視覚障害者のための周囲の状況説明

お問い合わせ先

Unityプロジェクトのセットアップ

1. Snapdragon Spaces SDKのインポート

  1. まだ、Snapdragon Spaces SDKをインポートしていない場合はインポートします。

  2. 以下のサンプルのパッケージもインポートする必要があります。

2. 依存パッケージのインポート

UniTaskのインポート

  1. Window > PackageManagerを開きます。
  2. 左上の+▼ボタンから、「Add package from git URL...」を選択します。
  3. URLの欄に、https://github.com/Cysharp/UniTask.git?path=src/UniTask/Assets/Plugins/UniTaskを入力して「Add」を選択します。
  4. UniTaskが、Unityプロジェクトにインポートされます。

Newtonsoft.Jsonのインポート

  1. Window > PackageManagerを開きます。
  2. 左上の+▼ボタンから、「Add package by name...」を選択します。
  3. Nameの欄に、com.unity.nuget.newtonsoft-jsonを入力して「Add」を選択します。
  4. Newtonsoft.Jsonが、Unityプロジェクトにインポートされます。

3. MiRZAライブラリのインポート

4. QONOQサンプルのインポート

  1. 以下のUnityパッケージをダウンロードします。

  2. ダウンロードしたUnityパッケージをUnityEditorのProjectタブにドラッグ&ドロップします。

  3. サンプルがUnityプロジェクトにインポートされます。

5. シーンのセットアップ

  1. Projectの以下のシーンを選択します。

    • Assets/Samples/QONOQ/1.0.1/Scenes/Spaces Feature (Single)/GPT Image Analyzer/[Headworn] GPT Image Analyze Speaker
       
  2. Sample Assets/Image Analyze Speakerオブジェクトを選択します。

  3. GPT Image AnalyzerコンポーネントのOpen AI_API Keyに「OpenAI」のAPIキーを入力します。

    • ※OpenAIの有料プランであるGPT-4oのAPIキーが必要です。  
TIP

GPT Image AnalyzerコンポーネントのOpen AI API Key_TextにAPIキーが記載された.txt形式のファイルを格納することも出来ます。APIキーの.txtファイルのみを.gitignoreで除外することで、GitHub等で外部にプロジェクトを公開する場合に、役立ちます。

音声出力を行う場合

  1. Sample Assets/Image Analyze Speakerオブジェクトを選択します。

  2. GoogleTextToSpeechConverterコンポーネントのGcp_API Keyに「Google Cloud」のAPIキーを入力します。

  3. このサンプルを使用するには、カメラフレームへのアクセス機能の有効化を行う必要があります。
     

  1. プロジェクト設定をHeadworn用に設定します。
  2. シーンをビルドします。

アプリの使用方法

  1. 以下のいずれかの方法で、画像認識を開始できます。

    • グラスの右側面のタッチセンサーをシングルタップする
    • UI上の画像解析ボタンを押す
  2. 数秒後に、解析結果がUIの右側に表示されます。

アプリが正常に動作しない場合