A01f - GOKIGEN Wiki - GOKIGEN

Google Translate for this page : https://translate.google.com/translate?sl=ja&tl=en&u=https://osdn.net/projects/gokigen/wiki/A01f

Outline

1. 概要
2. 機能一覧
3. インストール
4. 説明
   1. 「A01f 設定」について
      1. Wi-Fi 設定
      2. 表示画像も保存
      3. オブジェクト検出モデル
      4. 入力画像
      5. 操作説明
      6. プライバシーポリシー
5. その他
   1. 注意事項（仕様、制約事項など）
   2. permissionについて
   3. オブジェクト検出モデルファイルの作成について
   4. 参考リンク
   5. Tensor Flow Lite Model File
   6. Image Files with annotation
   7. 変更履歴

概要

A01f は、Android用の TensorFlow Liteを使ったオブジェクト検出アプリケーションです。入力した画像から、最大１０個のオブジェクトを検出することができます。
オブジェクト検出をするための画像は、標準はデバイス内蔵のカメラですが、設定により、デバイス内画像、WiFiで接続するデジカメ(ソニー、パナソニック、リコー/ペンタックス、OMDS/オリンパス, PIXPRO)に変更することができます。
また、オブジェクト検出モデルは、デバイス内のファイルを選択して設定が可能ですので、 TensorFlow Lite Model Maker を使用して作成した独自のオブジェクト検出モデルファイルをお試しいただけます。

標準のオブジェクト検出モデルは「ねんどろいど 雪村あおい」と「ねんどろいど 倉上ひなた」を採用しています。

A01f オブジェクトの検出

機能一覧

• 表示中画像のオブジェクトを検出 (同時に最大10個まで)
• TensorFlow Lite の Object Detection モデルファイルの読み込み (デバイス内にある TensorFlow Lite Model Maker を使用して作成したオブジェクト検出モデルファイルの読み込みが可能)
• いろいろな方法による画像の入力： 内蔵カメラ（内蔵）、デバイス内画像（ファイル）、Wi-Fi経由で接続したデジタルカメラ（リコー GRシリーズ/PENTAX一眼レフ、リコーTHETA、パナソニック、ソニー、PIXPRO WPZ2、OMDS/Olympus(OM-D, PEN, Air, TG-6)）

インストール

以下リンクのGoogle Play よりインストールしてください。

• https://play.google.com/store/apps/details?id=net.osdn.gokigen.objectdetection.a01f

初回起動時には、権限の許可を求めるダイアログが表示されますので、どうか許可を与えてください。

ディレクトリ選択（「このフォルダは使用できません」）が表示される場合は、 /DCIM/ の下に AirA01a というディレクトリを作成し、「このフォルダを使用」を選択してください。 このフォルダは、カメラ画像を撮影した場合、保管するフォルダとして利用します。

A01fが使用するフォルダの設定

説明

A01fを起動したあと、カメラを検出したい対象に向けてください。（デバイス内画像(ファイル)を入力にしている場合は、画面を長押しし、画像ファイルを選択してください。） オブジェクトを検出すると、枠で囲み、そのレベルを表示します。オブジェクトは同時に10個まで検出できるはずです。
入力にカメラ画像を使用している場合は、左上のシャッターボタンを押したタイミングで撮影することができます。
シャッターボタン右隣のボタンは、グリッド表示のON/OFF 切替ボタンです。

A01f 画面説明

「A01f 設定」について

アプリケーションの設定画面です。設定画面で設定を変更した場合は、A01fを一度完全に終了させてから改めて起動しなおしてください。

A01f 設定

Wi-Fi 設定

本項目にタッチすると、AndroidのWi-Fi設定画面を開きます。A01fとデジカメと接続する場合にご使用ください。

表示画像も保存

本項目にチェックを入れると、シャッターボタンを押したときにWi-Fiで接続したカメラで撮影するタイミングで、デバイスで表示している画像も保存します。 保存場所は、デバイス内の /DCIM/AirA01a です。 このディレクトリがない場合には保存できませんので、あらかじめ作成して使用可能にしておいてください。

オブジェクト検出モデル

標準のオブジェクト検出モデルは、ねんどろいど 雪村あおいを検出するモデルです。 本項目にタッチすると、デバイス内にあるTensorFlow Liteのオブジェクト検出モデルファイルを選択して設定することができます。

オブジェクト検出モデルファイルは、 TensorFlow Lite Model Maker を使用して作成することができます。
以下に Object Detection with TensorFlow Lite Model Maker のページで作成したモデルを使ってオブジェクト検出を行った例を示します。

モデル入れ替え時のA01fオブジェクト検出例

入力画像

A01fに入力する画像をどこからにするか選択します。

• デバイス内画像(ファイル)
  • デバイス内の画像を選択してオブジェクトの検出をします。画像を選択するには画面を長押しし、デバイス内の画像を選択してください。
• 内蔵カメラ
  • 初期設定です。デバイスのカメラを入力画像とする場合に選択します。
• Ricoh GR / PENTAX
  • Wifi経由でリコー製のカメラ(GRシリーズ/PENTAX)と接続し、入力画像とする場合に選択します。
• Ricoh Theta(OSC)
  • Wifi経由でTHETAと接続し、入力画像とする場合に選択します。
• Panasonic
  • Wifi経由でパナソニック製カメラと接続し、入力画像とする場合に選択します。
• Sony
  • Wifi経由でソニー製カメラ（コンパクトタイプ、一眼タイプ）と接続し、入力画像とする場合に選択します。
• PIXPRO WPZ2
  • Wifi経由でPIXPRO WPZ2と接続し、入力画像とする場合に選択します。
• OMDS(OM-D/PEN/Air)
  • Wifi経由でOlympus/OMDS製カメラと接続し、入力画像とする場合に選択します。

操作説明

操作説明のページ（本ページ）をブラウザで開きます。

プライバシーポリシー

GOKIGEN プロジェクトのプライバシーポリシーページを開きます。

その他

注意事項（仕様、制約事項など）

• デバイス内の画像サイズが大きい場合には、ファイルを読み込むことができず、そのまま終了することがありますのでご注意ください。
• 現状、内蔵カメラの変更（インカメラの使用）はできません。
• 画像撮影では、オブジェクト検出結果を記録しません。オブジェクト検出結果を保存する場合は、画面スクリーンショット機能をお使いください。
• デバイス内画像の時には、シャッターボタンを押しても動作しません。
• １度オブジェクト検出モデルを選択すると、元の検出モデルに戻す方法は提供していません。
  • このオブジェクト検出ファイル をデバイス内に転送して A01fに読み込ませてください。

permissionについて

本アプリは、次のパーミッションを指定し使用しています。

• <uses-permission android:name="android.permission.CAMERA" />
  • 内蔵カメラで撮影を実施するため
• <uses-permission android:name="android.permission.VIBRATE" />
  • アプリの状態を振動で伝えるため
• <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
  • カメラの画像を保存するため
• <uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"/>
  • スマートフォン内の画像を読みだして表示するため
• <uses-permission android:name="android.permission.INTERNET" />
  • WIFI経由でデジタルカメラと通信を行うため
• <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"/>
  • デジタルカメラとWIFI接続を行うため
• <uses-permission android:name="android.permission.ACCESS_WIFI_STATE"/>
  • デジタルカメラとWIFI接続を行うため
• <uses-permission android:name="android.permission.CHANGE_WIFI_MULTICAST_STATE"/>
  • デジタルカメラ(PIXPRO WPZ2)とWIFI接続を行うため

オブジェクト検出モデルファイルの作成について

A01f内蔵のオブジェクト検出モデルファイルは、TensorFlow Lite Model Maker を使用して作成しました。 詳細は、作成に使用した Pythonファイル を参照してください。

オブジェクト検出モデルファイルを作成し利用する手順の概要を以下に示します。

1. 画像を準備する （画像の要件は AutoML Vision Object Detection トレーニング データの準備 を参照してください。）
2. LabelImg(アノテーションツール)を使って、画像ファイル内オブジェクトのアノテーション（枠で囲う作業）を行う
3. TensorFlow Lite Model Maker を使用してオブジェクト検出モデルファイル（model.tflite）を作る
4. 作成したオブジェクト検出モデルファイルをデバイスに転送し、A01f に読み込ませる

参考リンク

• TensorFlow Lite Model Maker
• TFLite Model Maker
• Object Detection with TensorFlow Lite Model Maker
• tflite_model_maker.object_detector.DataLoader
• tflite_model_maker.object_detector.ObjectDetector
• LabelImg(アノテーションツール)
• TensorFlow Lite Model Makerを使ったオブジェクト検出モデルファイル生成用Pythonファイル
  • A01fで使用した、Pascal VOC形式のアノテーションデータを読み込んでオブジェクト検出モデルファイルを作るスクリプトです。(スクリプトの使用には、データのあるパス名の設定変更(フルパス指定)が必要です)
• TensorFlow Lite Model を使った、Pascal VOC形式のアノテーションファイル生成用Pythonファイル

Tensor Flow Lite Model File

(自分が)検出遅延、検出精度などの違いを理解するため、いくつかオブジェクト検出ファイルを作成しています。

• EfficientDet-Lite0 の aoi(初版)
• EfficientDet-Lite0 の aoi(0.5.0版)
• EfficientDet-Lite1 の aoi
• EfficientDet-Lite2 の aoi
• EfficientDet-Lite0 の aohina
• EfficientDet-Lite0 の aohina(その1)
• EfficientDet-Lite0 の aohina(その2)
• EfficientDet-Lite0 の aohina(その3)
• EfficientDet-Lite0 の aohina(その4)
• EfficientDet-Lite0 の aohina(その5)
• EfficientDet-Lite0 の aohina(その6)
• EfficientDet-Lite1 の aohina

• EfficientDet-Lite0 の arukuma
• EfficientDet-Lite1 の arukuma
• EfficientDet-Lite2 の arukuma
• EfficientDet-Lite3 の arukuma
• EfficientDet-Lite0 の arukuma(その２)

Image Files with annotation

• ねんどろいど 雪村あおい (Pascal VOC形式, 約2500枚)
• ねんどろいど 倉上ひなた (Pascal VOC形式, 約4700枚)
• ねんどろいど 雪村あおい と 倉上ひなた (Pascal VOC形式, 約7500枚)
• ねんどろいど 雪村あおい と 倉上ひなた (Pascal VOC形式, 約7500枚 に雪村あおいをすこし追加)
• ねんどろいど 雪村あおい と 倉上ひなた (Pascal VOC形式, 約12000枚)

• アルクマ ミニフィギュア (Pascal VOC形式, 約2500枚)

変更履歴

• 0.5.0 : 初版作成
• 0.7.0 : OMDS機のライブビュー安定化、ズームイン・アウト制御を可能にする。

以上