農業とデータサイエンス、人工知能をテーマにしたオープンな勉強会、高知アグリ・データサイエンス・ラボ。 いちおう私が発起人で、これまで IoT 温湿度計をビニールハウス内で設置したりであるとか、
また、栽培管理記録から収穫量予測の研究などを行ってきました。
![画面、、「[16]: Out[16]: #原系列 た control delete Advanced Python 時系列解析 return」というテキストの画像のようです](https://scontent-nrt1-1.xx.fbcdn.net/v/t39.30808-6/258564630_285932956770539_8633312853935180730_n.jpg?_nc_cat=111&ccb=1-7&_nc_sid=730e14&_nc_ohc=00lzLFXub4UAX_gMiHP&_nc_ht=scontent-nrt1-1.xx&oh=00_AT942X7A3OChlIViedunO29eu6pZxpprfKtElXnyJ-selg&oe=62A83B94)
ここ数ヶ月は、農作物の物体検知に取り組んできました。 対象となる農作物は、高知県の特産花卉グロリオサです。
そして、物体検知について勉強していくうちに、この技術を応用したスマホアプリを作ろうという話の方向性になりました。
AI 搭載 iPhone アプリ「花みっけ高知」
そして先日 6 月 9 日に、無事、Apple の審査に通過し、アプリの配信が決定しました。
アプリの名前は「花みっけ高知」です。
アプリ内でカメラを起動し、花にレンズを向けます。高知で生産されている花を見つけると反応し画面上に色の付いたボックスが画面上に現れます。 そのボックスをタッチすると、 花の詳細情報を見ることができます。
アプリ開発にあたり、私が担当したのは、 機能の提案、掲載する花の種類の選定、 学習データ = 写真の撮影、詳細情報の執筆、 後はアップルにアプリ申請する際の細々とした事務処理ですね。 Xcode で実装したのですがプログラムは IT 企業勤務の勉強会メンバーの 1 人があれよあれよという間に、さささっと書いてくれました。
開発プロセス
もう少し詳しい開発プロセスについて説明します。
最初、Googleコラボレーション上で、YOLO を動かして、 グロリオサの物体検知をしてみようと試みました。これ自体はうまくいったのですが、
さて、ここから iPhone で実装しようとすると、うまくいきませんでした。
やはり Google ドライブ上にアップロードした画像に写っている グロリオサを YOLO を使って検知するよりも、 iPhoneでリアルタイムで検知した方が、なんだかカッコいいですよね。
なので、何か良い方法がないか、 インターネットを検索したところ、Apple 社の提供するCreate MLという機械学習のフレームワークがあることを知りました。 これは macOS を 使っていれば、誰でも無料で利用できます。
分かりやすく言えば、人工知能を作るアプリのようなものです。
この Create MLを 使った Apple が用意したアプリのテンプレートに、Breakfast Finder というのがあるのですが、アプリの原型になっているのはこのテンプレートです。Breakfast Finder の学習済データを、グロリオサを使った学習済データに入れ替えることで、グロリオサを認識する AI を搭載した iPhone アプリができました。
ということで、実際にグロリオサを iPhone で検知できるようになったところで、アプリ開発をしてみたいという話になり、アプリの方向性などを話し合いました。そして、AI で検出した花の解説が載っているアプリを作ろうということになりました。そこから、数種類の花の学習済みデータを追加しました。 どのような花が収録されているかは、実際にアプリを試してみてください。
さて、人工知能についてご存知の方だったら気になるところがあると思うんですけど、それがアノテーションですね。 アノテーションと言うのは、 写真や動画の中で検知したい物体に、 印を付ける作業です。 これももちろん、グロリオサと、他の数種類の花で実施しました。
ツールは Labelimg を使用しました (※上の画像は VoTT です)。
Labelimg で アノテーションした学習用データをCreate MLで学習し、その学習済データを Xcode でアプリへ組み込む、という流れですね。
Create MLでの学習は、やはり花の種類が多くなるとちょっと精度が落ちてしまいますね。 これも何回か、実際に学習を回してくれたメンバーに試していただいたんですけど、 create MLの場合、設定できるパラメータがあまり多くなく、グリッドの数であるとかで、転移学習を使うかどうかであるとか、 その辺を数種類組み合わせて最も精度の良いモデルをアプリに採用しました。 ですので、ちょっと検出しにくい、やや厳しめのモデル になってはいます。ただ、試作の段階でのモデルがあまりにもガバガバで、赤い靴とかでもグロリオサとして検知したりしてたので、ちょっと厳しいくらいのモデルがちょうどいいのかなと思いました。
と言うことで、 誤検出もけっこうあります。
ですが、そういった誤検出も楽しんでもらえたらと思いますね。
多くの方に利用いただいて、高知の花の魅力を深く知ってもらえたと思います。
