けものフレンズの動画からフレンズさんの顔を検出するやつを無理やり作ってみた

せっかくGeForce GTX1050Tiという最強のフレンズ・・・いやパーツを入手したのと、最近”物体検出”ってやつに興味を持っているため、とりあえずけものフレンズ版顔検出器ってやつを作ってみました。

やったことは、OpenCVによる”アニメ顔”検出の動画ファイル読み込みとアニメ顔検出器と、TensorFlowで「けものフレンズ」の”フレンズ判別器”作ってみたで作成した学習データと判別用コード(cnn_app_56_a.py)の2つコードを無理やり合体して作りました。

あまりにコードが汚いのと、これが私にとって”物体検出”のゴールではないので、あえてコードは載せません(万一リクエストが多ければ公開します)。

で、できた動画はこんな感じ。

かばんちゃん、サーバルちゃんがちゃんと認識されてます。

本当はgifアニメじゃなくて、ちゃんとした動画を挙げたいところですが・・・YouTubeにアップしたら公開を拒絶されました。

文字がちょっと読みにくいです。この辺りは要チューニングですね。

こうしてみると一見ちゃんと認識しているようですが、別のシーンでは、なぜか草むらやサンドスターを”Lion”と誤認識したり、かばんちゃんの目をコウテイペンギンちゃんと認識したり。思わず笑っちゃう誤認識が多いですね。ちゃんと認識できてるのは7～8割ほどでしょうか。

また、ハシビロコウちゃんはアニメ顔検出器で引っかからないため、認識してくれませんね。このあたりはけもフレ専用の顔検出器を作成するしかなさそうです。

元の録画データは360pですが、これくらいの動画ならほぼリアルタイム以上の速度で処理できてます。

こいつを足掛かりに、実用的に使える物体検出器を作りたいところですね。

さて、物体検出の手法はいろいろとあるようですが。

Deep Learningによる一般物体検出アルゴリズムの紹介 - ABEJA Tech Blog

今回のやり方に、アルゴリズム的にもっとも近いのは”R-CNN”と呼ばれる手法。

検出器に”selective search”を使うというのが今回との違いになるようです。

このselective searchという検出器、物体らしき候補をとにかく拾ってくれるという仕組みで、大体1画像あたり2000枚ほど拾ってくるんだそうで。

その一つ一つをCNNで分類して物体を認識するという手法ですが、1画像で大量の検出処理をかけるため、検出速度が遅いのが欠点。1枚当たり数十秒かかることもあるようです。

てことで、今主流なのは”SSD”と”YOLOｖ2”という手法。

今”YOLOｖ2”が使えないかと画策しているところ。

【Darknet】リアルタイムオブジェクト認識 YOLOをTensorflowで試す - Qiita

この辺を参考に攻めているところですが。

問題は、今のところ”darknet”と呼ばれる別のディープラーニング用プラットフォームで学習させないとだめで、しかもその使い方がわからないため頓挫してます。

この辺りはまたいずれ進捗を書いていく予定。なんとか現実的な速度・精度が出る物体検出をものにしたいところです。

それにしても、いくらやっぱり画像認識力は人間の方がはるかに上をいってますね。

よくまあ、これだけの画像を見つけますねぇ。

【けものフレンズ考察】こっそり仕込まれた小ネタのまとめ！建造物、背景、小物類の作り込みがすごい！ | まとめまとめ

12話の最後のシーンに瀬〇大橋っぽいものが写ってるとか、あの観覧車はイー〇ス108だとか・・・3話にはすでにこの観覧車が写っているだの、最後の巨大セルリアンはボストンダイナミクス製ロボット”Big dog”に似ているだの・・・普通、気づきませんわ、そんなこと。

2045年には人工知能が人間を超える、いわゆる”シンギュラリティ”が訪れるとされていますが、人間の(この無駄なまでの)洞察力を果たして手に入れることはできるのでしょうか？

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装