/* */

みてねのMeetup #4に参加してきました!

はじめに

去年の10月頃に転職を果たし、勤務先が渋谷になったので今まで参加できなかった勉強会に積極的に参加しようという気持ちで今回も参加してきました。

mixi.connpass.com

実は「みてね」というサービス自体、独身で接点がないためこのMeetupで初めて知ったという経緯があります。 じゃあなぜ参加したかというと、SageMaker を用いた高速な顔検出 という発表がお仕事の内容にも近い分野でとても勉強になりそうだと思ったからなのです。

mitene.us

サービス紹介

概要

みてねの概要となぜこのサービスを始めたのかを語って頂きました。元々子どもが生まれたことがきっかけ、子どもが生まれると「え!?こんなに写真・動画撮影するの!」ってくらい撮影する。そしてその撮影した大量の写真・動画をどこに保存して、どうやって家族間で共有するか、簡単に保存できて共有できる専用のサービスは現状・・・ない、じゃあ作ろうとなった。現在日本だけでなく海外にも展開中、北米・英語圏も順調なユーザの増加、世界共通で子どもの成長を見守りたいというニーズがある。

感想

みてねのサービス愛が伝わってくる発表でした、みてねに対する愛情や熱い想いを持ったメンバーが集っているのだなと感じました。 スライドにも記載されていた「その子の人生もまるごとを残せる」というキーワードが特に心打たれました。

1秒動画のつくりかた・概要編

発表資料

speakerdeck.com

概要

「みてね」には現在基本機能の写真・動画の共有以外に以下のような機能があるようで、今回はその中から1秒動画のつくりかたについて要素毎に発表者に語って頂くという内容でした。また当日の発表全体の流れを説明して頂きました。

  • 毎月撮影した写真をフォトブックにまとめる
  • 撮影した写真・動画をまとめたダイジェスト動画(1秒動画)
  • 撮影した動画をDVD1枚分の内容になるように選んで提案する

スライド(14枚目参照)そのままですが以下の流れで動画を生成しているようです。

  1. メディア解析
  2. 生成対象の家族抽出
  3. 素材選択
  4. 動画ファイルの生成・配信

感想

さらっとスライドに掲載されていた、BGM検出、メディアの採点方法、顔・人物検出と気になるワードがたくさんありました。BGM検出については絶対聞いておきたいと思っていたのですが、最後ににも書きましたが当日体調不良で聞く前に帰宅してしまいました。また機会があったら聞いてみたいですね。

SageMaker を用いた高速な顔検出

発表資料

speakerdeck.com

概要

1秒動画のつくりかた・概要編で紹介された「メディア解析」部分の発表でした。アップロードされた写真・動画に家族の顔が写っていないものは1秒動画の素材から除外したい、またちゃんと顔が写っているかを検出したい。満たしたい要件は以下の通り。

  • 画像1枚であれば0.1秒で検出したい(検出スピード)
  • 大量(月間7000万件)のアップロードを捌けるようなインフラ構築
  • ピークと暇な時との差が激しいのでスケーリングができるようにしたい

顔検出器はS3FD: Single Shot Scale-invariant Face Detectorを利用。 選択理由は以下の通り。

  • TensorRT対応
  • Pretrainedモデルがある
  • 精度(WIDER FACE Hard Ap 0.858)

Caffe実装で1枚検出するのに0.8秒かかるため10倍の高速化が必要。

  • TensorRT利用
  • DALIを使用
  • 並列化、非同期化

最終的に1枚あたり0.04秒まで高速化ができた。

感想・疑問

顔検出器の予測スピードの改善・インフラ構築、お一人でやられているという発表だったのでただただすごいなと。

以下疑問点です。

  • GPUを惜しまずに使っている印象を受けました、フォトブック・DVD作成以外の課金要素で採算とれているんだろうかという疑問が残りました。
  • 顔認識の精度自体の改善の話はなかったので運用でカバーしてるのだろうか。
  • 適合率が低いと顔認識の結果としては致命的かなと思ったが、そもそも家族の写真・動画で顔が写っていないものをアップロードしないのでは?と思った。

全体を通して気づいたこと

こういうMeetupが開催される際はTwitterハッシュタグが設定され普段は参加者が会場の様子や発表内容についてつぶやくのですが、 今回のMeetupではハッシュタグ#mitene_meetup@_atsushisakaiさんが発表者の豆知識をつぶやいて頂いたので、感情移入しやすくて、発表も聞きやすくなったなと思いました。

また、僕のちょっとした疑問ツイートにも反応して頂けたのはとても嬉しかったです。

最後に

懇親会で頭に浮かんだ疑問を発表者の方々に聞こうと質問を用意しておいたのですが、当日急に体調が悪くなってきたので懇親会参加できずに帰宅してしまいました。 また機会があれば聞いてみたいです!忘れないためにも下のほうに書き出しておきます。

あとで見た懇親会でのお寿司とピザの写真。美味しそう・・・