Microsoft Azure Media Services(動画処理サービス)まとめ

Microsoft AzureのMedia Services(動画処理サービス)で動画に特化した便利なサービスの利用が可能となっていましたので、概要をまとめてみました。
以前記事にしたMicrosoft Cognitive Services(認知サービスAPI)で提供されている機能が主体となって、動画配信向けに提供されています。

基本的に「動画」は「画像」と「音声」の連続体ですので、「画像」向けサービスと「音声」向けサービスがフル活用されたサービスになっている感じです。

まだまだプレビュー版が多いですが、以下のような機能が利用できます。

Media Indexer(動画キャプションデータ抽出)

ビデオ内から区切りを判断して、キャプションを自動的に生成。また、動画内の会話の音声を検出して、キーワードとして抽出が可能なので、Web検索用キーワードとしたり、レコメンデーションに活用できます。

動画補正サービス(Hyperlapse)(プレビュー)

スマホやアクションカメラなどの動画コンテンツをアップロードすることで、Azureサービス側で手振れ補正や速度調整の処理を実行でき、滑らかなビデオコンテンツの作成ができます。
マイクロソフトリサーチ (MSR)が提供している「Microsoft Hyperlapse」の技術をAzureで提供しています。
※Microsoft Hyperlapse Mobileとしてアンドロイドアプリストアアプリでも提供されています。

モーション検知(Media Motion Detector) (プレビュー)

ビデオでの定点撮影など行った場合に、動き(モーション)があった瞬間が検知できます。
また、明るさの変化、影、虫などによる誤検出を排除することも可能です。

顔認識(Media Face Detector) (プレビュー)

ビデオ内での顔の検出を実行します。
写真なら1フレームですが、動画(複数のフレーム)ですので顔の動きも追跡できます。また、顔の位置の情報や検出時間なども出力ができます。
※追跡している顔は同じIDで出力しますが、個人の顔の検出はできないようです。

表情検知(Media Face Detectorオプション) (プレビュー)

ビデオ内で顔の表情から感情を数値化します。こちらは顔認識のオプション機能となっています。追跡できますので、継続的に感情の移り変わりを検出することが可能です。
表情は、喜び、悲しみ、驚き、怒り、軽蔑、恐怖、我慢、中立が認識できます。

ビデオプレビュー作成(Media Video Thumbnails) (プレビュー)

ビデオのクイックプレビューが作成できます。長時間のビデオを処理して、数秒から数分の短いプレビュー動画を生成します。場面の切り替わりでフェード処理を適用することもできます。Bingでのビデオ検索の結果ページのようなWebページが作成できるようです。

ビデオ光学式文字認識(Video Optical Character Recognition) (プレビュー)

ビデオ内に出てくる文字を検出して抽出できます。いわゆる動画にOCR検出が実施できます。
抽出位置の指定やサンプリング率を調整して、パフォーマンスと品質のバランスが取れます。

コンテンツモデレート(Content Moderation) (プレビュー)

ビデオ内から、ポルノ、人種差別、不敬、暴力など規制対象の内容を検出できます。
今まで、人力での対策をとってきたと思いますが、これで煩雑な作業やコストから解放されるかもしれません。

まとめ

まだ正式リリースではない機能が多いため、なかなか導入には判断が難しいかもしれませんが、基本的にJSON形式での出力ですので、かなりデータの汎用性はあります。

利用方法はAzureポータル.NETREST APIJavaと複数の方法で詳細な説明が用意されています。
※Media Services SDK for .NETが提供されていますので、Visual Studioでの開発も容易そうです。

高価な動画用の専門機材が手に入らない場合でもうまく連携していけば、負けずとも劣らない動画サイトやスマホサイトや高度な動画分析を含んだ処理などが個人や小規模からでも構築・導入できるかもしれません。

こちらは既に日本語サイトが用意されています。気になった方はサイト上で詳細を確認してください。(※まだ一部リンクが機械翻訳や英文だったりします。)

2016/12/9追記

でも、Media Servicesを使うためにプログラムコードを記述して処理しなければいけないの?と思われるかもしれませんが、こちらには便利な「Azure MediaServices Explorer」というツール(Windows版)がオープンソースで用意されています。

ams_exp

Azure側で事前に準備しておけば、コードを書けない人でもMediaServicesの強力な機能がほとんど利用できます。さらにはログから実行コマンドも拾えます。
※残念ながら日本語訳はされていません。

こちらでインストーラーが入手できます。
https://github.com/Azure/Azure-Media-Services-Explorer/releases

これで気軽に有効活用ができますね。

この記事をシェアする
Tweet about this on Twitter
Twitter
Share on Facebook
Facebook
0

Comments

Comments