ブルーバックを使わずに動画のマット作成が可能な「RayBrid」を、2008年のInter BEE会場でアピールしたエム・ソフト（東京都台東区、TEL03-5827-7243、 http://www.raybrid.com/）。展示7ホールの横断通路近くで、「マット切り革命！」という赤バックのブースを記憶している人も多いに違いない。サービスの概要は、本サイトの2月16日のニュースでも採り上げたが、開発の経緯や今後の予定なとについて詳しくうかがった。

ソフトウェアハウスが制作現場の課題に挑戦して開発

映像合成用の切り抜き作業は、時間と労力が必要なもの。その切り抜き作業をサービスとして行うというエム・ソフト。「いったいどんな会社なのだろう」と、Inter BEEの会場で思った方も多いだろう。それも、そのはず。エム・ソフトは、映像処理を専門に行う会社ではなく、ソフトウェア開発会社なのだ。

事業企画本部 事業企画推進室 片岡 宏仁 室長

「当社は、画像処理系・機器制御系・通信系の製品ドライバーやファームウェア、サポートソフトウェアを受託開発しています。主要な取り引き先がキヤノン、NEC、NTTなどですから、会社自体は知られていなくても、製品を使う上で必要なソフトウェアとして、みなさんに使っていただいているソフトウェアをつくっています」

こう話すのは、事業企画本部 事業企画推進室の片岡 宏仁 室長だ。自社開発の「RayBrid」による映像処理サービスの展開は、エム・ソフトの研究開発部門として立ち上げた社内ベンチャー事業という位置付けとなる。

RayBridの開発のきっかけは、埼玉県本庄にある早稲田大学の客員研究員である片岡氏が、隣接の芸術科学センターで映画制作のポストプロ作業に立ち会ったことだったという。

「本編集時に、監督から『そこのシーンは、時代考証が間違っているので差し替えておいて』という指示が出たんです。コンポジットシステムで簡単にできるのかと思って担当者に尋ねたところ、『簡単には切り出せないので、来週の本編作業まで徹夜が続くんです』と...。映像制作の現場というのは、すごいところなんだなと感じました。それであれば、自分たちの画像処理技術で、寝れない担当者たちを少しでも寝られるようにできるのでは、と思ったんです」

モジュールを組み合わせて新機能を実現するRayBrid

事業企画本部 事業企画推進室 宗宮 優一 氏

エム・ソフトが開発した動画加工ソフトウェアRayBridは、動画加工に関する複数のソフトウェアから構成されている。現在、実現しているソフトウェアには、Inter BEEでアピールしたマット切り作業効率化のための「Matte Maker」と、この技術を応用して映像から動いているものを消し去って背景を抽出する「Quietude」の2つがある。RayBridの特徴について、事業企画本部 事業企画推進室でRayBridの開発に携わっている宗宮 優一 氏はつぎのように話した。

「RayBridは、1つのソフトウェアではなく、数多くの機能モジュールを組み合わせてつくるソフトウェアの総称です。
Matte Makerは、手で動いている部分を切り出すのとは異なり、ソフトウェアで自動的に解析して切り出しを行うので、細部の質感を維持したまま抜くことができることが特徴です。キーヤーを使用すると、毛先などが潰れてしまったり、周辺に青や緑のスピルが残ったりすることもあるのですが、Matte Makerはブルーバックやグリーンバックも必要としないので、毛先まで奇麗に抜くことが可能になります。

キーヤーを使用しないMatte Makerでは、毛先まで奇麗に切り抜くことが可能

Matte Makerはソフトウェアの自動解析により、細部の質感を維持したまま切り抜くことができる。上から、元素材、切り抜き素材、切り抜き素材から作成したマスク

Quietudeでは、動いているものを消して無人の背景をつくり出すことができます。たとえば、渋谷のハチ公前の交差点が無人になるようなケースは、深夜の3時ごろに10秒ほどしかないという状態ですが、Quietudeを使うと、昼間の映像から無人のハチ公前交差点をつくることが可能になるというわけです」

Quietudeでは、動いているものを消して無人の背景をつくり出すことができる。上が元素材（渋谷ハチ公前交差点）、下が作成した無人の交差点

Matte Maker、Quietudeに続いて、現在、色収差補正を行うためのソフトウェアも開発中であるという。映像の周辺部に残ってディテールをぼかす原因になる色収差を除去することが目的で、これも現場の要望から開発をし始めた。

「Matte Makerは、マットを自動で作成しているので、動きのあるものの周辺に発生している色収差についても、動いているものの一部として切り出されてしまいます。この色収差部分は合成時に邪魔になる要素でもあるので先に落とせないかという要望がありました。Photoshopを使うように、切り出したマットから色収差補正を1枚1枚していくことも可能ではあるのですが、当社は一貫して『人の手を煩わせないで自動的に検出する』と考えています」（宗宮氏）

まだまだ開発初期段階であり、より精度を上げ、クォリティを改善していく必要があり、色収差補正のサービス開始までにはもう少し時間がかかりそうだ。

並列演算処理により重い処理を短時間で実現可能に

全フレームを時間軸で解析しながら、30台のPCで並列処理

Inter BEE以降、ソフトウェアをパッケージ販売してほしい、After Effectsのプラグインとして実現できないかという要望も寄せられているという。しかし、演算処理量やメモリー消費量はとてもプラグインレベルで可能なものではないそうだ。

「全フレームを時間軸で解析しながら処理をしているので、処理負荷が大きくなります。そこで、現在は受託サービスの形を採り、30台のPCで並列処理をしています」と、宗宮氏は話した。「この範囲のフレームのこの部分だけのマットを作成すると指定するのは、それだけ時間と手間が必要になると考えました。編集担当者が休めるようにという開発コンセプトを実現するには、そんな作業の手間も省いて、PCで全フレーム・全画面を解析すればよいという考えです」

受託サービス方式を採用しているため、社内の担当者が操作できればいいと、ソフトウェアのインタフェースは簡易なものとなっている。設定を行い、バッチ処理をスタートしてしまえば、解析作業は自動で行われていく。ここに掲載しているユーザーインタフェースも、プレビュー用に仮につくられたものだという。

プレビュー用の仮ユーザーインタフェース。社内作業用のインターフェースは簡易的なものとなる

RayBridは、数多くの演算モジュールで構成されている。その演算モジュールを組み合わせていくことで、Matte MakerやQuietudeというソフトウェアとして実現している。コンポジットシステムがノードをつなぎ合わせて演算処理をしていくのと同様に、RayBridもまた、演算モジュールをつないでいくことで機能を実現している。そのため、1つ1つのモジュールの処理を理解しないとソフトウェアの動きを理解することはできず、ソフトウェアをブラックボックス化して処理を自動化するにしても、処理を行う映像の内容によってある程度のパラメーターが必要になる。だれもが手軽に扱えるようなユーザーインターフェースにすることが難しかったということも、受託サービスを選択した理由の1つであると宗宮氏は明かした。

マット作成時間が従来の半分以下になる利用効果

Matte Makerで扱える入出力ファイルフォーマットは、TIFF、ビットマップ、DPXの各連番ファイル。TIFF、ビットマップについては圧縮していないものという制限がある。これ以外のファイルやテープ納品については相談して欲しいとした。基本的な作業条件としては、フルHD（1920×1080）サイズで1カットあたり1000フレームまでだ。ソフトウェアの仕様でフルHDまでに制限しているわけではなく、処理時間や並列演算処理にかかるメモリー負荷を考慮した結果であり、実際は4kなどのより高解像度な映像にも問題なく対応できるのだという。

エム・ソフトでは、受託サービスを受ける段階で実際の映像でテストをしている。テスト映像をを使って、マットの切れ具合やエッジの馴染ませ具合を確認してもらい、その要望に合わせてパラメーターの調整を行って仕上げ作業に入るという流れだ。

「普通の映像からマットを作成できるということがウリなのに、テスト用に送られてくる映像は、みんなブルーバックやグリーンバックなんです。単色のバックにしておかないと不安なんでしょうね。お客様のもっているブルーバックやグリーンバックを使わない映像で、これだけ抜くことができるんですよということを、テストして見せたいんですが」（片岡氏）

Matte Makerによるマット作成サービスを利用することで、確実に手間も時間も削減できる。持ち込まれた映像でテストしたケースでは、5人クリエイターが1週間かかっていたマット作成作業を2日間で完成させた。しかも、エム・ソフト社内でその作業に関わった人数は、1人だけであったという。客先に作業完了の連絡をしたときは、相当驚かれたようだ。片岡氏は、マット作成サービスを利用することで、使用する映像にもよるが、作業時間が従来の半分以下になる効果があると話した。

「現場では、マットを切る長時間作業に何人も費やしてしまうよりも、その部分を自動化して、本来の合成や編集などのクリエイティブな部分に時間をかけたいと言われます。当社のサービスを使用することで、その時間を作品性を上げることに費やしてもらえるようになればと思います。RayBridについては、現状では映像に応じたパラメーターを設定する必要があります。今後は、映像制作に初めて携わる人でも扱えるように改良を重ねていく予定です」（片岡氏）