ストップモーション アニメ制作を協働ロボットとコラボレーション（後編）

ロボットとカメラを Maya からコントロール

この LBR iiwa 14 R820 とカメラのコントロールを行うツールに、谷口氏は Autodesk Maya を使用。Maya のプラグインを開発して独自のシステムを構築した。「DCC (Digital Content Creation) ツールである Maya をロボットのコントロールに使えば、CG のテクニックがロボットに使えて、さらに Maya の新しい可能性を引き出すこともできると考えました」。これは実空間をコンピューター内でバーチャルに再現する CG とは逆の取り組みでもある。「ロボットアームを Maya からコントロールすることで、実空間を Maya でオーサリングできるようにするのも狙いでした」。

Maya と 2 台のロボットアームのコミュニケーションには、OSC (Open Sound Control) プロトコルを使用。双方向の通信が行われ、Maya からロボットアームにはキューブをピックアップする位置やカメラの位置の情報が、またロボットアームから Maya にはジョイントの角度の情報が送られている。この OSC は、本来は音楽の演奏データをリアルタイムで共有するための通信プロトコルだが「リアルタイム性と拡張性が優れていて、メッセージの内容をかなり自分で組み立てられるので非常に柔軟」だという。「メディアアートで多用される Open Frameworks がサポートされていることもあって、コンピューター同士やコンピューターとスマホなどを繋ぐ際に使うことも多いですね」。

ロボットと人間のコラボレーション

作品の準備は、最初に谷口氏が大まかなコンセプトを提示し、それに呼応する形で岡崎氏がストップモーションアニメとしてどう動かしたらいいのかを考え、それを谷口氏が Maya で表現するという流れで行われた。

実際の作品作りでは、ロボットアーム 1 台がキューブをつかんで次の位置へ運び、もう 1 台のロボットがデジタルカメラの撮影位置・角度を調整するという動作が繰り返される。0.1 mm の動作精度を持つロボットアームが、プログラムされた通りの動きを正確に再現。カメラでの撮影、画像の転送、その画像をつないだアニメーションの作成も、すべて自動的に実行される。「毎回同じループができ、合成したときにぴったり合うようにできるから、ストップモーションアニメとの親和性も高い。動きを Maya 上でシミュレーションできるのは、非常にメリットがありましたね」と、谷口氏は制作過程を振り返る。

このプロジェクトが面白いのは、ロボットがキューブを動かし、そのコマ撮りをしている作業風景そのものが、人の目を引くパフォーマンスにもなりうるということだ。

さらに「通常のコマ撮りアニメだと、決まったシーケンスをきっちりやることに労力と注意が行ってしまう。そこをロボットがやることで、人間は俯瞰してみることができるし、流れを見て面白いことをやってみたりできる」と、人間とロボットの協働のメリットをあらためて谷口氏は実感したという。今回のプロジェクトでも、手間と時間のかかる作業をロボットに任せることで、人間はよりクリエイティブな部分に集中できた。「ロボットがものを動かしているときに人間が何かをさっと差し替えたり、紙でつくった漫画の擬音のようなものを実際に差し込んだりすることで、アドリブ性が出ました」。

今回開発したアプリケーションは、よりインタラクティブに活用することもできるようデザインされている。「シーケンス通りに動かせるだけでなく、Maya からポジションを送ると、そこにキューブを置くこともできるような、柔軟な作りにしてあります。アニメーション シーケンスを使うだけでなく、次々とポジションを指定してインタラクティブに動かすこともできますね」。

谷口氏は、自らの活動について「目指すところは IT 界のマイルス・デイヴィス」だと言う。そして、どのプロジェクトでも、ジャズ ミュージシャンのように「方向を決め、仲間を集め、コードを書いてプレイヤーとなり、セッションのように仕事をする」ことを楽しんでいるのだ。

<前編はこちら>

本記事は「創造の未来」をテーマとするオートデスクのサイト「Redshift ⽇本版」の記事を、許可を得て転載したものです。