Doc:JA/2.6/Manual/Motion Tracking

提供: wiki
< Doc:JA‎ | 2.6‎ | Manual
2012年1月20日 (金) 13:58時点におけるwiki>Yamyamによる版 (解決→解析への置換、Objectsパネルの追加、RGBボタンなど)
(差分) ← 古い版 | 最新版 (差分) | 新しい版 → (差分)
移動先: 案内検索

モーショントラッキング

はじめに

モーショントラッキング(Motion tracking)は Blender で新しく利用できるようになった技術です。まだ開発中で、現在カメラトラッキングの基本的な機能のみ対応しています。しかしすでに制作での使用に耐えるものになっています。

利用方法

モーショントラッキングは現在の SVN Trunk で利用可能で、2.61リリースに含まれることでしょう。すべてのプラットフォームでデフォルトで使用可能で、そのまますぐに利用できます。

以下は現在 Blender で利用できるモーショントラッキング用ツールの説明の概要です。

手動2Dトラッキング

実写映像、特徴点、モーションのすべてに利用できる汎用のアルゴリズムはありません。そのようなアルゴリズムの作成は可能ですが、非常に遅く、まだ失敗する可能性もあるため、2Dトラッキングを機能させる唯一の方法は手動でトラッキングのアルゴリズムを選択し、設定することです。 現在デフォルト設定で、あまりブレのなく、特徴点がパースなどであまり大きく変形しない一般的な実写映像ならうまく動作すると思われます。

2Dトラッキングの改良はすでに私たちの ToDO リストにありますが、現時点ではあまり優先度は高くありません。もしアルゴリズムと設定について自信がなく、このドキュメントを読みたくない場合は、自分で設定をいじり、動作する物を見つけてみてください。

グリースペンシルやグリッドを使用した手動レンズキャリブレーション

すべてのカメラは歪んだ動画を録画しますが、これはレンズの挙動の所為で歪みのないものはありません。正確なカメラモーションを得るには、正確な焦点距離(Focal Length)の値と、歪みの「強度(Strength)」を知ることが必要です。

現在、焦点距離はカメラの設定もしくは EXIF からしか取得することができません ― Blender 内には推測できるツールはないのです。 しかし、歪みを補うおおよその値を探すのに役立つツールがいくつかあります。これは完全に手動のツールでもあり、歪みモデルによる影響を受けたグリッドや、映像内の直線を決める変形した升目を使用することができます。

グリースペンシル(Grease Pencil)を使用することもできます ― 単に Poly Line ブラシを使用して映像の上に直線とおぼしき線を描き、distortion 値を調整してグリースペンシルを実写上の線に合わせるだけです。

さらにカメラを正確にキャリブレーションする唯一の方法は、OpenCV の Grid Calibration ツールを使用することです。OpenCV は同じ歪みモデルを使用しており、問題はないと思われます。

カメラモーションの解析

数学的見地からすると、カメラモーションの解析とオブジェクトモーションの解析に違いがないにも関わらず、現在はカメラの解析のみ対応しています。まだ、トライポッドモーションやドミナントプレーンモーション(すべてのトラック可能な特徴点が一つの平面上にある場合)の解析に未対応といった、いくつかの制限があります。将来的にはこれらの制限は解決される予定です。

シーン配置と安定化用基本ツール

解析後、もっと合成に便利なように、現実のシーンを3Dシーン内に配置させる必要があります。シーンの配置を行うため、床とシーンの方向、X/Y軸を決めるツールがあります。

また、時には最終結果の見た目をもっと良くするため、カメラからの動画を安定化させる必要があることもあります。2D Stabilization を利用し、カメラのジャンプや傾きを補正することで、カメラからの動画を安定することができます。

実写映像にシーンの合成を行う基本的なノード

映像に簡単にシーンを合成するための新しいノードがいくつかコンポジターに追加されました。2Dスタビライゼーション(Stabilize 2D)、歪み、歪み補正用ノード(Lens Distortion)があり、簡単に使用できます。

未実装のツール

私たちの ToDO リストにありますが、いくつかのツールはまだ Blender で利用できません。現在対応していないのは、回転シャッターフィルタリング、オブジェクトモーション解析、モーションキャプチャなどです。しかし、現在実装されているものを使用し、これらをなんとかやってみることもできます。

マニュアル

Movie Clip エディタ

ほとんどのモーショントラッキングツールは、Movie Clip エディタというエディタに集約されています。現在、モーショントラッキングに関する物以外のツールは全くないのですが、将来的にはマスキングなどに使用できるよう拡張されるかもしれません。これがモーショントラッキングの習慣に比べ、このようにもっと抽象的な名前に呼ばれている理由です。

このエディタはエディタタイプリストの最後にあります。

エディタタイプメニュー

Movie Clip エディタに切り替えた時、インターフェイスは以下のように切り替わります。

Movie Clip Editor インターフェイス

次は当然、作業を行うための新しいビデオクリップを開きます。これにはいくつかの方法があります。

  • Movie Clip エディタのヘッダのOpenボタンを使用する
  • Clip » Open メニューを使用する
  • AltO> ショートカットを使用する

Movie Clip エディタでは動画ファイルと連番画像(Image Sequence)の両方が使用できます。もし連番画像を使用する場合、ファイルの名前に一つだけ制限があります。最後の数字群は連続して増加していなければなりません。

ビデオクリップが Movie Clip エディタに読み込まれたら、インターフェイスに新たなパネルが表示されます。

クリップを開いた時の Movie Clip エディタ

スクリーンにたくさんの新しいツールが現れ、すべてに短い説明がされています。

まず最初に書いておきたいのですが、カメラソルバ(Camera Solver)は、完全に分割された3つのステップで構成されています。

  • 映像の2D トラッキング
  • カメラ固有パラメータ(焦点距離、歪み係数)の指定・推測・キャリブレーション
  • カメラの解析、シーン配置、シーン再構築

Movie Clip エディタ内のツールは使用されるステップごとに分けられており、2Dトラッキングだけができる時も、インターフェイスがシーン配置ツールとごっちゃになることはありません。現在表示されるツールのカテゴリは、エディタのヘッダにある Mode メニューで変更できます。

Movie Clip エディタ Mode メニュー

ただし、ほぼすべてのオペレータはメニューから呼び出すことができるため、違うエディタモードのパネル内に表示されているツールを見るのに、毎回モードを変更する必要はありません。

Tracking モードでは、トラッキングとカメラ解析に関連するツールのみが表示されます。カメラ解析ツールがここにあるのは、解析後、大抵の場合は現存のトラックを再トラックしたり、もしくは解析をもっと正確にするため、新しいトラックを置きたくなることがあるからです。

Tracking モードで利用可能なツール

Markers パネル
  • Add Marker and Move オペレータは、新しいマーカーをマウス位置に置き(この場合はボタンの下、理想的ではありませんが、これは動作方法の解説ですので)、その後必要な位置に移動できます。必要な場所に移動した時、LMB Template-LMB.png で新しいマーカーの位置を決定できます。また、↵ EnterSpace もマーカーの位置決定に使用できます。
ただ、CtrlLMB Template-LMB.png を使用し、マーカーを直接映像の上に置く方が早いです。このショートカットではクリックした位置にマーカーを置きます。あと、マウスボタンを離すまで、マーカー位置をマウス移動で調整したり、トラックプレビューウィジェットを使用し、マーカーの位置の精度をコントロールすることもできます。
  • Detect Features オペレータは、カレントフレームの特徴点を可能な限りすべて検知し、各特徴点にマーカーを置きます。このオペレータは他のフレームを考慮しないため、移動するオブジェクトに属する特徴点にもマーカーを置くこともあり、さらにカメラがこのショットから向きを変える途中である場合、カメラ移動後はマーカーが置かれません。
このオペレータにはいくつかのプロパティがあります。
Placement は、マーカーを置く場所をコントロールするのに使用します。デフォルトではフレーム全体に追加されますが、グリースペンシルで検知範囲として対象にする物を囲むと、マーカーはその囲んだエリア内のみに置くこともできます。これが "Inside Grease Pencil" の動作です。

また、完全に対象外のエリア(木や人など)を囲み、このエリアの外側にマーカーを置くこともできます。これが "Outside Grease Pencil" の動作です。

Margin は、画像の端と生成されたマーカーの距離をコントロールします。もしマーカーが画像の端に近すぎると、すぐにトラッキングに失敗してしまうため、手動で削除しなければなりません。手動による削除の量を減らすのにこのパラメータが利用できます。
Trackability は、マーカー配置時の最小トラッキング可能範囲を制限します。この値は特徴点発見アルゴリズムによるもので、基本的には低い値ではこの機能がすぐに追跡に失敗するようになり、高い値で追跡の失敗が少なくなります。マーカーの追加量をこの値でコントロールできます。
Distance で、配置されるマーカー間の最小距離をを設定します。マーカーがお互いに近すぎる場所に置かれるのを防ぐのに必要です(このような配置はカメラソルバを混乱させます)。
  • Delete Track は、読んで字のごとくのオペレータで、選択されたすべてのトラックを削除します。
Track パネル
  • 最初の列のボタンは選択されたトラックの追跡を行うのに使用します。追跡は以下の条件で行います(ボタン順):
    • 1フレーム前
    • 逆順方向
    • 順方向
    • 1フレーム後
このオペレータは後述する Tracking Settings パネルの設定に依存します。
もし順方向の追跡中、アルゴリズムがいくつかのマーカーの追跡に失敗したと返した場合、これらを OFF にし、残りのマーカーについて追跡を継続します。アルゴリズムがフレームごとの追跡中に失敗したと返した場合、マーカーは OFF にはされず、新しいフレームでの特徴点の最も可能性の高い位置が使用されます。
  • Clear After カレントフレームより後の選択中の全トラックで、追跡とキーフレーム挿入が行われたマーカーを削除します。
  • Clear Before カレントフレームより前の選択中の全トラックで、追跡とキーフレーム挿入が行われたマーカーを削除します。
  • Clear カレントフレーム以外の選択中の全トラックから、すべてのマーカーをクリアします。
  • Join オペレータは、選択中の全トラックを一つに統合します。選択中のトラックには同じフレームで共通の追跡された、もしくはキーフレームが挿入されたマーカーを持たせないほうがいいでしょう。
Solve パネル

Camera Motion オペレータは、映像上にあるすべてのトラックと、このパネルで指定された二つのキーフレームを使用し、カメラモーションを解析(Solve)します。いくつか必要条件があります。

  • 両キーフレームには最低8つの共通のトラックがあること
  • この二つのキーフレーム間に著しい視差効果があることが望ましい

解析中にすべて上手くいけば、Reprojection(再投影)エラーがインフォメーションスペースと Movie Clip エディタのヘッダに表示されます。 Reprojection エラーとは、映像上に投影した、各トラックから再構築された3D位置と、トラックの元の位置との距離の平均です。基本的に、Reprojection エラーは0.3未満では正確な再投影であり、0.3~3.0でまだ使用に耐えうる非常にいい解析が行われていることを意味します。3より上の値では、いくつかのトラックをもっと正確に追跡する必要がある、もしくは Focal Length(焦点距離)値や Distortion Coefficient(歪み係数)の設定がおかしいことを意味します。

Refine オプションで、解析中にリファインすべきパラメータを指定できます。この手のリファインは、カメラの特性をよく知らない場合や、ソルバがその特性用の最良のパラメータを見つけそうな時に便利です。ただし、それでもおおよその初期値を知っている必要があります ― 最初に完全に異常な値を設定した場合、正しい値を見つけるのを失敗するでしょう。 (訳注:intrinsics→特性と訳しています --Yamyam

Cleanup パネル

このパネルには一つのオペレータとその設定があります。このオペレータはまずいトラック(追跡が短すぎる、もしくは正確な再構築に失敗したトラック)をクリーンアップします。各閾値はボタン下のスライダから設定できます。また、他にもいくつかの対応がまずいトラックに対し行えます。

  • 単純に選択する
  • トラックシーケンスのまずいセグメントを削除する
  • トラック全体を削除する
Clip パネル

このパネルは現在、編集中のクリップを表示中の全ての3Dビューの背景として設定するオペレータ Set as background が一つあります。表示中の3Dビューがない、もしくは Movie Clip エディタがフルスクリーンで開かれている場合は何も起こりません。

Tracking モードで使用可能なプロパティ

Grease Pencil パネル

標準のグリースペンシルパネルで、新しいグリースペンシルレイヤとフレームをコントロールできます。ひとつだけ他のエディタでのグリースペンシルの挙動と違うところがあります。新しいレイヤが「必要に応じて」作成された時(それ以前にレイヤを追加せずに描いた場合)、レイヤのデフォルトカラーがピンクになることです。これは多くの動画でストロークがわかりやすくなるからです。


Objects パネル
Movie Clip エディタの Objects パネル

このパネルには、トラッキングやカメラ、オブジェクトの解析に使用できるすべてのオブジェクトのリストがあります。デフォルトでは、このリストにはカメラ解析に使用するためのオブジェクトが1つだけあります。これは削除不可能で、他のオブジェクトはカメラ解析に使用することはできず、追加オブジェクトはすべてオブジェクトのトラッキングと解析にしか使用できません。これらのオブジェクトは Follow Track と Object Solver コンストレイントから参照することができます。Follow Track はデフォルトでは Camera オブジェクトを使用します。

新しいオブジェクトは、+ ボタンを使用して追加でき、また、アクティブオブジェクトを - ボタンで削除することもできます。このパネルの下側のテキストエントリは、アクティブオブジェクトのリネームに使用されます。

間違ったオブジェクトにトラックが追加・トラッキングされてしまった場合は、Track » Copy TracksTrack » Paste Tracks を使用し、他のオブジェクトにコピーできます。

(カメラやオブジェクトトラッキングに使用される)全種類のオブジェクトのユースケースは同じです。特徴を追跡し、カメラデータを設定し、モーションを解析します。カメラデータはすべてのオブジェクト間で共有され、カメラモーションの解析中のみ、カメラ特性のリファインが行われます。


Track パネル
Movie Clip エディタの Track パネル

最初に、トラック名はこのパネルで変更できます。トラック名は Follow Track コンストレイントのように、トラッキングデータと他のエリアをリンクするのに使用されます。

次にここでコントロールできるのは、マーカーのON/OFFフラグです(目のアイコンボタンを使用)。マーカーをOFFにした場合、その位置はソルバにもコンストレイントにも使用されなくなります。

目の隣のカギボタンは、トラックをロックします。トラックのロックにより、すべての編集が不可能となります。これは「完了した」(全映像において正確にトラックされた)トラックを不意に編集してしまうのを防ぐのに役立ちます。

このパネルに置かれたウィジェットは「トラックプレビュー」と呼ばれ、パターンエリアの内容を表示します。これはどれだけいい追跡が行われているかを確認(元の位置からずれをなくすのをコントロール)するのに役立ち、必要な位置にトラックを戻すのに便利です。トラックの移動はこのウィジェットをマウスドラッグすることで直接行うことができます。

もしアンカー(Anchor)が使用されていれば(画像上の追跡中の位置が、ペアレントに使用されている位置と違う)、プレビューウィジェットはアンカー位置の周辺を表示します。このような設定は、マスクの端を置くべき場所にいい特徴がない時にマスキングするのに便利です。このテクニックの詳細は後述します。

プレビューウィジェットの下の小さな領域で、プレビューウィジェットの縦の長さを大きくできます(領域は二つの水平線で強調されています)。

次の設定はチャンネルのコントロールです。トラッキングはグレースケール空間で行われるため、特徴と背景間のコントラストが正確なトラッキングを行うのに足りないことがあります。このような場合、いくつかのカラーチャンネルを OFF にすると助かることがあります。

最後はカスタムカラー(Custom Color)とそのプリセットです。これは Movie Clip エディタと3Dビューで使用される、デフォルトのマーカーカラーを置き換える設定で、違うタイプの特徴点(例えば遠くの平面の特徴点と近くの平面の特徴点など)を区別するのに便利です。また、カラーはトラックの「グルーピング」にも使用することができ、Select Grouped オペレータを使用し、カラーでトラックのグループを選択することもできます。

Camera Data パネル

このパネルには現在 Movie Clip エディタで編集中の動画を映写するのに使用されるカメラの全ての設定があります。

まず最初に、あらかじめ定義された設定を使用することができます。新しくプリセットを追加したり、使用しないプリセットを削除することも可能です。ただし、歪み係数(Distortion Coefficient)や重要点(Principal point)のような設定はプリセットには含まれておらず、カメラプリセットを使用していても設定はしないといけません。

  • Focal Length は、文字通り動画が撮影された焦点距離です。mm とピクセルで指定可能です。大抵の場合、焦点距離は mm ですが、時々(ネット上のチュートリアルなどでは)、ピクセルのこともあります。そんな場合も直接慣れた単位で設定できます。
  • Sensor Width カメラ内の CCD センサの幅です。この値はカメラの仕様書にあります。
  • Pixel Aspect Ratio は、CCD センサのピクセルのアスペクト比です。この値もカメラの仕様書で知ることができますが、推測することもできます。例えば、映像は1920×1080だけど、画像自体は1280×1080の場合、ピクセルのアスペクト比は以下のようになります。
<math>1920 / 1280 = 1.5</math>
  • Optical Center は、カメラ内で使用されているレンズの光学的な中心です。大抵の場合、画像の中心と同じなのですが、いくつかの特別なケースでは違いができます。このような場合はカメラ・レンズの仕様書をチェックしてみてください。光学的な中心を画像の中心に設定するには、スライダの下のCenterボタンをクリックしてください。
  • Undistortion K1, K2 and K3 は、動画の撮影で生じるレンズの歪みを補正するのに使用される係数です。現在この値は Distortion モードで利用できるツールを使用し、手動でのみ調整できます(まだキャリブレーションツールはありません)。基本的に既知の焦点距離では解析まで K1 を調整するだけで、ほぼ正確になるでしょう(ただし、グリッドとグリースペンシルも「不可能な」歪みを防ぐのに考慮されます)。
Display パネル

このパネルには Movie Clip エディタ内に表示される物をコントロールするすべての設定が含まれています。

  • R, G, BB/W ボタン(一番上)は、フレームプレビューに使用されるカラーチャンネルのコントロールと、全フレームをグレースケールにするのに使用されます。

トラッキングアルゴリズムがグレースケールの画像で動作するため、そしてどのチャンネルをOFFにすれば特徴点のコントラストが上がり、ノイズが減るかがいつもすぐわかるわけではないため、必要な設定です。

  • Pattern は、トラックのパターンエリアに合致する矩形の表示を OFF にするのに使用できます。Movie Clip のビューをより鮮明にし、どれだけいいトラッキングが行われているかをチェックするのに役立ちます。
  • Search は、トラックのサーチエリアに合致する矩形の表示を OFF にするのに使用できます。Movie Clip のビューをより鮮明にし、どれだけいいトラッキングが行われているかをチェックするのに役立ちます。選択中のトラックのサーチエリアのみ表示されます。
  • Pyramid は表示するもっとも高いピラミッドレベルを表示できるようにします。ピラミッドについては Tracking Settings パネルのセクションで後述しますが、基本的にどれだけ多くのトラックを一つのフレームから他に移動できるかを判断するのに役立ちます。
  • Track PathLength は、トラックの経路の表示をコントロールします。一つのフレームのみに注目した、トラックの移動を視覚化できる方法です。トラックがその位置からジャンプしているかどうかを判断するのに便利です。
  • Disabled Tracks は、カレントフレームで OFF になっているすべてのトラックを隠せるようにします。これはトラッキングが十分な精度で行われている時、ビューを綺麗にし、コントロールしやすくするのに便利です。
  • Bundles は動画クリップ解析後に使用する物で、次のように動作します:各トラックの解析された位置を動画クリップ上に投影し直し、小さな点として表示します。点の色は投影された座標と元の座標の距離に依存し、もし、充分近ければ緑に、そうでなければ赤になります。これはうまく解析されていない、調整が必要なトラックを見つけるのに便利です。
  • Names and Status は、トラックの名前と、その状況(キーフレームがついた(Keyframed)、OFF(disabled)、トラッキングされた(Tracked)、評価後(Estimated))を表示します。選択中のトラックの名前と状況が表示されます。
  • Compact Markers。マーカーの表示方法(黒い枠と黄色の表面色)はどんな映像上でも(明暗両方で)トラックが見えるようになっています。しかし、それが邪魔になる場合、このオプションでマーカーをもっとコンパクトに表示します。枠線が黒の破線になり、表面より上に表示することで、マーカーエリアはたった1ピクセルの大きさになります。
  • Grease pencil は、グリースペンシルのストロークの表示と作成を可能かどうかを意味します。
  • Mute は、動画フレーム自体の表示を黒の四角形に変更し、不正確な追跡が行われたトラックや、全く追跡されていないトラックを見つけるのに役立ちます。
  • Grid (Distortion モードのみ) は、本来の正射投影に歪みモデルの影響を与えたグリッドを表示します。このグリッドは手動キャリブレーション(グリッドの歪んだラインが映像中の直線に相当)に使用できます。
  • Manual Calibration (Distortion モードのみ) は、

グリースペンシルのストローク用の歪みモデル(Distortion model)を適用します。このオプションは手動キャリブレーションを行うのにも役立ちます。このプロセスの詳細は後日作成します。

  • Stable (Reconstruction モードのみ)。このオプションは表示中のフレームに2D stabilization 設定の影響を与えます。これは実際の映像自体を変更しない唯一のプレビューオプションです。
  • Lock to Selection 再生もしくは追跡時、全映像中にわたり、選択中のトラックをエディタの同じスクリーン位置に表示します。このオプションは追跡処理のコントロールと、トラックがずれ始めた時、もしくはジャンプした時に追跡処理を止めるのに役立ちます。
  • Display Aspect Ratio は表示のアスペクト比のみ変更します。追跡や解析プロセスには影響しません。
Tracking Settings パネル
共通オプション

このパネルには2D追跡アルゴリズム用のすべての設定があります。どのアルゴリズムを使用しているかにより別々の設定が表示されますが、共通する、すべてのトラッカー用の設定がいくつかあります。

Adjust Frames は、どのパターンを追跡させるかをコントロールし、もし重要な物であるなら、そのフレームからのパターンが追跡されます。以下にもっとわかりやすい例を挙げます。

トラッカーのアルゴリズムはサーチエリア内の二つの画像と、最初の画像内の追跡されたポイントの位置を受け取ります。そしてトラッカーは最初の画像のポイントの、二つめの画像での位置を検索しようとします。

では、シーケンスの追跡が起こる仕組みです。二つめの画像は常に、マーカーの位置が分からないフレーム(次の追跡フレーム)から作成された画像です。しかし、最初の画像との違いがトラッカーに送られることがあります。以下はほぼ大半に使われる組み合わせです。

  • キーフレームが打たれたトラックのあるフレームから作成された画像。この設定は(トラッカーにより返されているオリジナルパターンにほぼ一致する位置なため)オリジナル位置からのずれを阻止しますが、小さなジャンプを引き起こしたり、カメラモーションの所為(遠近による変形など)で特徴点が変形された時に失敗する可能性があります。このような設定は、Adjust Frames が 0 に設定されていた場合に使用されます。
  • 最初の画像としてトラッカーに送られているカレントフレームから作成された画像。この状態では、パターンが隣接した二つのフレーム間でトラッキングを行います。特徴点が大きく変形するケースでの処理が可能ですが、オリジナル位置から大きくずれる可能性もあるため、調整が必要です。このような設定は、Adjust Frames が 1 に設定された場合に使用されます。

Adjust Frames が1より大きい場合のトラッカーの挙動は、Adjust Frames フレーム毎にトラック用のキーフレームが作成され、キーフレームが打たれた画像と次の画像が使用され、その間のトラッキングを行うような感じになります。

Speed は、連続トラッキングの速度をコントロールするのに使用できます。このオプションはトラッキング品質には何も影響せず、単にトラッキングが正確に行われているかどうかを確認するだけに役立ちます。ほとんどの場合、トラッキングはリアルタイム再生より大幅に速く行われ、トラックが位置からずれ始めているのに気づくのは難しいです。このような場合、Speed を Double もしくは Half に設定し、二つのフレームのトラッキング中に遅れを加えれば、ずれに早期に気づいてトラッキング処理をキャンセルし、トラックの位置を調整することができます。

Frames Limit は、Track Sequence オペレータが呼ばれている際、どれぐらいのフレームがトラック可能かをコントロールします。Track Sequence オペレーション毎に、最大 Frames Limit フレーム、トラックします。これもトラックのずれの確認と修正に役立ちます。

Margin は、トラックが画像の境界の近くになりすぎた時に、トラックを OFF にするのに使用できます。このスライダは、ピクセル数で「近すぎる距離」を調整します。

KLT tracker オプション

KLT tracker は、デフォルトで使用されるアルゴリズムです。大半の特徴点の類とその動きをトラック可能です。ピラミッドトラッキングを使用しており、これは次のように動作します。 まず、アルゴリズムは全体的なモーションの方向を見つけるため、パターンより大きな画像をトラックします。その後、最初のステップから位置を絞り込み、最終的な位置の精度を高めるため、少し小さめの画像をトラックします。これは何度か続けて行われます。このトラッキングのステップ数は、Pyramid Level オプションと同じで、私たちが最初のステップで書いているとおり、トラッキングは最も高いピラミッドレベルで起こります。そのため、ピラミッドレベル=1ではパターン自身と同等になり、各レベルごとにトラッキング画像は2倍になります。

サーチエリアは最高ピラミッドレベルより大きくなり、サーチエリアと最高ピラミッドレベルの間の「フリースペース」は、どれぐらい多くの特徴点が一つのフレームから他に移動できるかを決めます。

ほとんどの一般的なケースでは、デフォルト設定で動作すると思いますが、時にはピラミッドレベルを変更しないといけないでしょう。例えばぼやけた映像の場合、新たにピラミッドレベルを追加することで、トラックする助けとなります。

このアルゴリズムは、特徴点が一つの方向に移動し、特徴点の周囲のテクスチャが他の方向に移動するような時は失敗することがあります。

SAD tracker オプション

各ステップにおいて、SAD tracker はサーチエリア全体を検査し、二つめの画像上に、トラッキング中のパターンに最も似たパターンを見つけます。これは非常にすばやく動作しますが、いくつかのケースでは失敗します。 例えば、トラッキング中の特徴点によく似た別の特徴点があり、それがサーチエリアに現れた時で、この場合、SADは一つの特徴点から他にトラックを飛ばしてしまいます。

Correlation は、依然トラッキングが成功しているとみなす、二つのパターン間の相関関係の閾値を決めます。0で全く相関関係がないことを意味し、1で完全に相関関係にあることを意味します。

一つ制限があります。現在、16×16の特徴のみ動作します。

Marker パネル

このパネルには、マーカー位置、パターンとサーチエリアの寸法、パターン中心からのアンカーポイントへのオフセットの数値設定があります。すべてのスライダは名前どおりの設定です。

Proxy / Timecode パネル
Movie Clip エディタ内の Proxy / Timecode パネル

このパネルにはプロクシイメージ(Proxy Image)と、動画のタイムコード(Timecode)に使用されるオプションがあります。

プロクシイメージで、Movie Clip エディタ内に低解像度で画像を表示することができます。これは少ない RAM 量のマシンで4K映像のトラッキングを行うような場合に便利です。

最初の4つのオプションは、生成するプロクシイメージの解像度を設定するのに使用します。現在、オリジナルサイズの25%、50%、75%、100%が作成できます。100%のサイズの Proxy は、デコードできなかった、壊れたフレームを含む動画に使用できます。

Build Undistorted は、プロクシイメージビルダが歪んでいない元の画像から上記で設定したサイズの画像も作成します。これは歪んでいない映像をすばやく再生するのに役立ちます。

生成されたプロクシイメージは、JPEG を使用してエンコードされ、JPEG コーデックの品質は、Quality スライダによってコントロールされています。

デフォルトでは、生成されたすべてのプロクシイメージは、<元映像のパス>/BL_proxy/<クリップ名> フォルダに格納されますが、この場所は Proxy Custom Directory オプションを使用することで手動で設定できます。

Rebuild Proxy は、上で設定されたすべてのサイズのプロクシイメージと、後で使用できる全タイムコードを再生成します。

Use Timecode Index は、動画ファイルに使用でき(そしてよく使用され)ます。基本的に、タイムコードはフレームの検索を高速化し、精度を高めます。カメラとコーデックによっては、別のタイムコードでいい結果になることもあります。

Proxy Render Size は、表示に使用されるプロクシサイズの解像度を決めます。もし Render Undistorted が設定された場合、画像は使用されている歪みのないフレームからイメージを作成します。もし何もプロクシが生成されていない場合、レンダリングサイズは "No proxy, full render" に設定され、歪み補正レンダリングが有効になり、フレーム描画時に自動的に歪み補正されます。

Reconstruction モードで利用可能なツール

Proxy / Movie clip エディタ内の2D Stabilization パネル

Reconstruction モードで利用可能な新たなパネルに、2D stabilization パネルがあります。

このパネルはショットの2Dスタビライゼーションに使用されるデータを定義するのに使用します。オプションがいくつかこのパネルで使用できます。

まず最初に、カメラのジャンプや位置を補うトラックのリストがあります。これは次のように動作します:位置のスタビライゼーションに使用されるトラックリストからトラックを取得し、最初のフレーム上のこれらのトラックすべてから中間点を見つけます。各フレームごとに、アルゴリズムがフレーム全体の動きから、スクリーン座標上で同じ位置を持つこのポイントを作成します。

時にはカメラのジャンプを完全に補正する必要がないことがあります。そんな場合、Location Influence が使用できます。

また、カメラが少し回転し、その映像が若干傾いていることもあります。Stabilize Rotation オプションはこの傾きを補正するものです。 これを設定するには新たなトラックが1つ必要になり、次のように動作します:動画の最初のフレームで、このトラックが前述のリストからの複数のトラックの中心点につなげられ、水平線とこの線分との角度が全映像中に渡って一定に保たれます。その映像に適用される回転量は、Rotation Influence で調節できます。

もしカメラが大幅にジャンプしていれば、画像の境界近くに黒い領域が目立つことになります。このブラックホールを取り除くために、最小スケールを探す Autoscale オプションがあり、その映像にこれを適用すると画像の境界の近くのすべてのブラックホールが削除されるでしょう。最大スケールファクターをコントロールするオプション(Maximal Scale)と、その映像に適用するスケール量のオプション(Scale Influence)もあります。