基本行列 （きほんぎょうれつ、英 : essential matrix ）
E
{\displaystyle \mathbf {E} }
コンピュータビジョン の分野で用いられる
3
×
3
{\displaystyle 3\times 3}
行列 であり、カメラがピンホールカメラモデル を満たすことを仮定したステレオ画像ペア間の対応する2点 の関係を表す。
より具体的には、
y
{\displaystyle \mathbf {y} }
y
′
{\displaystyle \mathbf {y} '}
同次正規化 画像座標 とし、
y
{\displaystyle \mathbf {y} }
y
′
{\displaystyle \mathbf {y} '}
(
y
′
)
⊤
E
y
=
0
{\displaystyle (\mathbf {y} ')^{\top }\,\mathbf {E} \,\mathbf {y} =0}
H.クリストファー・ロンゲ・ヒギンズ によって発表され、この概念がコンピュータービジョンコミュニティに紹介された。 リチャード・ハートレー とアンドリュー・ジサーマン の著書では、類似の行列がもっと以前から写真測量法 に登場していたと報告されている。 ロンゲ・ヒギンズの論文には、対応する正規化画像座標の組から
E
{\displaystyle \mathbf {E} }
E
{\displaystyle \mathbf {E} }
基本行列は、基礎行列
F
{\displaystyle \mathbf {F} }
の前身とみなせる。いずれの行列も画像上の点ペア間の制約を確立できるが、基本行列は正規化を行うためにカメラの内部パラメータ（行列
K
{\displaystyle \mathbf {K} }
K
′
{\displaystyle \mathbf {K} '}
E
=
(
K
′
)
⊤
F
K
.
{\displaystyle \mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K} .}
ここではロンゲ・ヒギンズによる論文に従って導出を行う。
正規化済みの2つのカメラが、それぞれの画像平面に3次元世界を投影しているとする。点P の3次元座標を各カメラの座標系に対して
(
x
1
,
x
2
,
x
3
)
{\displaystyle (x_{1},x_{2},x_{3})}
(
x
1
′
,
x
2
′
,
x
3
′
)
{\displaystyle (x'_{1},x'_{2},x'_{3})}
ピンホールカメラモデル が適用でき、対応する画像座標は
(
y
1
y
2
)
=
1
x
3
(
x
1
x
2
)
{\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}}
(
y
1
′
y
2
′
)
=
1
x
3
′
(
x
1
′
x
2
′
)
{\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\end{pmatrix}}}
と表せる。
2つの画像座標の同次表現は、次の式で与えられる。
(
y
1
y
2
1
)
=
1
x
3
(
x
1
x
2
x
3
)
{\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}}
(
y
1
′
y
2
′
1
)
=
1
x
3
′
(
x
1
′
x
2
′
x
3
′
)
{\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\\1\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\\x'_{3}\end{pmatrix}}}
これは、
y
=
1
x
3
x
~
{\displaystyle \mathbf {y} ={\frac {1}{x_{3}}}\,{\tilde {\mathbf {x} }}}
y
′
=
1
x
3
′
x
~
′
{\displaystyle \mathbf {y} '={\frac {1}{x'_{3}}}\,{\tilde {\mathbf {x} }}'}
のようにコンパクトに書くこともできる。ここで
y
{\displaystyle \mathbf {y} }
y
′
{\displaystyle \mathbf {y} '}
x
~
{\displaystyle {\tilde {\mathbf {x} }}}
x
~
′
{\displaystyle {\tilde {\mathbf {x} }}'}
正規化されたカメラのもう1つの結果は、各座標系を平行移動と回転によって関連付けられることである。これは、3次元座標の組が次のように式で関係付けられることを意味する。
x
~
′
=
R
(
x
~
−
t
)
{\displaystyle {\tilde {\mathbf {x} }}'=\mathbf {R} \,({\tilde {\mathbf {x} }}-\mathbf {t} )}
ここで
R
{\displaystyle \mathbf {R} }
3
×
3
{\displaystyle 3\times 3}
t
{\displaystyle \mathbf {t} }
基本行列は次のように定義される。
E
=
R
[
t
]
×
{\displaystyle \mathbf {E} =\mathbf {R} \,[\mathbf {t} ]_{\times }}
ここで
[
t
]
×
{\displaystyle [\mathbf {t} ]_{\times }}
t
{\displaystyle \mathbf {t} }
外積の行列表現 である。注: ここで、変換
[
R
T
|
t
]
{\displaystyle [\mathbf {R} ^{T}|\mathbf {t} ]}
E
{\displaystyle \mathbf {E} }
[ 1] 三重積 ）。そのため画像座標を基本方程式（英 : essential equation ）に代入する際、平行移動成分は必要がない。この
E
{\displaystyle \mathbf {E} }
E
{\displaystyle \mathbf {E} }
P の3次元座標かければ良い。
x
~
′
T
E
x
~
=
(
1
)
x
~
T
R
T
R
[
t
]
×
x
~
=
(
2
)
x
~
T
[
t
]
×
x
~
=
(
3
)
0
{\displaystyle {\tilde {\mathbf {x} }}'^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}\,{\stackrel {(1)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,\mathbf {R} ^{T}\,\mathbf {R} \,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(2)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(3)}{=}}\,0}
上で述べた
x
~
′
{\displaystyle {\tilde {\mathbf {x} }}'}
x
~
{\displaystyle {\tilde {\mathbf {x} }}}
R
{\displaystyle \mathbf {R} }
t
{\displaystyle \mathbf {t} }
E
{\displaystyle \mathbf {E} }
R
{\displaystyle \mathbf {R} }
R
T
R
=
I
{\displaystyle \mathbf {R} ^{T}\,\mathbf {R} =\mathbf {I} }
外積の行列表現 の性質。最後に、いずれのカメラからも見えていることから
x
3
{\displaystyle x_{3}}
x
3
′
{\displaystyle x'_{3}}
0
=
(
x
~
′
)
T
E
x
~
=
1
x
3
′
(
x
~
′
)
T
E
1
x
3
x
~
=
(
y
′
)
T
E
y
{\displaystyle 0=({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}={\frac {1}{x'_{3}}}({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\frac {1}{x_{3}}}{\tilde {\mathbf {x} }}=(\mathbf {y} ')^{T}\,\mathbf {E} \,\mathbf {y} }
これは、基本行列が対応する画像上の点間で定義する制約である。
すべての
3
×
3
{\displaystyle 3\times 3}
回転行列 と1つの交代行列 （いずれも
3
×
3
{\displaystyle 3\times 3}
特異値 と0であるもう1つの特異値を持つ。回転行列の乗算は特異値を変えない。これは、基本行列もまた等しい2つの特異値と0であるもう1つの特異値をもつことを意味する。この性質は、しばしば基本行列の内部制約（英 : internal constraints） と呼ばれる。
基本行列
E
{\displaystyle \mathbf {E} }
E
{\displaystyle \mathbf {E} }
E
{\displaystyle \mathbf {E} }
射影空間 の元とみなせることを意味する。すなわち、一方が他方のゼロ以外のスカラー倍である場合、2つの行列は等価とみなされる。これは、例えば
E
{\displaystyle \mathbf {E} }
E
{\displaystyle \mathbf {E} }
E
=
[
t
~
]
×
R
{\displaystyle \mathbf {E} =[\mathbf {\widetilde {t}} ]_{\times }\,\mathbf {R} }
ここで、
t
~
=
−
R
t
{\displaystyle \mathbf {\widetilde {t}} =-\mathbf {R} \mathbf {t} }
E
{\displaystyle \mathbf {E} }
well-defined な「スケーリング」を持つ。どちらの考え方がより適切かは、その利用場面によって異なる。
制約は、次のようにも表せる。
det
E
=
0
{\displaystyle \det \mathbf {E} =0}
また、
2
E
E
T
E
−
tr
(
E
E
T
)
E
=
0.
{\displaystyle 2\mathbf {E} \mathbf {E} ^{T}\mathbf {E} -\operatorname {tr} (\mathbf {E} \mathbf {E} ^{T})\mathbf {E} =0.}
ここで、最後の式は行列制約で、各行列要素に1つずつ、9つの制約とみなせる。これらの制約は、5組の対応する点のペアから基本行列を決定するためによく用いられる。
基本行列には、射影要素として表示されるかどうかに応じて、5つまたは6つの自由度がある。回転行列
R
{\displaystyle \mathbf {R} }
t
{\displaystyle \mathbf {t} }
対応する画像上の点のセットが与えられると、セット内のすべての点について定義されるエピポーラ制約を満たす基本行列を推定できる。ただし、（実際の状況ではよくあることだが）画像点がノイズの影響を受ける場合、すべての制約を正確に満たす基本行列を見つけることはできない。
各制約に関連する誤差がどのように測定されるかに応じて、対応する画像上の点の特定のセットの制約を最適に満たす基本行列を決定または推定できる。最も簡単なアプローチは、一般に8点アルゴリズム として知られる最小二乗 問題を設定することである。
上記の推定方法などによりステレオカメラペアの基本行列が分かっている場合、この情報を用いて2つのカメラ座標系間の回転行列
R
{\displaystyle \mathbf {R} }
t
{\displaystyle \mathbf {t} }
E
{\displaystyle \mathbf {E} }
R
{\displaystyle \mathbf {R} }
t
{\displaystyle \mathbf {t} }
E
{\displaystyle \mathbf {E} }
特異値分解 に基づく（ハートレーとジサーマンの本を参照）。 [ 2]
R
{\displaystyle \mathbf {R} }
t
{\displaystyle \mathbf {t} }
E
{\displaystyle \mathbf {E} }
E
=
U
Σ
V
T
{\displaystyle \mathbf {E} =\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}}
ここで
U
{\displaystyle \mathbf {U} }
V
{\displaystyle \mathbf {V} }
3
×
3
{\displaystyle 3\times 3}
Σ
{\displaystyle \mathbf {\Sigma } }
3
×
3
{\displaystyle 3\times 3}
Σ
=
(
s
0
0
0
s
0
0
0
0
)
{\displaystyle \mathbf {\Sigma } ={\begin{pmatrix}s&0&0\\0&s&0\\0&0&0\end{pmatrix}}}
Σ
{\displaystyle \mathbf {\Sigma } }
E
{\displaystyle \mathbf {E} }
W
=
(
0
−
1
0
1
0
0
0
0
1
)
{\displaystyle \mathbf {W} ={\begin{pmatrix}0&-1&0\\1&0&0\\0&0&1\end{pmatrix}}}
W
−
1
=
W
T
=
(
0
1
0
−
1
0
0
0
0
1
)
{\displaystyle \mathbf {W} ^{-1}=\mathbf {W} ^{T}={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&1\end{pmatrix}}}
そして、次のアンザッツ を設定する。
[
t
]
×
=
U
W
Σ
U
T
{\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}}
R
=
U
W
−
1
V
T
{\displaystyle \mathbf {R} =\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}}
実際のカメラ画像などのデータを扱う場合、
Σ
{\displaystyle \mathbf {\Sigma } }
[
t
]
×
=
U
Z
U
T
{\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {Z} \,\mathbf {U} ^{T}}
Z
=
(
0
1
0
−
1
0
0
0
0
0
)
{\displaystyle \mathbf {Z} ={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&0\end{pmatrix}}}
第一に、
R
{\displaystyle \mathbf {R} }
[
t
]
×
{\displaystyle [\mathbf {t} ]_{\times }}
[
t
]
×
R
=
U
W
Σ
U
T
U
W
−
1
V
T
=
U
Σ
V
T
=
E
{\displaystyle [\mathbf {t} ]_{\times }\,\mathbf {R} =\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}\,=\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}=\mathbf {E} }
第二に、この
[
t
]
×
{\displaystyle [\mathbf {t} ]_{\times }}
t
{\displaystyle \mathbf {t} }
W
Σ
=
(
0
−
s
0
s
0
0
0
0
0
)
{\displaystyle \mathbf {W} \,\mathbf {\Sigma } ={\begin{pmatrix}0&-s&0\\s&0&0\\0&0&0\end{pmatrix}}}
であるから、
W
Σ
{\displaystyle \mathbf {W} \,\mathbf {\Sigma } }
(
W
Σ
)
T
=
−
W
Σ
{\displaystyle (\mathbf {W} \,\mathbf {\Sigma } )^{T}=-\mathbf {W} \,\mathbf {\Sigma } }
[
t
]
×
{\displaystyle [\mathbf {t} ]_{\times }}
(
[
t
]
×
)
T
=
U
(
W
Σ
)
T
U
T
=
−
U
W
Σ
U
T
=
−
[
t
]
×
{\displaystyle ([\mathbf {t} ]_{\times })^{T}=\mathbf {U} \,(\mathbf {W} \,\mathbf {\Sigma } )^{T}\,\mathbf {U} ^{T}=-\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}=-[\mathbf {t} ]_{\times }}
外積の行列表現 の一般的な性質によれば、
[
t
]
×
{\displaystyle [\mathbf {t} ]_{\times }}
t
{\displaystyle \mathbf {t} }
第三に、
R
{\displaystyle \mathbf {R} }
R
{\displaystyle \mathbf {R} }
R
{\displaystyle \mathbf {R} }
det
(
R
)
=
±
1
{\displaystyle \det(\mathbf {R} )=\pm 1}
det
(
R
)
=
1
{\displaystyle \det(\mathbf {R} )=1}
E
{\displaystyle \mathbf {E} }
E
{\displaystyle \mathbf {E} }
ここまでで、
E
{\displaystyle \mathbf {E} }
R
{\displaystyle \mathbf {R} }
t
{\displaystyle \mathbf {t} }
E
{\displaystyle \mathbf {E} }
t
{\displaystyle \mathbf {t} }
E
{\displaystyle \mathbf {E} }
零空間 にある必要がある。
E
t
=
R
[
t
]
×
t
=
0
{\displaystyle \mathbf {E} \,\mathbf {t} =\mathbf {R} \,[\mathbf {t} ]_{\times }\,\mathbf {t} =\mathbf {0} }
しかしこの後の解の分析のためには
t
{\displaystyle \mathbf {t} }
t
^
{\displaystyle {\hat {\mathbf {t} }}}
E
{\displaystyle \mathbf {E} }
t
^
{\displaystyle {\hat {\mathbf {t} }}}
−
t
^
{\displaystyle -{\hat {\mathbf {t} }}}
E
{\displaystyle \mathbf {E} }
R
{\displaystyle \mathbf {R} }
t
{\displaystyle \mathbf {t} }
W
{\displaystyle \mathbf {W} }
W
−
1
{\displaystyle \mathbf {W} ^{-1}}
要約すると、与えられた
E
{\displaystyle \mathbf {E} }
t
{\displaystyle \mathbf {t} }
s
>
0
{\displaystyle s>0}
ただし、4つの解のクラスのうち、実際に実現できるのは1つだけである。対応する画像座標のペアが与えられたとき、3つの解のクラスは常に2つのカメラのうち少なくとも1つの後方に3次元点を生成してしまいカメラから見ることができない。4つのクラスのうちの1つだけが、常に両方のカメラの前方に3次元点を生成する。これが正しい解であるはずである。ただしそれでも、平行移動成分に関する未定の正のスケーリングがある。
上記の
R
{\displaystyle \mathbf {R} }
t
{\displaystyle \mathbf {t} }
E
{\displaystyle \mathbf {E} }
E
{\displaystyle \mathbf {E} }
t
^
{\displaystyle {\hat {\mathbf {t} }}}
E
{\displaystyle \mathbf {E} }
対応する正規化された画像座標
(
y
1
,
y
2
)
{\displaystyle (y_{1},y_{2})}
(
y
1
′
,
y
2
′
)
{\displaystyle (y'_{1},y'_{2})}
(
x
1
,
x
2
,
x
3
)
{\displaystyle (x_{1},x_{2},x_{3})}
MATLABでの基本行列推定 (Manolis Lourakis)。
^ Photogrammetric Computer Vision: Statistics, Geometry, Orientation and Reconstruction (1st ed.) ^ Hartley, Richard; Andrew Zisserman (2004). Multiple view geometry in computer vision (2nd ed.). Cambridge, UK. ISBN 978-0-511-18711-7 . OCLC 171123855
![{\displaystyle \mathbf {E} =\mathbf {R} \,[\mathbf {t} ]_{\times }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1866421d65bf3a5fc880fc7040901d9c7c55da52)
![{\displaystyle [\mathbf {t} ]_{\times }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/73c2a8aca0fd7d14b15e523b33567f3ea5b6ebff)
![{\displaystyle [\mathbf {R} ^{T}|\mathbf {t} ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f39c40887cc00e4110bc7fefe2502c96abbc4704)
![{\displaystyle {\tilde {\mathbf {x} }}'^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}\,{\stackrel {(1)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,\mathbf {R} ^{T}\,\mathbf {R} \,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(2)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(3)}{=}}\,0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d40aa6c5c45873d97958ff6bd30cb3f3a32da8da)
![{\displaystyle \mathbf {E} =[\mathbf {\widetilde {t}} ]_{\times }\,\mathbf {R} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/4d8723d435c2c1b5002ef54742e393578df7ed80)
![{\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/563ddbeb35c985502bc0bb0b0cc13178a2b68c43)
![{\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {Z} \,\mathbf {U} ^{T}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5f5299e2287be36d359fd4a560b0fc1c9bbf8ce1)
![{\displaystyle [\mathbf {t} ]_{\times }\,\mathbf {R} =\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}\,=\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}=\mathbf {E} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/9e903efceb8caf128777e1cff0a0a36a10d28c85)
![{\displaystyle ([\mathbf {t} ]_{\times })^{T}=\mathbf {U} \,(\mathbf {W} \,\mathbf {\Sigma } )^{T}\,\mathbf {U} ^{T}=-\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}=-[\mathbf {t} ]_{\times }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/28622cb158a7053fa383cbc99b3933aae02c10fa)
![{\displaystyle \mathbf {E} \,\mathbf {t} =\mathbf {R} \,[\mathbf {t} ]_{\times }\,\mathbf {t} =\mathbf {0} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/5dab650d430b3a856c0b9d7fa16a2963cdac4593)
