Unsupervised Deep Homography: A Fast and Robust Homography Estimation Model

Unsupervised Deep Homography: A Fast and Robust Homography Estimation Model
Official Repository(GitHub) : Aerial 데이터셋은 존재하지 않음. 경로 설정과 같은 부분에 hard-coding 된 부분이 많아 돌려보기 어려움.
Unofficial Repository(GitHub) : 저자 코드와 비교하여 성능상 어떤 차이가 있는지 확인이 안되었으나, 코드가 좀 더 깔끔하여 알아보기 쉬움. COCO Dataset 으로 학습한 Pre-trained 이미지 제공.

Deep Image Homography Estimation: MS-COCO 데이터셋으로 Synthetic 데이터셋 생성 방식을 본 논문에서 사용함.
Unofficial Repository(GitHub)

Summary

Input
1. Patches(Model Input): ($P^A,P^B$), ex) (128x128x2)
2. $C_{4pt}^A$ → $(x^{TL},x^{TR},x^{BR},x^{BL},y^{TL},y^{TR},y^{BR},y^{BL})^T$ (8×1)
3. Image: $I^A$ ex) (256x256x1)
Output
1. $\tilde H_{4pt}$ → $(d^{\tilde T L}_x,d^{\tilde TR}_x,d^{\tilde BR}_x,d^{\tilde BL}_x,d^{\tilde TL}_y,d^{\tilde TR} _y,d^{\tilde BR}_y,d^{\tilde BL}_y)$
2. $\tilde H$~ → 3×3 Homography matrix
3. $\tilde P^B$ → A aligned patch image from $I^A$ to $P^B$
$\tilde H$ 추출 과정
1. 모델의 출력으로 나온 $\tilde H_{4pt}$와 최초 임의로 잡았던 corner($C^A_{4pt}$)를 더하여 $P^B$의 왜곡된 4개의 점 추정.
  1. $\tilde C^B_{4pt}=(C^A_{4pt}+\tilde H_{4pt})$
  2. Tensor Direct Linear Transform(TDLT): 추정된 4개의 점을 TDLT 를 이용하여 3×3 Homography matrix $\tilde H$ 생성
    - $\tilde H=TDLT(C^A_{4pt},\tilde C^B_{4pt})$
$\tilde P^B$ 추출 과정
1. $I^A$ 를 $P^B$의 공간으로 투영하며, $\tilde H$를 이용함.
  1. 여기서 Parameterized Sampling Grid Generator(PSGG) 와 Differentiable Sampling(DS) 가 이용됨. Pixel 공간을 Grid로 매핑하여 투영하는 방식이며, Backpropagation 을 위하여 Differential이 가능하도록 하였음.
Training
1. $P^B$ 와 $\tilde P^B$ 의 차이를 photometric loss(L1) 를 이용하여 계산
2. $L_{PW}=\frac 1{x_i}∑_{xi}|P^B− \tilde P^B|$