Geometric Correspondence Network

References

• official github : Pretrained network만 제공. 상당히 자세한 알고리즘과 훈련방법이 논문에 적혀있지만, 확인이 필요.(각 Keypoint의 Descriptor 값을 계산하는 방식을 bilinear sampling을 썼다고 하는데, 무슨 의미인지 불명확.)
• GCNv2: Efficient Correspondence Prediction for Real-Time SLAM
• Geometric Correspondence Network for Camera Motion Estimation

Notes

• Keypoint와 Descriptor를 신경망을 이용해서 학습.
• ORB처럼 Binary Descriptor를 사용하여 속도가 빠르다.
• 기존 GCN은 CNN과 RNN을 이용한 방법. 다소 무거운 모형.
• GCNv2는 CNN만으로 구성.

Pretrained Network Structure

class GCNv2(torch.nn.Module):
    def __init__(**self**):
        **super**(GCNv2, **self**).__init__()
        **self**.elu = torch.nn.ELU(inplace=**True**)
 
        **self**.conv1 = torch.nn.Conv2d(1, 32, kernel_size=4, stride=2, padding=1)
        **self**.conv2 = torch.nn.Conv2d(32, 64, kernel_size=4, stride=2, padding=1)
 
        **self**.conv3_1 = torch.nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1)
        **self**.conv3_2 = torch.nn.Conv2d(128, 128, kernel_size=4, stride=2, padding=1)
 
        **self**.conv4_1 = torch.nn.Conv2d(128, 256, kernel_size=3, stride=1, padding=1)
        **self**.conv4_2 = torch.nn.Conv2d(256, 256, kernel_size=4, stride=2, padding=1)
 
        *# Descriptor***self**.convF_1 = torch.nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1)
        **self**.convF_2 = torch.nn.Conv2d(256, 256, kernel_size=1, stride=1, padding=0)
 
        *# Detector***self**.convD_1 = torch.nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1)
        **self**.convD_2 = torch.nn.Conv2d(256, 256, kernel_size=1, stride=1, padding=0)
 
        **self**.pixel_shuffle = torch.nn.PixelShuffle(16)
 
    def forward(**self**, x):
 
        x = **self**.elu(**self**.conv1(x))
        x = **self**.elu(**self**.conv2(x))
 
        x = **self**.elu(**self**.conv3_1(x))
        x = **self**.elu(**self**.conv3_2(x))
 
        x = **self**.elu(**self**.conv4_1(x))
        x = **self**.elu(**self**.conv4_2(x))
 
        *# Descriptor xF*
        xF = **self**.elu(**self**.convF_1(x))
        desc = **self**.convF_2(xF)
        dn = torch.norm(desc, p=2, dim=1) *# Compute the norm.*
        desc = desc.div(torch.unsqueeze(dn, 1)) *# Divide by norm to normalize.*
 
        *# Detector xD*
        xD = **self**.elu(**self**.convD_1(x))
        det = **self**.convD_2(xD).sigmoid()
        det = **self**.pixel_shuffle(det)
        return desc, det

Loss functions

• Keypoint Detector : 이진분류 문제로 생각한다. 즉, 현재 주어진 위치가 keypoint일 확률값을 주는 모형을 학습시키고자 한다. Negative Cross-Entropy loss를 사용하는데, weight를 이용해서 keypoint와 keypoint가 아닌 것들 사이의 imbalance 문제를 조절한다.
• Binary Descriptor : 각 위치마다 8비트 이진값(descriptor score의 부호를 이용)을 주도록 모형을 구성한다. Triplet loss를 사용한다.

훈련방법

• 시간순으로 찍힌 사진들에 대해 각 사진을 찍을 때의 Camera pose 값을 알고 있다. 이로부터 시간축상에서 연속적인 두 사진 사이의 homography matrix 등을 계산해서 “현재” 이미지의 각 pixel이 “다음” 이미지의 어떤 pixel로 대응되는지를 알 수 있다. 이로부터 현재 Keypoint라고 예측된 값들이 다음 이미지에서 어떤 점으로 가는지를 알 수 있으므로 이로부터 Positive sample을 구할 수 있고, 그 외에