KalelPark's LAB

Orthographic Factorization W는 N frame을 통해 추적된 P feature point를 나타낸다고 가정합시다.W를 고려하여, camera motion과 structure를 복원하는 것입니다. 참고 : https://soohee410.github.io/orthogonal_projection 일반화를 위해서, 3D coordinate system은 Center에 있다고 가정을 합니다 이후, SVD에 관련하여, 기하학적 설명이 나옵니다. SVD와 Cholesky decomposition을 찾아보면 좋을 것 같습니다.. :) -> 추후 업로드 예정 참고 : https://darkpgmr.tistory.com/106

Image Sensing Pipeline Image Sensing Pipeline은 3가지 Stage로 나뉩니다. 1. Camera 렌즈/몸체에서 빛 운송 계층 2. Photon measurement and Conversion은 센서 칩으로 활용함 3. Image signal processing과 compression Shutter 초점이 맞는 필름 혹은 센서 앞에 위치한 셔터는 image sensor/film 앞에 위치합니다. 대부분의 디지털 카메라는 기계적이거나, 전기적으로 작동합니다. shutter speed를 활용하여, 빛이 센서에 얼마나 들어오는지 control할 수 있습니다. 만약 image가 over/underexposed한다면, 이미지는 blurred 혹은 Noisy 합니다. Sensor ..

Rendering Equation은 파장에 따른 광원에서 원의 중심으로 들어오는 빛 중에서 얼마나 많은 관찰 방향으로 반사되는지를 설명합니다. 관찰자(viewing direction)의 눈쪽으로 얼마나 반사된 빛이 들어오냐에 따라 물체가 다르게 보이는 것이 중요한 듯합니다. Birdirectional reflection distribution function(불투명한 표면에서 빛이 반사하는 방식을 정의한 4차 함수) BRDF(p, r, v, x)는 빛의 반사 정도를 정의함. (https://mgun.tistory.com/1290) 링크 참고. Fresnel Effect 물체의 매질과 시야각에 따라 반사율과 굴절율이 정해진다는 것입니다. (참고 : https://m.blog.naver.com/fscreen..

Abstract 본 논문은 Generative, Representation을 동시에 활용하는 MAsked Generative Encoder(MAGE)를 소개합니다. 본 아이디어의 핵심은 마스크된 이미지를 활용하여, 이미지를 Generative 하는 방법과 Representation 2가지 모두 학습할 수 있습니다. MAGE는 입력 및 출력에서 GAN에 의한 토큰을 사용하여, Masking과 결합합니다. Contrastive loss를 Encoder에 추가함으로써, 표현력을 극대화합니다. Introduction Generative 와 recognition task는 visual과 data 내 semantic 정보를 학습해야 합니다. Generation은 high-level semantics과 low-lev..

Abstract Point cloud는 geometric data structure의 형태를 갖추고 있습니다. 본 논문에서는, Point clouds를 직접 다루는 Neural Network를 설계하였으며, Empty space가 아닌 input으로써 point의 불변성을 잘 다루게 됩니다. Segmentation, Detection, classification에서모두 활용될 수 있음을 보여줍니다. 이후, 우리는 어떤 Network가 무엇을 학습하는지 robust 한 이유에 대해서 언급합니다. Introduction 최근 방법론들은 Point cloud를 input으로 이용한 모델들을 제공합니다. Point cloud는 mesh처럼, 이뤄진 것이 아니기에 더 다루기 쉬운 모델일 수 있습니다. 하지만, P..

Gradient Clipping이란? 주로 RNN계열에서 gradient vanishing이나 gradient exploding이 많이 발생하는데, gradient exploding을 방지하여, 학습의 안정화를 도모하기 위해 사용하는 방법입니다. Gradient Clipping과 L2_Norm Clipping이란, gradient가 일정 threshold를 넘어가면, clipping을 해줍니다. clipping은 gradient의 L2 norm으로 나눠주는 방식입니다. Clipping이 없으면, gradient가 너무 뛰어서, global minimum에 도달하지 않고, 너무 엉뚱한 방향으로 향하게 되지만, Clipping을 해주게 되면, gradient vector가 방향은 유지하고, 적은 값의 이동을..

Pytorch에서의 Distributed Package 사용하기 - 규모가 큰 모델을 학습할 때는, 보통 분산 학습을 진행합니다. Multi-GPU 학습을 할 때, 분산 학습을 사용할 수 있습니다. 직접 구현할 수도 있지만, Pytorch에서 제공하는 기능을 사용합니다. - 아래의 코드는 ImageNet1K를 돌리는 경우를 보여줍니다. https://github.com/pytorch/examples/blob/main/imagenet/main.py main_worker에서 dist.init_process_group을 통하여, GPU마다 분산 학습을 위해서 초기화를 진행합니다. torch docs에 따르면, multi-gpu시, backend를 nccl로 설정하라고 되어 있습니다. DistributedDat..

Logger - 서버에서 프로그램을 돌릴 때, 알아보기 쉽게 많은 것을 저장해두는 것이 좋습니다. print를 단순하기 사용하기 보다는, logger를 활용해서 저장해두는 것이 좋습니다. - 만약 loggging 시, text 파일을 이어쓰고자 한다면, mode를 "w"가 아닌 "a"를 사용하면 됩니다. wandb와 같이 어떻게 보면 유용하게 활용할 수 있습니다. 저는 이전에 tqdm을 사용하는데, 이제는 logger를 사용하려고 합니다. import sys class Logger(object): def __init__(self, local_rank = 0, no_save = False): self.terminal = sys.stdout self.file = None self.local_rank = lo..