KalelPark's LAB

Camera Calibration 카메라의 외부/내부 파라미터를 찾는 과정을 의미합니다. 즉, 카메라 캘리브레이션(Camera Calibration)은 위와 같은 3D 공간 좌표와 2D영상 좌표 사이의 변환관계 또는 변환관계를 설명하는 파라미터를 찾는 과정 무엇보다도, calibration target이 사용됩니다. 카메라 Calibration은 다른 pose를 추출하기 위해서 사용됩니다. 카메라에서, 초점거리를 물리단위가 아닌 픽셀단위로 표현하는 이유는 영상에서의 기하학적 해석을 용이하게 하기 위함입니다. 마지막으로, Camera의 intrinsics 혹은 extrinsics 파라미터를 최적화합니다. - closed-form solution으로 모든 파라미터를 왜곡된 부분을 제외하고 초기화합니다. - ..

Abstract 기존의 discretized representation learning과 다르게, vision language pre-training은 Image와 text를 feature space에서 잘 align 합니다. 최근 Prompt Engineering으로부터, 본 논문에서는 Context Optimization (CoOp)을 제안합니다. pre-trained parameters는 유지하면서 구체적으로 CoOp은 학습 가능한 벡터로 Prompt's context word를 Modeling합니다. 본 논문에서는 CoOp (통합된 맥락과 구체적인 클래스 특징을 반영한)을 제안합니다. 기존 11개의 데이터셋에서, SOTA를 달성합니다. Introduction State-of-the-art visu..

Image Sensing Pipeline Image Sensing Pipeline은 3가지 Stage로 나뉩니다. 1. Camera 렌즈/몸체에서 빛 운송 계층 2. Photon measurement and Conversion은 센서 칩으로 활용함 3. Image signal processing과 compression Shutter 초점이 맞는 필름 혹은 센서 앞에 위치한 셔터는 image sensor/film 앞에 위치합니다. 대부분의 디지털 카메라는 기계적이거나, 전기적으로 작동합니다. shutter speed를 활용하여, 빛이 센서에 얼마나 들어오는지 control할 수 있습니다. 만약 image가 over/underexposed한다면, 이미지는 blurred 혹은 Noisy 합니다. Sensor ..

Rendering Equation은 파장에 따른 광원에서 원의 중심으로 들어오는 빛 중에서 얼마나 많은 관찰 방향으로 반사되는지를 설명합니다. 관찰자(viewing direction)의 눈쪽으로 얼마나 반사된 빛이 들어오냐에 따라 물체가 다르게 보이는 것이 중요한 듯합니다. Birdirectional reflection distribution function(불투명한 표면에서 빛이 반사하는 방식을 정의한 4차 함수) BRDF(p, r, v, x)는 빛의 반사 정도를 정의함. (https://mgun.tistory.com/1290) 링크 참고. Fresnel Effect 물체의 매질과 시야각에 따라 반사율과 굴절율이 정해진다는 것입니다. (참고 : https://m.blog.naver.com/fscreen..

Abstract 기존 Transformer는 global perspective로부터 learning representation 과 high-level feature을 고려한 반면, 본 논문에서는 새로운 방법론인 Masked Self-supervised Transformer 접근법을 설명합니다. 위 방법은 local context를 포착하면서, semantic information을 보존하는 것이 가능합니다. 본 논문에서는 multi-head attention map에서 masked token strategy를 사용합니다. 이러한 방법은 이미지의 Spatial information을 보존하면서, dense prediction task에서 유용합니다. Introduction Yann LeCun said, 만..

카메라 캘리브레이션(Camera Calibration이란?) 우리가 실제로 보는 세상은 3차원이지만, 카메라는 2차원 이미지로 변환합니다. 이때 3차원의 점들이 이미지 상에서 어디에 맺히는지 기하학적으로 생각해보게 된다면, 실제 이미지는 사용된 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 각 등 카메라 내부의 기구적인 부분에 의해서 크게 영향을 받습니다. 그러므로, 3차원 점들이 영상에 투영된 위치를 구하거나, 역으로 영상 좌표로부터 3차원 공간좌표를 복원할 때에는 내부 요인을 제거해야하만 정확한 계산이 가능합니다. 이러한 내부의 파라미터 값을 구하는 과정을 Camera Calibration이라고 합니다. Calibration 3차원 공간상의 점들을 2차원 이미지 평면에 투사함으로써..

Stable Diffusion Stable diffusion은 다양한 구성 요소와 모델로 구성된 시스템입니다. 단일 모델이 아닙니다. 내부를 살펴보면, 텍스트 정보를 텍스트 속 아이디어에 대한 수치적 표현(numerical representation)으로 바꾸어주는 구성요소가 존재합니다. 이후, 입력 텍스트를 받아 텍스트의 각 단어 또는 토큰을 나타내는 일련의 숫자 목록을 출력합니다. 다음 해당 정보는 몇 가지 구성 요소로 이루어진 생성기에 제공됩니다. 이미지 생성기는 2단계를 거칩니다. (The image generator goes through two stages.) Image information creator 위 방법은 Stable Diffusion의 성능을 크게 개선합니다. 이전 모델보다 상당히..

Abstract 최근 딥러닝에서모델을 계속해서 발전시키고자 한다면 annotated data가 많이 필요합니다. 이에 대한 한가지 해결방법은 active learning을 하는 것입니다. active learning이란, labeling되지 않은 데이터를 사람이 데이터를 생성하는 것을 말합니다. 본 논문에서는 annotate data를 표기합니다. 본 논문에서는, task에 구애받지 않고, 딥러닝 모델에 효과적으로 적용할 수 있는 새롭고, 단순한 방법을 제기합니다. "loss prediction module"이라고 불리는, small parameteric module을 붙이고, unlabel data의 target에 대한 loss가 어느정도인지 예측하도록 학습합니다. 이러한 묘듈은 모델이 잘못된 예측을 ..