KalelPark's LAB

Abstract 본 논문은 Generative, Representation을 동시에 활용하는 MAsked Generative Encoder(MAGE)를 소개합니다. 본 아이디어의 핵심은 마스크된 이미지를 활용하여, 이미지를 Generative 하는 방법과 Representation 2가지 모두 학습할 수 있습니다. MAGE는 입력 및 출력에서 GAN에 의한 토큰을 사용하여, Masking과 결합합니다. Contrastive loss를 Encoder에 추가함으로써, 표현력을 극대화합니다. Introduction Generative 와 recognition task는 visual과 data 내 semantic 정보를 학습해야 합니다. Generation은 high-level semantics과 low-lev..

Python에서의 일반적으로 자주 활용되는 메소드(Magic Method)인 __str__ 메서드와 __repr__ 메서드의 차이 두 메소드 간에는 미묘한 차이가 있습니다. 따라서 차이점을 명확하게 아는게 좋습니다. 공통점 - 두 메소드는 모두 "객체를 문자열로 반환"한다는 공통점이 존재 아래의 코드를 활용해보면 __repr__ 와 __str__이 겹친다는 것을 알 수 있습니다. import torch import torch.nn as nn class model(nn.Module): def __init__(self): super().__init__() self.linear1 = nn.Linear(10, 100) self.linear2 = nn.Linear(100, 100) self.linear3 = nn..

물리적 Pinhhole camera는 이미지를 focal print를 거쳐서 up-side down을 합니다. 수학적 모델링 측면에서는, 이미지 plane, (즉 이미지를 사영한 경우) focal print 초점 앞에 있다고 봅니다. 적절한 이미지 좌표 변환을 진행하면, 두개의 이미지 모두 동일합니다. 초점과 객체 사이의 거리가 가까워지면 이미지 전체에 대한 정보를 가져오는 것이 가능하지만, 멀어지면 이미지로부터의 정보가 손실됩니다. 소실점이란(vanishing point)? 여러 기하학적 성질을 가지고 있으며, 카메라 캘리브레이션, 계산, 3D 복원 등 다양한 응용을 갖습니다. 물리적 공간에서 아무리 멀리 떨어진 직선일지라도, 서로 방향만 같다면 모두 동일한 하나의 소실점으로 수렴합니다. 그런데 평행한..

기존 방법으로는 start_t - time.time() 으로 하였다.. 하지만 최근에 신기한 라이브러리를 찾았다. line_profile 사기다.. 예시 코드 # exist code ) start_t = time.time() print(f"# 1 : {time.time() - start_t}s") # recent code ) @profile def main(): # code if __name__ == __main__: main() bottleneck을 쉽게 확인하는 것이 가능하다 또한, lprof 파일이 생성되어, 자동 로깅이 가능합니다. Terminal 명령어를 사용하면, txt로 변환도 가능하다. python -m line_profiler test.py.lprof > results.txt Timer ..

Abstract Point cloud는 geometric data structure의 형태를 갖추고 있습니다. 본 논문에서는, Point clouds를 직접 다루는 Neural Network를 설계하였으며, Empty space가 아닌 input으로써 point의 불변성을 잘 다루게 됩니다. Segmentation, Detection, classification에서모두 활용될 수 있음을 보여줍니다. 이후, 우리는 어떤 Network가 무엇을 학습하는지 robust 한 이유에 대해서 언급합니다. Introduction 최근 방법론들은 Point cloud를 input으로 이용한 모델들을 제공합니다. Point cloud는 mesh처럼, 이뤄진 것이 아니기에 더 다루기 쉬운 모델일 수 있습니다. 하지만, P..

기존 3D point cloud와 관련된 방법론들은, grid-based method 방식이 대다수였습니다. grid-based 방식을 크게 발전시킨 방법으로는, SP Conv입니다. Sparse Convd 는 Computing cost를 매우 줄일 수 있는 방식으로, 실시간 detection에서 매우 효과적입니다. 기존 Grid-based Method는 point cloud에서는 대부분의 정보가 비어있기 때문에, 적합하지 않습니다. Sparse Conv는 매우 sparse한 data인 point cloud의 문제를 해결하는데 매우 효과적인 방식입니다. Rule book 즉, 정보가 존재하는 Rule에 따라, 해당부분만을 계산하여, 정보를 처리하는 연산입니다. 이러한 원리를 적용한다면 속도가 상당히 빠르..

Abstract Image에 대한 text로부터 학습하는 것은 Supervision에서 상당히 유망있는 분야입니다. Image 와 text 쌍을 pretraining 시킴으로써, 상당한 SOTA를 달성함을 본 논문에서는 증명합니다. NLP는 visual concept을 추론하는데 사용될 수 있으며, zero-shot transfer model로 사용되는 것이 가능합니다. Overview CNN 기반 모델들이, 강한 면모를 보여주기는 하지만, zero-shot에서는 매우 낮은 성능을 보입니다. 본 논문에서는 대규모 데이터셋(Image + text)로부터, 학습하여 상당히 좋은 결과를 얻습니다. Contrastive Learning과 유사하게, Image와 text를 하나의 공통된 space로 보낸 다음, ..

동치 좌표(homogeneous coordinates) - 변환 등 어떤 목적을 위해 3차원 좌표를 한 치수 올리거나, 한 치수 내릴 때 사용하는 표현 (2차원 좌표를 3차원 좌표에 뿌려도 동일하다는 것) = 동차 좌표계상 변환된 좌표 = 로컬 좌표계의 P * 월드 행렬 * 카메라 행렬 * 투영 행렬 - 동차 좌표계와 일반적인 3차원 좌표계의 관계 (x, y, z, w) = (x/w, y/w, z/w, 1) : 결국 3차원 좌표계도 w값이 1인 동차 좌표계 - 벡터를 포인트 혹은 벡터로 활용하기 위해서, 변환된 벡터를 3D 벡터의 동치벡터로 전환 Ref : https://m.blog.naver.com/jsjhahi/199987246 2D Lines 외적을 이용하여, 선분과 선분의 교차점 구하기 : htt..