KalelPark's LAB

Overfitting & Generalization 딥러닝 모델은 데이터가 많을수록 높은 성능을 나타냅니다. 그러나, 데이터가 많다고 해서 "Overfitting"으로 인하여 모델 성능이 항상 좋은 것은 아닙니다. - 모델의 복잡도(power)가 높으면 학습에서 데이터의 경향성을 따라가는 경향이 있습니다. - "Overfitting" Dropout - 대표적인 generalization 기법입니다. (https://jmlr.org/papers/v15/srivastava14a.html) - 학습 과정에서 특정 node들을 p의 확률로 사용하겠다는 의미이다. - Dropout을 적용하면, 적용하지 않은 것과 비교하여 각 node들의 output이 증가함 Dropconnect - Dropout의 조금 일반화된..

기존 3D point cloud와 관련된 방법론들은, grid-based method 방식이 대다수였습니다. grid-based 방식을 크게 발전시킨 방법으로는, SP Conv입니다. Sparse Convd 는 Computing cost를 매우 줄일 수 있는 방식으로, 실시간 detection에서 매우 효과적입니다. 기존 Grid-based Method는 point cloud에서는 대부분의 정보가 비어있기 때문에, 적합하지 않습니다. Sparse Conv는 매우 sparse한 data인 point cloud의 문제를 해결하는데 매우 효과적인 방식입니다. Rule book 즉, 정보가 존재하는 Rule에 따라, 해당부분만을 계산하여, 정보를 처리하는 연산입니다. 이러한 원리를 적용한다면 속도가 상당히 빠르..

Sparse Convolution LiDAR 신호 처리에서 필수적인 역할을 합니다. 기존 Convolution과 다르게, GPU 계산 스키마를 사용하는 방식입니다. 3D point cloud 신호의 경우 추가적인 차원은 계산을 크게 증가시킵니다. 반면, 일반적인 이미지와 다르게, 3D voxel point cloud 데이터는 종종 Sparse 신호가 됩니다. 문제는 모든 이미지 픽셀이나 공간을 스캔하는 대신 Sparse 데이터로만, 효율적으로 계산합니다. 아래의 내용을 참고하면 됩니다. Reference https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Liu_Sparse_Convolutional_Neural_2015_CVPR_paper..

BatchSize에 따른 loss의 변화율 - batch size의 크기에 따라 학습되는 과정은 달라질 수 있습니다. batch size가 작으면, 순간 loss가 커져서 convex hole에 위치한 곳에서 급격하게 자리를 변경할 우려가 있습니다. - batchsize가 크면, 여러 데이터를 평균으로 loss가 구해지기 때문에 훨씬 robustness 해집니다. SSL 시, Batchsize가 커야하는 이유가 아래와 동일합니다. 여러 데이터를 평균으로 backpropagation을 해야 성능이 올라갑니다. 또한 우측의 표를 보면, LR에 작으면 Batchsize가 작을수록 높은 성능이 나오지만, LR이 큰 경우, Batchsize가 클수록 성능이 높이 나오는 것을 알 수 있습니다. 하지만, Batchs..

PSNR, SSIM, LPIPS? 이미지 합성, 생성 분야(GAN, SuperResolution, NeRF)에서 많이 쓰이는 지표입니다. 다른 연구와의 결과를 비교하기 위해서 평가지표를 봐야하고, 의미를 파악하는 것이 중요합니다. PSNR(Peak Signal-to-noise-ratio)이란? PSNR은 영상 화질 손실양을 평가하기 위해 사용되는 지표이다. 이미지 저장, 압축, 영상 처리 등에서 영상 화질이 바뀌었을 때 사용한다. SSIM(Structural Similarity Index Measure)이란? SSIM 값이 높을수록 좋은 수치이다. 두 이미지 간의 상관계수(Luminance, Contrast, Structure) 총 3가지 측면에서 평가합니다.

Attention 이란? - Attention의 사전적 의미는 "집중"이다. 이러한 의미는 Decoder에서 출력을 하고자 할때, 어떤 Encoder 정보에 집중해야 하는지 알 수 있도록 하여 출력하는데, 도움을 주겠다는 의미이다. Attention 용어 - Query : 찾고자 하는 대상 - Key : 저장된 데이터를 찾고자 할 때 참조하는 값 - Value : 저장되는 데이터 - Dictionary : Key-Value 쌍으로 이루어진 집합 - Attention에서는 Query에 대해서 어떤 Key와 유사한지 비교를 하고, 유사도를 반영하여, Key에 대응하는 Value를 합성하는 것이 Attention Value가 된다. 즉, Query는 하나이고, Query에 해당하는 Dictionary : Ke..

Siamese Neural Network [ 샴 네트워크 ] - 쌍둥이들이 비슷한 생김새를 가질 뿐만 아니라, 신체의 일부를 공유하는 Network입니다. - Few-shot에서 자주 보이는 모델입니다. Training - 두 개의 입력 데이터(Imput1, Input2)를 준비합니다. - 각 입력에 대한 임베딩 값(Embedding1, Embedding2)를 활용합니다. - 임베딩 사이의 거리를 계산하고, 두 입력이 같은 클래스에 속하면 거리를 가깝게, 다른 클래스에 속하면 거리를 멀게 학습시킵니다. 참고 https://tyami.github.io/deep%20learning/Siamese-neural-networks/ Siamese Neural Networks (샴 네트워크) 개념 이해하기 Siame..

All about Activation Function - 입력 신호의 총합을 출력 신호로 변환하는 함수를 말합니다. - 활성화 함수가 비선형 함수여야 하는 이유? - 인공 신경망에서 선형 함수를 이용하면, 신경망의 층을 깊게하는 의미가 없습니다. 그러므로, 층을 쌓기 위해서는 비선형 함수인 활성화 함수(Activation Function)를 사용해야 됩니다. Sigmoid import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) - Logistic Regression이라고도, 불린다. 일반적으로 활용되는 활성화 함수이며, [0, 1]의 범위를 갖습니다. 단점 - Gradient Vanishing 현상이 발생합니다. 미분 함수에 대해서 | x | 값이..