KalelPark's LAB

Abstract 최근 딥러닝에서모델을 계속해서 발전시키고자 한다면 annotated data가 많이 필요합니다. 이에 대한 한가지 해결방법은 active learning을 하는 것입니다. active learning이란, labeling되지 않은 데이터를 사람이 데이터를 생성하는 것을 말합니다. 본 논문에서는 annotate data를 표기합니다. 본 논문에서는, task에 구애받지 않고, 딥러닝 모델에 효과적으로 적용할 수 있는 새롭고, 단순한 방법을 제기합니다. "loss prediction module"이라고 불리는, small parameteric module을 붙이고, unlabel data의 target에 대한 loss가 어느정도인지 예측하도록 학습합니다. 이러한 묘듈은 모델이 잘못된 예측을 ..

Socket Programming 두 프로그램이 네트워크를 통해 서로 통신을 수행할 수 있도록 양쪽에 생성되는 링크의 단자입니다. 두 소켓이 연결되면 서로 다른 프로세스끼리 데이터를 전달하는 것이 가능합니다. 결국 Socket이 구혐됨으로써, 네트워크 및 전송 계 층의 캡슐화가 가능해집니다. 1. 스트림 소켓 (SOCK_STREAM) 양방향으로 바이트 스트림을 전송할 수 있는 연결 지향형 소켓으로 양쪽 어플리케이션이 모두 데이터를 주고 받을 수 있습니다. 스트림 소켓은 오류수정, 전송처리, 흐름제어 등을 보장해주며, 송신된 순서에 따라 중복되지 않은 데이터를 수신하게 됩니다. 해당 소켓은 각 메세지를 보내기 위해 별도의 연결을 맺는 행위를 하므로, 약간의 오버헤드가 존재합니다. 그러므로 소량의 데이터보다..

Abstract 본 논문은 label 없이, model을 학습하는 Self-Supervised Learning을 분석합니다. 본 논문은 3가지 method를 비교합니다. (BiGAN, RotNet, DeepCluster). 데이터가 상당히 많더라도, Supervision과 같이 학습하는 것은 불가능합니다. 1) 본 논문은 초기 layer에서는 natural images의 통계에 대한 정보를 갖는 것이 힘들다는 것을 설명하고, 2) self-supervision에서는 그러한 표현력을 Self-supervision을 통해서, 학습될 수 있다고 설명합니다. 그리고, 대규모 데이터셋을 사용하는 것 대신 합성 변환을 활용하여, low-level statistics를 포착할 수 있습니다. Introduction 본..

Overfitting & Generalization 딥러닝 모델은 데이터가 많을수록 높은 성능을 나타냅니다. 그러나, 데이터가 많다고 해서 "Overfitting"으로 인하여 모델 성능이 항상 좋은 것은 아닙니다. - 모델의 복잡도(power)가 높으면 학습에서 데이터의 경향성을 따라가는 경향이 있습니다. - "Overfitting" Dropout - 대표적인 generalization 기법입니다. (https://jmlr.org/papers/v15/srivastava14a.html) - 학습 과정에서 특정 node들을 p의 확률로 사용하겠다는 의미이다. - Dropout을 적용하면, 적용하지 않은 것과 비교하여 각 node들의 output이 증가함 Dropconnect - Dropout의 조금 일반화된..

import torch from PIL import Image import numpy as np from torchvision.transforms import transforms tf = transforms.ToPILImage() # Load image image = Image.open("/content/img.jpeg") image = np.array(image) tensor_image = torch.tensor(image) tensor_image = tensor_image.float() mask = torch.zeros_like(tensor_image) # Create binary mask mask[50:300, 200:300, :] = 1.0 # column, row mask[50:300, 420:..

Abstract 본 논문은 Generative, Representation을 동시에 활용하는 MAsked Generative Encoder(MAGE)를 소개합니다. 본 아이디어의 핵심은 마스크된 이미지를 활용하여, 이미지를 Generative 하는 방법과 Representation 2가지 모두 학습할 수 있습니다. MAGE는 입력 및 출력에서 GAN에 의한 토큰을 사용하여, Masking과 결합합니다. Contrastive loss를 Encoder에 추가함으로써, 표현력을 극대화합니다. Introduction Generative 와 recognition task는 visual과 data 내 semantic 정보를 학습해야 합니다. Generation은 high-level semantics과 low-lev..

Python에서의 일반적으로 자주 활용되는 메소드(Magic Method)인 __str__ 메서드와 __repr__ 메서드의 차이 두 메소드 간에는 미묘한 차이가 있습니다. 따라서 차이점을 명확하게 아는게 좋습니다. 공통점 - 두 메소드는 모두 "객체를 문자열로 반환"한다는 공통점이 존재 아래의 코드를 활용해보면 __repr__ 와 __str__이 겹친다는 것을 알 수 있습니다. import torch import torch.nn as nn class model(nn.Module): def __init__(self): super().__init__() self.linear1 = nn.Linear(10, 100) self.linear2 = nn.Linear(100, 100) self.linear3 = nn..

물리적 Pinhhole camera는 이미지를 focal print를 거쳐서 up-side down을 합니다. 수학적 모델링 측면에서는, 이미지 plane, (즉 이미지를 사영한 경우) focal print 초점 앞에 있다고 봅니다. 적절한 이미지 좌표 변환을 진행하면, 두개의 이미지 모두 동일합니다. 초점과 객체 사이의 거리가 가까워지면 이미지 전체에 대한 정보를 가져오는 것이 가능하지만, 멀어지면 이미지로부터의 정보가 손실됩니다. 소실점이란(vanishing point)? 여러 기하학적 성질을 가지고 있으며, 카메라 캘리브레이션, 계산, 3D 복원 등 다양한 응용을 갖습니다. 물리적 공간에서 아무리 멀리 떨어진 직선일지라도, 서로 방향만 같다면 모두 동일한 하나의 소실점으로 수렴합니다. 그런데 평행한..