KalelPark's LAB

3월에는 은은하게 시간을 보낸 것 같다. 처음으로 교수님과 함께 MICCAI 논문을 처음으로 투고했다. 부족한 부분을 석사분들과 교수님께서 많이 도와주셔서 어찌저찌 잘 제출하게 된 것 같다. 3월에는 논문을 끝내고, 다양한 사람들을 만나면서, 학교 친구들과 밥을 자주? 먹은 것 같다. 맨날 연구실만 다니다가, 개강하니까 적응이 안되기도 하고, 수업 따라가는 것도 벅차다. 여러가지 논문들을 살펴보면서 앞으로 어떤 연구를 할지 구상도 했던 것 같다. 3월을 한가하게 보내고, 4월부터는 슬슬 열심히 살아보려고 한다. 3월에 목표없이 느긋하게 보내다보니, 너무 횡설수설하다.. 4월 목표로는 ICLR을 준비하는 것이다..! 실험 세팅과 Figure 관련해서 정리하면서, 관련 논문들을 계속해서 읽어볼 예정이다. 또..

Abstract 최근 딥러닝에서모델을 계속해서 발전시키고자 한다면 annotated data가 많이 필요합니다. 이에 대한 한가지 해결방법은 active learning을 하는 것입니다. active learning이란, labeling되지 않은 데이터를 사람이 데이터를 생성하는 것을 말합니다. 본 논문에서는 annotate data를 표기합니다. 본 논문에서는, task에 구애받지 않고, 딥러닝 모델에 효과적으로 적용할 수 있는 새롭고, 단순한 방법을 제기합니다. "loss prediction module"이라고 불리는, small parameteric module을 붙이고, unlabel data의 target에 대한 loss가 어느정도인지 예측하도록 학습합니다. 이러한 묘듈은 모델이 잘못된 예측을 ..

Socket Programming 두 프로그램이 네트워크를 통해 서로 통신을 수행할 수 있도록 양쪽에 생성되는 링크의 단자입니다. 두 소켓이 연결되면 서로 다른 프로세스끼리 데이터를 전달하는 것이 가능합니다. 결국 Socket이 구혐됨으로써, 네트워크 및 전송 계 층의 캡슐화가 가능해집니다. 1. 스트림 소켓 (SOCK_STREAM) 양방향으로 바이트 스트림을 전송할 수 있는 연결 지향형 소켓으로 양쪽 어플리케이션이 모두 데이터를 주고 받을 수 있습니다. 스트림 소켓은 오류수정, 전송처리, 흐름제어 등을 보장해주며, 송신된 순서에 따라 중복되지 않은 데이터를 수신하게 됩니다. 해당 소켓은 각 메세지를 보내기 위해 별도의 연결을 맺는 행위를 하므로, 약간의 오버헤드가 존재합니다. 그러므로 소량의 데이터보다..

Abstract Masked Imaging에 관련해서 설명. 동일한 이미지 내, 상당히 매우 많은 부분을 Patch로 생성하는데, 이러한 방법은 상당히 많은 부분이 매우 높은 상관관계를 나타내며, 마스킹 된 부분이 상당히 많이 중복됩니다. 우리는 이러한 중복성이 기존 MIM 기반의 방법들을 무시하고, SSL에서 무시할 수 없는 오버헤드를 야기합니다. 본 논문에서는 compacting token과 단지 필요한 정보만을 남기기 위한 방법인 Progressively Compressed AutoEncoder를 설명합니다. 본 논문에서, 우리는 토큰 시퀀스의 평균을 가진 각 토큰 간의 간단하지만 효과적인 유사성 메트릭을 통하여, 이미지에서 중복 토큰을 식별하고자 합니다. Introduction 본 논문에서는 Re..

Abstract 본 논문은 label 없이, model을 학습하는 Self-Supervised Learning을 분석합니다. 본 논문은 3가지 method를 비교합니다. (BiGAN, RotNet, DeepCluster). 데이터가 상당히 많더라도, Supervision과 같이 학습하는 것은 불가능합니다. 1) 본 논문은 초기 layer에서는 natural images의 통계에 대한 정보를 갖는 것이 힘들다는 것을 설명하고, 2) self-supervision에서는 그러한 표현력을 Self-supervision을 통해서, 학습될 수 있다고 설명합니다. 그리고, 대규모 데이터셋을 사용하는 것 대신 합성 변환을 활용하여, low-level statistics를 포착할 수 있습니다. Introduction 본..

Overfitting & Generalization 딥러닝 모델은 데이터가 많을수록 높은 성능을 나타냅니다. 그러나, 데이터가 많다고 해서 "Overfitting"으로 인하여 모델 성능이 항상 좋은 것은 아닙니다. - 모델의 복잡도(power)가 높으면 학습에서 데이터의 경향성을 따라가는 경향이 있습니다. - "Overfitting" Dropout - 대표적인 generalization 기법입니다. (https://jmlr.org/papers/v15/srivastava14a.html) - 학습 과정에서 특정 node들을 p의 확률로 사용하겠다는 의미이다. - Dropout을 적용하면, 적용하지 않은 것과 비교하여 각 node들의 output이 증가함 Dropconnect - Dropout의 조금 일반화된..

import torch from PIL import Image import numpy as np from torchvision.transforms import transforms tf = transforms.ToPILImage() # Load image image = Image.open("/content/img.jpeg") image = np.array(image) tensor_image = torch.tensor(image) tensor_image = tensor_image.float() mask = torch.zeros_like(tensor_image) # Create binary mask mask[50:300, 200:300, :] = 1.0 # column, row mask[50:300, 420:..

Instruction format이란? Instruction set에서 주로 사용되며, 컴퓨터에서 사용되는 instruction (명령, 작업)의 레퍼토리 (순서를 가진 목록) machine code라고 불리는 binary code로 encoded됩니다. Instruction (명령어) - Binary에서 잘 작동되고, Memory 내, 명령어와 연산자를 저장합니다. Store Program Organization - Program과 데이터가 서로 다른 저장소에 저장되지만, 같은 것처럼 다뤄지는 것을 의미합니다. - Register for Processing, Instruction code format, Immediate operands RISC-V Instruction Format - register ..