KalelPark's LAB

Abstract 본 논문에서는 dot product self attention을 사용하지 않는 Attention Free Trnasformer (AFT)을 제시합니다. AFT layer는 key와 value를 position biases와 함께 결합됩니다. 이후, query와 함께 element-wise 형태로 계산됩니다. 이러한 작업은 context size와 dimension of features에서 선형복잡성을 가지고, large input과 model size에서도, 모두 호환하게 합니다. 또한 global connectivity를 유지하면서, locality와 spatial weight를 공유하는 장점을 가지는 2가지 모델의 변형은 AFT-local과 AFT-conv를 소개합니다. Introd..

Reference https://blog.naver.com/PostView.naver?blogId=wpxkxmfpdls&logNo=221737078357&categoryNo=14&parentCategoryNo=0&from=thumbnailList

MaskedAutoencoder 일반적인 MAE에서의 Overall CODE class MaskedAutoencoder(nn.Module): def __init__(self): nn.Module.__init__(self) self.norm_pix_loss = True def patchify(self, imgs):# imgs to Patch p = self.decoder_patch_size h = w = imgs.shape[2] // p x = imgs.reshape(shape=(imgs.shape[0], 3, h, p, w, p)) x = torch.einsum('nchpwq->nhwpqc', x) x = x.reshape(shape=(imgs.shape[0], h * w, p**2 * 3)) retur..

* 추후 업데이트 예정입니다.. Abstract 최근, Contrastive Learning 과 Non-Contrastive Learning으로 접근법이 나눠 연구가 되고 있다. 새로운 접근법을 위해 2개의 친숙한 방법간의 차이가 논의되고 있지만, 우리는 이론적 유사성에 더 초점을 두고 논의합니다. 대수적으로 관련되어 표현될 수 있고, 제한된 가정 하에서 동등한 것으로 나타낼 수 있는 contrastive 와 covariance에 대해서 설계함으로써, 우리는 어떻게 2가지 방법이 유사한지 보여줍니다. 우리는 더 나아가 대중적인 방법에 대해서 연구하고, 다양한 방법을 도입하여 이론적 결과를 현재의 관행과 연관시키고 다운스트림 성능에 대한 디자인에 따른 영향을 보여줍니다. 동등성 결과에 동기부여를 함으로써,..

Contrastive Learning 과 관련된 논문을 읽다, 나온 행렬이다. Style은 서로 다른 특징(feature)간의 상관관계를 의미한다. 스타일 값이 크다는 것은 feature간의 상관관계가 높다는 것을 의미하고, 특징간 유사점이 많다는 것을 의미합니다. G는 특징들 간의 상관관계 값이고 특징들 간의 내적 값을 의미합니다. Gram Matirx와 Cosine Similiarity의 차이점 Gram matrix를 활용한 loss와 Cosine similarity를 활용한 loss는 둘 다 이미지 스타일 전이 (Image Style Transfer)에서 사용되는 손실 함수입니다. 하지만 그들은 서로 다른 방식으로 작동합니다. Gram matrix를 활용한 loss는 이미지에서 추출한 feature..