KalelPark's LAB

Abstract Transformer는 상당한 표현력을 지니고 있지만, high-resolution images와 같이 long sequence에 대해서는 상당히 계산이 취약합니다. 본 논문에서는 어떻게 CNN의 inductive bias와 transformer의 표현력을 어떻게 결합해야하는지 증명하고, 고해상도 이미지를 만드는 방법을 언급합니다. 또한, CNN을 사용하여 Image constituents의 context-rich vocabulary를 어떻게 학습하는지 보여주고, transformer를 활용하여 high-resolution images의 구성을 효율적으로 모델링하는 방법을 성명합니다. 우리의 접근법은 object class, spatial information과 같은 비공간적 정보를 가진..