[3D Knowledge] KV cache

 

Multi Head Attention (MHA)

     - KV cache을 없다면,

          - MHA 방법은, 주어진 token을 모두 넣어, KVQ 모두를 구합니다. 그러한 경우, Query 하고 KEY를 내적하는 과정에서, Query의
            길이와 Key 전체 길이 (Query Key 동일한 길이를 쓰므로) 그리고 D 의 차원이므로 O(L^2D)라는 시간복잡도가 된다.

          - Deconder Only 방식은, 이러한 과정을 계속해서 계산을 수행함.

KV-Cache

     - Cache 계산

            - 먼저 Input Sequence 에 대해서, QKV를 계산한 이후, KV를 저장해둡니다. 이후, 다음 토큰을 계산합니다. 

     - 중복 계산을 피함
            - 이후, 해당 토큰의 계산을 Sequence의 마지막 Sample만을 Input으로 활용.

               그러한 이유는 기존 KV cache에 concat으로 활용하여 계산, 단일 Query에 대해서만 계산하면 됨. O(LD)