기존 어텐션은 앞서 읽은 모든 토큰의 중간 결과를 들고 있어야 해서, 문맥이 길어질수록 KV 캐시가 비례해 커지고 그만큼 GPU 메모리를 먹는다. 선형 어텐션은 그 기록을 하나의 고정 크기 상태로 압축해 길이와 무관하게 같은 자리만 쓰게 만든다. 대신 앞부분을 정확히 되짚는 능력이 떨어져, 최근 모델들은 전부 기억하는 층과 번갈아 쌓아 쓰는 방식을 택한다.