토큰은 AI 모델이 문장을 잘게 쪼갠 단위로, 단어 하나보다 작을 때도 많다. 챗봇에 질문을 하면 모델은 이 토큰을 하나씩 순서대로 만들어내며 답을 생성한다. 클라우드 업체와 반도체 회사들은 GPU 가격이 올라도 토큰 하나를 처리하는 비용이 떨어지면 여전히 남는 장사로 보는데, 이 계산이 AI 설비투자 논리의 핵심이다.