Simulado de IA para o Atacadão

Um modelo de linguagem gera texto um token por vez. Na implementação ingênua a seguir, a cada passo o modelo recebe a sequência inteira de novo.

tokens = prompt                 # 1.000 tokens
for _ in range(500):
    logits = modelo(tokens)     # sequência inteira
    prox = logits[-1].argmax()
    tokens = tokens + [prox]

Cada token novo demora mais que o anterior. Com o KV cache ligado, o tempo por token cai muito e quase não cresce ao longo do texto.

O KV cache acelera a geração porque