A alternativa correta é a E — uma unidade de texto processada pelo modelo.

Um token é a menor unidade de texto que um LLM processa. Ele pode ser:

• Uma palavra completa, como casa ;
• Parte de uma palavra, como inte + ligente ;
• Um caractere ou símbolo, como ? ou # .

O modelo converte o texto de entrada e a resposta gerada em sequências de tokens para analisá-las e prever a próxima unidade mais provável.

Por que as demais estão erradas

• A: uma consulta à web não é um token; é uma ação externa que alguns sistemas podem realizar.
• B: o prompt é o texto enviado pelo usuário, composto por vários tokens.
• C: Transformer é a arquitetura do modelo, não uma unidade de texto.
• D: a resposta é o texto gerado, também composto por tokens.