O Tribunal de Contas pretende utilizar um grande modelo de
linguagem (LLM) para apoiar a análise preliminar de documentos
de fiscalização. A solução deverá
• elaborar um resumo exclusivamente com base nos
documentos fornecidos;
• separar a resposta em fatos identificados, possíveis
inconsistências e informações ausentes;
• indicar, para cada conclusão, o trecho do documento que lhe
dá suporte;
• declarar expressamente quando os dados forem insuficientes;
• submeter o resultado à revisão de um auditor.
Além disso, pretende-se utilizar um agente, entendido, nessa
solução, como um componente capaz de coordenar uma
sequência previamente definida de ações e acionar os recursos
autorizados em cada etapa.
Assinale a opção que apresenta a aplicação mais adequada da
engenharia de prompt e do agente nesse cenário.

Question

O Tribunal de Contas pretende utilizar um grande modelo de
linguagem (LLM) para apoiar a análise preliminar de documentos
de fiscalização. A solução deverá
• elaborar um resumo exclusivamente com base nos
documentos fornecidos;
• separar a resposta em fatos identificados, possíveis
inconsistências e informações ausentes;
• indicar, para cada conclusão, o trecho do documento que lhe
dá suporte;
• declarar expressamente quando os dados forem insuficientes;
• submeter o resultado à revisão de um auditor.
Além disso, pretende-se utilizar um agente, entendido, nessa
solução, como um componente capaz de coordenar uma
sequência previamente definida de ações e acionar os recursos
autorizados em cada etapa.
Assinale a opção que apresenta a aplicação mais adequada da
engenharia de prompt e do agente nesse cenário. Alternativa A: Formular um prompt breve, solicitando apenas “analise os
documentos”, e permitir que o agente complete livremente
informações ausentes para produzir uma conclusão definitiva. Ou Alternativa B: Formular um prompt com o objetivo da análise e permitir que
o agente selecione fontes externas não autorizadas sempre
que considerar os documentos insuficientes, dispensando a
revisão humana. Ou Alternativa C: Formular um prompt que especifique o contexto, as tarefas, as
restrições, o formato da resposta e o tratamento de
informações insuficientes; e utilizar o agente para coordenar o
recebimento dos documentos, o envio das instruções ao LLM,
a verificação da presença das seções exigidas e o
encaminhamento do resultado ao auditor. Ou Alternativa D: Formular um prompt contendo apenas o formato final da
resposta e utilizar o agente para determinar, sem restrições,
quais fatos e conclusões devem ser acrescentados ao
conteúdo produzido pelo LLM. Ou Alternativa E: Formular prompts diferentes a cada execução, sem critérios
previamente definidos, e utilizar o agente somente para
armazenar a resposta final, sem coordenar as etapas do
processo.

Gabriel Monteiro Barbosa · Accepted Answer

Alternativa [C] Formular um prompt que especifique o contexto, as tarefas, as
restrições, o formato da resposta e o tratamento de
informações insuficientes; e utilizar o agente para coordenar o
recebimento dos documentos, o envio das instruções ao LLM,
a verificação da presença das seções exigidas e o
encaminhamento do resultado ao auditor. Fonte: Gemini A alternativa correta é a C. Análise detalhada da solução proposta: Engenharia de Prompt adequada: Para atender às exigências do cenário (elaborar resumo exclusivo com base nos documentos, estruturar a resposta nas seções solicitadas, citar trechos de suporte e declarar expressamente a falta de dados), o prompt deve conter instruções claras de contexto, tarefas, restrições, formato de saída e a diretriz estrita para não inventar informações (tratamento de dados insuficientes/grounding). Papel do Agente: O agente deve atuar orquestrando o fluxo do processo conforme a definição dada na questão ("coordenar uma sequência previamente definida de ações"): capturar os documentos, invocar o LLM com as instruções corretas, validar se a estrutura esperada foi gerada e encaminhar o resultado para a revisão do auditor (humano no circuito / human-in-the-loop). Análise das demais alternativas: A, B e D: Incorretas, pois sugerem alucinação/liberdade para inventar fatos, acesso a fontes não autorizadas e a eliminação da etapa essencial de revisão do auditor. E: Incorreta, pois a falta de critérios e padronização inviabiliza a auditoria contínua de um processo formal do Tribunal de Contas.

O Tribunal de Contas pretende utilizar um grande modelo de ...

Comentários

Clique para visualizar este comentário

Questões de assuntos semelhantes

Provas relacionadas