O Tribunal de Contas pretende utilizar um grande modelo de
linguagem (LLM) para apoiar a análise preliminar de documentos
de fiscalização. A solução deverá
• elaborar um resumo exclusivamente com base nos
documentos fornecidos;
• separar a resposta em fatos identificados, possíveis
inconsistências e informações ausentes;
• indicar, para cada conclusão, o trecho do documento que lhe
dá suporte;
• declarar expressamente quando os dados forem insuficientes;
• submeter o resultado à revisão de um auditor.
Além disso, pretende-se utilizar um agente, entendido, nessa
solução, como um componente capaz de coordenar uma
sequência previamente definida de ações e acionar os recursos
autorizados em cada etapa.
Assinale a opção que apresenta a aplicação mais adequada da
engenharia de prompt e do agente nesse cenário.

Question

O Tribunal de Contas pretende utilizar um grande modelo de
linguagem (LLM) para apoiar a análise preliminar de documentos
de fiscalização. A solução deverá
• elaborar um resumo exclusivamente com base nos
documentos fornecidos;
• separar a resposta em fatos identificados, possíveis
inconsistências e informações ausentes;
• indicar, para cada conclusão, o trecho do documento que lhe
dá suporte;
• declarar expressamente quando os dados forem insuficientes;
• submeter o resultado à revisão de um auditor.
Além disso, pretende-se utilizar um agente, entendido, nessa
solução, como um componente capaz de coordenar uma
sequência previamente definida de ações e acionar os recursos
autorizados em cada etapa.
Assinale a opção que apresenta a aplicação mais adequada da
engenharia de prompt e do agente nesse cenário. Alternativa A: Formular um prompt breve, solicitando apenas “analise os
documentos”, e permitir que o agente complete livremente
informações ausentes para produzir uma conclusão definitiva. Ou Alternativa B: Formular um prompt com o objetivo da análise e permitir que
o agente selecione fontes externas não autorizadas sempre
que considerar os documentos insuficientes, dispensando a
revisão humana. Ou Alternativa C: Formular um prompt que especifique o contexto, as tarefas, as
restrições, o formato da resposta e o tratamento de
informações insuficientes; e utilizar o agente para coordenar o
recebimento dos documentos, o envio das instruções ao LLM,
a verificação da presença das seções exigidas e o
encaminhamento do resultado ao auditor. Ou Alternativa D: Formular um prompt contendo apenas o formato final da
resposta e utilizar o agente para determinar, sem restrições,
quais fatos e conclusões devem ser acrescentados ao
conteúdo produzido pelo LLM. Ou Alternativa E: Formular prompts diferentes a cada execução, sem critérios
previamente definidos, e utilizar o agente somente para
armazenar a resposta final, sem coordenar as etapas do
processo.

Qconcursos · Accepted Answer

Alternativa [C] Formular um prompt que especifique o contexto, as tarefas, as
restrições, o formato da resposta e o tratamento de
informações insuficientes; e utilizar o agente para coordenar o
recebimento dos documentos, o envio das instruções ao LLM,
a verificação da presença das seções exigidas e o
encaminhamento do resultado ao auditor. Gabarito: CFundamento decisivo: O enunciado limita a análise aos documentos, exige suporte documental e revisão por auditor, e define o agente como coordenador de ações previamente delimitadas. Por isso, a alternativa correta deve combinar instruções explícitas com um fluxo controlado até o auditor; C é a única que o faz.Tema central: Engenharia de prompt e agentesAnálise das alternativasAErradaA instrução genérica não explicita as exigências de estrutura, suporte documental e tratamento da insuficiência. Além disso, completar livremente informações ausentes contraria tanto a limitação aos documentos quanto o dever de declarar a insuficiência dos dados.BErradaPermitir fontes externas não autorizadas rompe a delimitação da base documental. Dispensar a revisão humana também contraria a exigência expressa de encaminhar o resultado a um auditor.CCertaC distribui adequadamente as funções: o prompt orienta o conteúdo da análise, e o agente coordena sua execução. Contexto, tarefas, restrições, formato e tratamento da insuficiência permitem explicitar a exclusividade da base documental, a indicação dos trechos de suporte e a declaração de dados insuficientes. O agente organiza o recebimento dos documentos, o envio das instruções ao LLM, a conferência das seções e o encaminhamento ao auditor. Essa conferência é estrutural: não comprova a correção das conclusões nem substitui a revisão humana.DErradaDefinir apenas o formato não estabelece as tarefas, as restrições documentais nem o tratamento das informações insuficientes. Autorizar o agente a acrescentar fatos e conclusões sem restrições permite conteúdo sem suporte nos documentos, incompatível com o cenário.EErradaO problema não é variar os prompts, mas fazê-lo sem critérios que assegurem o atendimento aos requisitos. Além disso, apenas armazenar a resposta não cumpre a função de coordenar as etapas atribuída ao agente.Pegadinha da questãoConfundir maior liberdade do agente com maior adequação à tarefa: a insuficiência documental exige declaração expressa, não preenchimento livre de lacunas nem consulta a fontes não autorizadas.Dica para questões semelhantesConfronte as instruções do prompt com cada requisito: base permitida, tarefas, formato, suporte das conclusões e tratamento da insuficiência.Avalie o agente pela função definida no cenário: aqui, coordenar etapas delimitadas e recursos autorizados, preservando a revisão pelo auditor.Separe verificação estrutural de validação do conteúdo: conferir seções não demonstra que as conclusões estão corretas.Ao analisar variações de prompts, verifique a existência de critérios; a variação, por si só, não é o erro.

O Tribunal de Contas pretende utilizar um grande modelo de ...

Gabarito comentado

Gabarito: C

Clique para visualizar este gabarito

Comentários

Clique para visualizar este comentário

Questões de assuntos semelhantes

Provas relacionadas