A evolução das tecnologias de Inteligência Artificial,
especialmente no campo do Processamento de Linguagem
Natural (PLN), tem sido marcada por inovações significativas que transformaram a maneira como as máquinas entendem e geram linguagem humana. Uma dessas inovações
é a arquitetura de Transformers, introduzida pelo artigo
Attention is All You Need em 2017, superando as limitações
das abordagens anteriores baseadas em Redes Neurais
Recorrentes (RNNs) e tornando-se a base fundamental
para o surgimento dos Large Language Models (LLMs).
Sobre essa arquitetura, pode-se afirmar que:

Question

A evolução das tecnologias de Inteligência Artificial,
especialmente no campo do Processamento de Linguagem
Natural (PLN), tem sido marcada por inovações significativas que transformaram a maneira como as máquinas entendem e geram linguagem humana. Uma dessas inovações
é a arquitetura de Transformers, introduzida pelo artigo
Attention is All You Need em 2017, superando as limitações
das abordagens anteriores baseadas em Redes Neurais
Recorrentes (RNNs) e tornando-se a base fundamental
para o surgimento dos Large Language Models (LLMs).
Sobre essa arquitetura, pode-se afirmar que: Alternativa A: a arquitetura dos Transformers depende exclusivamente
de camadas recorrentes para processar sequências
de texto, o que melhora a eficiência computacional em
comparação com as RNNs. Ou Alternativa B: os Transformers introduziram o conceito de atenção
seletiva, permitindo que modelos focassem em partes
relevantes do texto ao gerar respostas, algo que as
RNNs não podem fazer. Ou Alternativa C: os Transformers utilizam mecanismos de atenção que
permitem a modelagem de dependências de longo
alcance sem a necessidade de processamento sequencial, superando as limitações das RNNs. Ou Alternativa D: a arquitetura dos Transformers substituiu as unidades
de processamento baseadas em regras pelas redes
neurais, o que não era possível com as RNNs. Ou Alternativa E: a arquitetura dos Transformers elimina a necessidade
de encoders e decoders, diferenciando-se das RNNs
que dependem dessa estrutura para o Processamento
de Linguagem Natural.

Qconcursos · Accepted Answer

Alternativa [C] os Transformers utilizam mecanismos de atenção que
permitem a modelagem de dependências de longo
alcance sem a necessidade de processamento sequencial, superando as limitações das RNNs. Alternativa correta: C

1. Tema central da questão
Esta questão aborda a arquitetura dos Transformers em Inteligência Artificial, especialmente em Processamento de Linguagem Natural (PLN). Isso é fundamental para entender como modelos avançados, como os Large Language Models (LLMs), revolucionaram o tratamento de linguagens humanas por máquinas.

2. Resumo teórico
A arquitetura Transformer, apresentada por Vaswani et al. (2017) no artigo Attention is All You Need, substituiu o processamento sequencial das Redes Neurais Recorrentes (RNNs) por mecanismos de atenção que permitem analisar toda a sequência de entrada simultaneamente. Com isso, os Transformers conseguem modelar dependências de longo alcance sem as limitações de processamento das RNNs, como problemas de gradiente e lentidão.
Fonte: Vaswani, A., et al. (2017). Attention is All You Need.

3. Justificativa da alternativa correta (C)
A alternativa C está correta porque descreve precisamente o diferencial dos Transformers: modelar dependências de longo alcance sem processamento sequencial. Isso tornou os modelos mais rápidos, eficientes e capazes de entender contextos complexos em textos longos.

4. Análise das alternativas incorretas
A: Afirma erroneamente que Transformers dependem de camadas recorrentes, quando na verdade eles eliminam essas camadas.
B: Diz que RNNs não podem usar atenção, mas já existiam mecanismos de atenção em RNNs antes dos Transformers, embora de forma menos eficiente.
D: Mistura conceitos: tanto RNNs quanto Transformers usam redes neurais, não regras fixas. A diferença está na estrutura do processamento.
E: Incorreta, pois Transformers mantêm a ideia de encoders e decoders, sendo esta uma de suas características centrais.

5. Estratégias de interpretação
Fique atento a termos como "exclusivamente", "elimina totalmente" ou "não era possível", pois costumam indicar exageros e possíveis pegadinhas. Busque sempre o termo que melhor reflete o avanço da tecnologia, sem simplificações ou distorções.

Gostou do comentário? Deixe sua avaliação aqui embaixo!

A evolução das tecnologias de Inteligência Artificial, espe...

Gabarito comentado

Clique para visualizar este gabarito

Questões de assuntos semelhantes

Provas relacionadas