Geral
Processamento de Linguagem Natural
Semana 2
0

Questão

Ao analisar textos com apoio da biblioteca NLTK, é comum trabalhar com corpora estruturados, como poemas, crônicas ou artigos. Esses textos podem ser divididos em unidades menores chamadas tokens, o que permite extrair padrões, calcular frequências e construir representações úteis para diversas finalidades. Operações como normalização, contagem de types e tokenização por sentenças são etapas que influenciam diretamente os resultados da análise.
Com base nesse contexto sobre o uso do NLTK no processamento de um corpus textual. observe as afirmativas a seguir:
  1. A conversão de palavras para letras minúsculas reduz a duplicação de termos equivalentes, como “Amor” e “amor”, contribuindo para uma contagem mais coerente de tokens e types.
  2. A tokenização lexical distingue todas as ocorrências no texto, incluindo sinais de pontuação, que podem ser considerados unidades de análise dependendo dos objetivos da pesquisa.
  3. A tokenização de sentenças leva em conta o idioma do texto, o que permite reconhecer fronteiras de frases de forma mais precisa, mesmo diante de abreviações e estruturas ambíguas.
  4. A contagem de types representa o número de palavras distintas no texto, enquanto a contagem de tokens contabiliza todas as ocorrências, inclusive as repetidas.

Está correto o que se afirma em:


A)

I, II e III apenas.

B)

II, III e IV apenas.

C)

I, III e IV apenas.

D)

I, II, III e IV.

E)

I, II e IV apenas.

function vote(questaoId, value) { window.location.href = "/accounts/login/?next=/questao/1125/"; return; fetch(`/vote/questao/${questaoId}/`, { method: 'POST', headers: { 'Content-Type': 'application/json', 'X-CSRFToken': 'paU6eH3Zinljh20NX2MHODNl48uTJ9PJNnyiDRLVsa190fMWVlaNRHuS4Q9OAXD5' }, body: JSON.stringify({ value: value }) }) .then(response => response.json()) .then(data => { if (data.success) { document.getElementById(`score-${questaoId}`).textContent = data.score; const upBtn = document.querySelector(`button[onclick="vote(${questaoId}, 1)"]`); const downBtn = document.querySelector(`button[onclick="vote(${questaoId}, -1)"]`); upBtn.classList.remove('active-up'); downBtn.classList.remove('active-down'); if (data.user_vote === 1) upBtn.classList.add('active-up'); if (data.user_vote === -1) downBtn.classList.add('active-down'); } }); }