Processamento de Linguagem Natural

Python é uma das linguagens de programação mais utilizadas nos contextos de PLN e processamento de texto. A sintaxe simples e de fácil aprendizado enfatiza a legibilidade da linguagem Python. 

Ainda, suporta módulos e pacotes, o que incentiva a modularidade do programa e a reutilização de código. Dentre os pacotes desenvolvidos em Python para trabalhar com PLN, é possível destacar: 

Em processamento de linguagem natural, fazem parte dos estágios básicos de análise:

Chatbots são softwares capazes de conduzir uma conversa por texto, projetados para desenvolver uma conversa da maneira mais semelhante possível à de um ser humano. De acordo com o histórico de PLN, os chatbots sugiram:

Qual é o valor da similaridade de cossenos entre as frases A e B, conforme a seguir?

A – “O Grêmio é copeiro”

B – “Grêmio é copeiro sim”

Qual é a distância mínima de edição (Minimum Edit Distance) entre as strings “AMOR” e “CALOR”?

Dentre as técnicas para extração de informações sobre bases textuais, destacam-se os algoritmos bag of words e TF-IDF. Sobre eles, é correto afirmar:

1. Um dos maiores problemas do algoritmo bag of words  é não considerar o contexto no qual os termos estão inseridos, levando em conta apenas o número de vezes em que um termo aparece.
2. O TF-IDF é um dos esquemas de ponderação de termos mais populares, usado por 83% dos sistemas de recomendação baseados em texto nas bibliotecas digitais.
3. O bag of words  lista o percentual que cada palavra representa em um documento.

Selecione a alternativa correta:

Um n-grama é uma sequência de n elementos em um determinado nível de análise. Considerando a sentença abaixo, qual das alternativas ilustra exemplos de bigramas?

“O aluno realizou a prova no tempo previsto.”

Considere os textos a seguir.

Texto 1: “Paulo e Cíntia foram ao cinema sem ingressos.”

Texto 2: “E não havia mais ingressos.”

Texto 3: “Paulo comeu bolo e Cíntia comeu pipoca.”

Utilizando cada atributo conforme a ordem de ocorrência das palavras, qual seria a representação vetorial do texto 2 utilizando bag of words?

O pacote scikit-learn do Python oferece três principais tipos de vetorizadores de textos.

1. O peso atribuído a cada termo não depende apenas de sua frequência em um documento, mas também de sua recorrência em todo um conjunto de documentos.
2. O mais simples conta o número de vezes que um termo aparece no documento e usa esse valor como peso.
3. Oferece boa eficiência em relação ao uso da memória. A desvantagem desse método reside no fato de que, uma vez vetorizado, os nomes das características não podem mais ser recuperados.

Os métodos descritos acima são, respectivamente:

Considere os textos a seguir.

Texto 1: “Paulo e Cíntia foram ao cinema sem ingressos.”

Texto 2: “E não havia mais ingressos.”

Texto 3: “Paulo comeu bolo e Cíntia comeu pipoca.”

Utilizando cada atributo conforme a ordem de ocorrência das palavras, qual seria a representação vetorial do texto 3 utilizandoTF-IDF?

O algoritmo bag of wordsé uma técnica de processamento de linguagem natural usada para extrair características de um texto/documento a partir da contagem da frequência das suas palavras. Nesse contexto, um documento pode ser definido conforme necessário como uma frase única ou toda a Wikipédia.

As quatro etapas que compõem o algoritmo bag of words são:

A partir de um texto, é possível criar uma estrutura com todas as palavras e suas respectivas contagens no texto. Em Python, isso pode ser feito por meio de um dicionário, no qual a palavra indica a chave e a quantidade aponta para o valor associado à chave. A essa estrutura dá-se o nome de _________________ (lacuna), possibilitando a criação de vetores para cada frase do texto.

Selecione a alternativa que apresenta a palavra adequada para preencher a lacuna do texto acima:

De posse de diversas bases de dados/documentos, é possível calcular a probabilidade de uma sequência de ocorrências, ou seja, grupo de palavras. Poderíamos especificar tais probabilidades e dizer, por exemplo, que a probabilidade da sentença “o jogador chutou a ____” ser completada com a palavra “bola” é bem maior que com a palavra “mola”. Como exemplo de modelos baseados nessa ideia, é possível citar:

Considere o trecho de código em Python a seguir:

def FUNC(model, tagged_data, num_dim):

  matrix = np.zeros((len(tagged_data),num_dim))

  for i inrange(len(tagged_data)):

    matrix[i] = model.docvecs[tagged_data[i][1][0]]

  return matrix

...

model = Doc2Vec(vector_size=100, min_count=2, dm=1, dm_concat = 1,epochs=100)

...

resultado = FUNC(model, tagged_treino, num_dim)

O papel da função FUNC é:

Diferentemente das representações clássicas, em que as palavras são representadas simplesmente por uma sequência de caracteres ou como um índice de um vocabulário, word embeddings introduzem o conceito de aprendizado por representação. Sobre word embeddings, é correto afirmar:

1. O conceito de embeddings refere-se a uma representação em um espaço vetorial contínuo de maior dimensionalidade aprendida ou gerada a partir de uma representação de menor dimensionalidade.
2. As embeddings podem ser aprendidas/geradas para variáveis discretas (ex.: documentos, sentenças e palavras).
3. A utilização de embeddings facilita a utilização dos algoritmos de aprendizado de máquina, aumentando a velocidade de execução e reduzindo o consumo de memória.

Selecione a alternativa correta:

Uma maneira de melhorar as pesquisas por informações digitais é procurar o seu tema, quando se torna possível tanto buscar informações mais específicas quanto mais amplas dentro de um tema, incluindo ainda o acesso ao histórico de como esses temas mudaram ao longo do tempo ou como estão conectados entre si. Assim, em vez de empregar somente palavras-chave, a pesquisa inicia com o tema de interesse e com a análise dos documentos relacionados a esse tema. Nesse contexto, a um conjunto de algoritmos que visam pesquisar sobre grandes arquivos de documentos com informações temáticas, dá-se o nome de:

Na biblioteca Gensim, existe uma função de pré-processamento acessível pelo módulo _________________ (lacuna 1) por _________________________ (lacuna 2), que recebe o documento como parâmetro obrigatório e outros três parâmetros opcionais: deacc,min_len e max_len.

Selecione a alternativa que apresenta conteúdos adequados para preencher as lacunas do texto acima:

O grande volume de dados disponíveis exige cada vez mais a utilização de ferramentas automatizadas a fim de armazenar, organizar e recuperar informações.

Nesse contexto, emprega-se a sumarização de textos para organizar de maneira lógica informações sobre diferentes coleções de dados. Sobre a sumarização de textos, é correto afirmar:

1. Os algoritmos de sumarização automática de textos (SAT) podem ser classificados conforme o número de textos processados.
2. A sumarização pode ser empregada em diferentes casos, como em notícias, artigos científicos ou prontuários de pacientes de um hospital.
3. Os objetivos da sumarização se classificam em dois pontos de vista principais: o escritor e o revisor dos textos.

Selecione a alternativa correta:

Sobre modelagem de tópicos, é correto afirmar:

1. O resultado da modelagem em tópicos garante exclusividade de tópicos corretos de cada documento.
2. Diminui a dependência de conhecimentos especializados sobre a coleção ou o domínio, imprescindíveis para interpretar esses tópicos.
3. Existem grandes chances de os documentos com ideias equivalentes de tópicos ficarem agrupados juntos.

Selecione a alternativa correta:

O Latent Dirichlet Allocation (LDA) é um dos modelos de tópicos mais populares, tendo servido como base para criar muitos outros modelos probabilísticos. Sobre LDA, é correto afirmar:

1. É um modelo probabilístico generativo de um corpus.
2. Pode-se dizer que o modelo LDA foi baseado nos modelos LSA (Latent Semantic Analysis) e pLSI (probabilistic Latent Semantic Indexing).
3. Cada tópico se caracteriza por uma distribuição de palavras.

Selecione a alternativa correta:

Assuma que a fração de alunos de Graduação indígenas seja de 15%, e que a fração de alunos de Pós-Graduação indígenas seja de 23%.

Se 1/5 dos alunos da universidade são de Pós-Graduação (sendo o restante de Graduação), qual a probabilidade de um aluno indígena ser de Graduação?

Uma das formas de lidar com tarefas preditivas em aprendizado de máquina, principalmente quando as informações disponíveis são incompletas ou imprecisas, é por meio do uso de algoritmos baseados no teorema de Bayes, os métodos probabilísticos bayesianos.

Dentre eles, destaca-se o classificador Naive Bayes, que é considerado ingênuo:

Assuma que a fração de alunos de Graduação que fuma seja de 15%, e que a fração de alunos de Pós-Graduação que fuma seja de 23%. Se 1/5 dos alunos da universidade são de Pós-Graduação (sendo o restante de Graduação), qual a probabilidade de um aluno fumante ser de Pós-Graduação?

Considere a seguinte matriz de confusão com o desempenho de um classificador:

O valor da precisioné:

São exemplos de tarefas descritivas:

1. Encontrar regras de associação que associam valores de um subconjunto de atributos preditivos a valores de outro subconjunto.
2. Diagnóstico médico de pacientes a partir de seus sintomas.
3. Encontrar grupos de objetos similares entre si em um conjunto de dados.
   

Selecione a alternativa correta.

Em aprendizado de máquina, o conhecimento adquirido pode ser representado de diversas formas. São exemplos de representação de conhecimento:

Considere a seguinte matriz de confusão com o desempenho de um classificador:

Os valores de acurácia e erro são, respectivamente:

Consideramos a ideia de desenvolver um classificador binário para classificar documentos como “positivo” (éplágio) ou “negativo” (não é plágio). Nesse contexto, podemos afirmar que:

As redes neurais artificiais (RNAs) destacam-se como um dos principais modelos de aprendizado de máquina. Sobre as RNAs, é correto afirmar:

1. Uma das vantagens das RNAs é a sua capacidade de generalização.
2. Os resultados estado-da-arte em áreas como análise de imagens e vídeos foram obtidos por RNAs, em especial por redes neurais profundas.
3. Uma das vantagens das RNAs é a interpretabilidade do modelo.
4. Uma desvantagem das RNAs é a dificuldade na escolha dos seus parâmetros, por isso são muitas vezes referenciadas como “caixas-pretas”.

Selecione a alternativa correta:

Além do grau de conectividade, as RNAs podem apresentar ou não conexões de retroalimentação, ou feedback. A informação em uma rede neural geralmente flui da camada de entrada da rede para os neurônios da camada de saída. As conexões de retroalimentação permitem que um neurônio receba em seus terminais de entrada a saída de um neurônio da mesma camada ou de uma camada posterior. O neurônio pode, inclusive, receber sua própria saída em um de seus terminais de entrada. Essas redes são conhecidas como:

Sistemas de classificação de texto podem ser compostos por quatro níveis de escopo. São eles:

Para resolver problemas não linearmente separáveis utilizando RNAs, a alternativa mais empregada é adicionar uma ou mais camadas intermediárias. Uma rede com uma camada intermediária pode implementar qualquer função contínua. A partir de duas camadas intermediárias, é possível aproximar qualquer função, desde que sejam utilizados neurônios suficientes.

Sobre as redes Perceptron de múltiplas camadas (MLP, do inglês Multilayer Percetron), é correto afirmar:

1. Uma rede é completamente conectada quando os neurônios da rede estão conectados a todos os neurônios da camada anterior e/ou seguinte.
2. A taxa de aprendizado no treinamento da rede representa o quanto a rede já aprendeu e, por isso, valores altos fazem com que as variações dos pesos sejam menores.
3. Utilizam nas camadas intermediárias funções de ativação não lineares.

Selecione a alternativa correta:

Com o crescimento acelerado de mídias sociais, os usuários podem expressar suas ideais e opiniões por fóruns, tweets, sites para avaliação de produtos, vídeos, posts etc. Nesse contexto, técnicas de classificação são utilizadas para classificar essas opiniões em, por exemplo, positiva, negativa ou neutra. Esse tipo de aplicação é conhecido por:

A filtragem de informações refere-se à seleção da informação relevante e à retirada de informações irrelevantes a partir de um fluxo de dados recebidos. Uma aplicação prática dessa filtragem de informações é:

Uma das principais vantagens das redes neurais profundas (RNPs) é que elas podem aprender a extrair características relevantes a partir de dados. Existem, inclusive, RNPs voltadas exclusivamente para extração de características, por exemplo:

Técnicas de aprendizado de máquina são amplamente utilizadas em classificação de textos. São exemplos de técnicas de classificação:

O objetivo da similaridade textual consiste em verificar o quão “próximos” são dois fragmentos de texto a partir ____________ (lacuna 1) e de ____________ (lacuna 2), em que o primeiro se refere à similaridade ____________ (lacuna 3), e a segunda à similaridade ____________ (lacuna 4).

Selecione a alternativa que representa os conteúdos adequados para preencher as lacunas do texto acima:

Considere as seguintes matrizes de confusão representando a avaliação de dois classificadores de sentimentos C1 e C2, respectivamente:

A partir das avaliações, qual classificador (C1 ou C2) você escolheria? Selecione a alternativa correta:

Considere um minerador de emoções, no qual, em um documento analisado, a avaliação “Bom atendimento” aparece 5 vezes, “Agilidade” 3 vezes, e “Qualidade” 1 vez.

As taxas de frequência (TF) normalizadas para “Bom atendimento”, “Agilidade” e “Qualidade”, respectivamente, são:

Em uma ontologia, as relações semânticas representam um tipo de relação entre as palavras e os significados. A relação de parte entre duas palavras, ou seja, uma relação “é parte de” é o tipo de relação denominada:

A classificação de sentimentos a partir de textos é uma das principais aplicações de análise de sentimentos. Considerando o conjunto de dados a seguir, com informações de 8 (oito) textos, qual atributo preditivo (feature, característica) você escolheria para determinar, de forma mais precisa, o sentimento? Se julgar necessário, pode utilizar a equação de Bayes para tomar a decisão.