Notebooks Colab das atividades práticas da disciplina de Tópicos Especiais em Computação: Semântica e Recuperação de Informação.
Para executar os notebooks siga os passos abaixo.
- Crie a pasta "Colab Notebooks" na raiz do seu google drive para receber a pasta do projeto. Outros projetos utilizando Colab Notebooks podem ser criados na mesma pasta.
- Dentro da pasta "Colab Notebooks" crie a pasta "SRI" para armazenar e executar os notebooks das atividades práticas da disciplina.
- Dentro da pasta "SRI" crie a pasta "data" e coloque o arquivo de dados documentos.csv. Este arquivo é o conjunto de dados utilizados na prática. Cada linha do arquivo é formato por
["id","documento"]
.
Posteriormente os notebooks podem ser executados em ordem sequencial conforme a figura a seguir.
Apresentação do fluxo de uso dos notebooks e fluxo geral de manipulação de arquivos no Colab.
-
Pré-processamento
- 1.1. Segmentacao_Limpeza_v1.ipynb - Realiza a limpeza e segmentação dos documentos.
- 1.2. GerarPOS_v1.ipynb - Gera as PoSTagging do documento utilizando o spaCy.
- 1.3. NER_spaCy_v1.ipynb - Realiza reconhecimento de entidades nomeadas em textos.
-
Análise
- 2.1. AnaliseDados_v1.ipynb - Gera gráficos e tabelas com distribuições de dados.
-
Embeddings
-
3.1. Embeddings_Word2Vec_Gensim_v1.ipynb - Examinando embeddings estáticos de palavras gerados com Word2Vec.
-
3.2. Embeddings_BERT_Huggingface_v1.ipynb - Examinando embeddings contextualizados de palavras e sentenças gerados com o BERT.
- 3.2.1. GerarArquivosProjecaoEmbeddingsDocumento_v1.ipynb - Gerando embeddings de documento com o BERT para o Embedding Projector.
- 3.2.2. GerarArquivosProjecaoEmbeddingsToken_v1.ipynb - Gerando embeddings de tokens com o BERT para o Embedding Projector.
- 3.2.3. GerarArquivosProjecaoEmbeddingsToken_Documento_v1.ipynb - Gerando embeddings de tokens e documentos com o BERT para o Embedding Projector.
- 3.2.4. GerarArquivosProjecaoEmbeddingsSentenca_Documento_v1.ipynb - Gerando embeddings de sentenças e documentos com o BERT para o Embedding Projector.
-
Links para os arquivos de configuração das projeções de embeddings no Embedding Projector:
- Documentos: config_documento.json: https://projector.tensorflow.org/?config=https://raw.githubusercontent.com/osmarbraz/sri/main/projecao/config_documento.json
- Tokens: config_token.json: https://projector.tensorflow.org/?config=https://raw.githubusercontent.com/osmarbraz/sri/main/projecao/config_token.json
- Tokens e Documentos: config_token_documento.json: https://projector.tensorflow.org/?config=https://raw.githubusercontent.com/osmarbraz/sri/main/projecao/config_token_documento.json
- Sentenças e Documentos: config_sentenca_documento.json: https://projector.tensorflow.org/?config=https://raw.githubusercontent.com/osmarbraz/sri/main/projecao/config_sentenca_documento.json
O conjunto de dados utilizado pelos notebooks é formado por 20 documentos extraído do conjunto de dados CSTNews.
Clique aqui para acesssar o conjunto de dados completo CSTNews.
Referência
- ALEIXO, Priscila; PARDO, Thiago Alexandre Salgueiro. CSTNews: um córpus de textos jornalísticos anotados segundo a teoria discursiva multidocumento CST (Cross-document Structure Theory), 2008.
Guia Colab Iniciante: https://medium.com/machina-sapiens/google-colab-guia-do-iniciante-334d70aad531
Documentação oficial: https://colab.research.google.com/github/jakevdp/PythonDataScienceHandbook/blob/master/notebooks/01.01-Help-And-Documentation.ipynb
Características : https://colab.research.google.com/notebooks/basic_features_overview.ipynb