Skip to content

Commit 9c11b27

Browse files
committed
Updates ETL docs with storage details
1 parent 5e6c1f0 commit 9c11b27

File tree

1 file changed

+7
-11
lines changed

1 file changed

+7
-11
lines changed

CONTRIBUTING.md

+7-11
Original file line numberDiff line numberDiff line change
@@ -41,7 +41,7 @@ As configurações padrão desses bancos são:
4141

4242
### Rodando o projeto todo com Docker
4343

44-
Se for utilizar Docker para rodar o projeto todo, copie o arquivo `.env.sample` como `.env` — e ajuste, se necessário.
44+
Se for utilizar Docker para rodar o projeto todo, copie o arquivo `.env.sample` como `.env` — e ajuste, se necessário.
4545

4646
O banco de dados de sua escolha (padrão, que persiste dados; ou de testes, que não persiste dados) tem que ser [iniciado isoladamente](#apenas-para-o-banco-de-dados).
4747

@@ -89,16 +89,12 @@ A etapa de transformação dos dados, começa criando armazenamentos de chave e
8989

9090
A partir daí, cada linha dos `Estabelecimentos*` é lida, enriquecida com esses pares de chave e valor armazenados anteriormente, e então enviada para o banco de dados.
9191

92-
Resumindo:
93-
94-
1. Armazena pares de chave e valor em memória para os dados de: `Cnaes.zip`, `Motivos.zip`, `Municipios.zip`, `Paises.zip`, `Naturezas.zip`, `Qualificacoes.zip` e códigos dos municípios do IBGE
95-
1. Armazena pares de chave e valor em disco para os dados de:
96-
1. `Empresas*` enriquecidas com pares de chave e valor de `Cnaes.zip`, `Motivos.zip`, `Municipios.zip`, `Paises.zip`, `Naturezas.zip`, `Qualificacoes.zip` e códigos dos municípios do IBGE
97-
1. `Socios*` enriquecidos com pares de chave e valor de `Qualificacoes.zip`
98-
1. `Simples.zip` e enriquecer as linhas do banco de dados com essas informações
99-
1. Lê os arquivos `Estabelecimentos*`
100-
1. “Enriquece” cada linha deles com os pares de chave e valor
101-
1. Persiste essa informação no banco de dados
92+
| Etapa | Descricão | Armazenamento |
93+
|---|---|---
94+
| 1 | Armazena pares de chave e valor em memória para os dados de: `Cnaes.zip`, `Motivos.zip`, `Municipios.zip`, `Paises.zip`, `Naturezas.zip`, `Qualificacoes.zip` e códigos dos municípios do IBGE | Em memória (`map[int]string`) |
95+
| 2 | Armazena pares de chave e valor em disco para os dados de: `Empresas*` (já enriquecidas com dados de `Cnaes.zip`, `Motivos.zip`, `Municipios.zip`, `Paises.zip`, `Naturezas.zip`, `Qualificacoes.zip` e códigos dos municípios do IBGE), `Socios*` (já enriquecidos com pares de chave e valor de `Qualificacoes.zip`) e `Simples.zip` | [Badger](https://dgraph.io/docs/badger/) |
96+
| 3 | Lê os arquivos `Estabelecimentos*` e os enriquece com os dados das etapas anteriores | Em memória (`struct Company`) |
97+
| 4 | Convert o `struct` para JSON e armazena o resultado no banco de dados | PostgreSQL |
10298

10399
## Amostra dos arquivos para testes
104100

0 commit comments

Comments
 (0)