Refactor download command

- Fixes #312 (downloads tax regime files)
- Fixes #313 (creates `updated_at.txt` without using dados.gov.br)
- Deprecate `--mirror` (costs of maintaining the mirror is too high)
- Deprecate `has-update` and `updated-at` because fetching the updated
  at date is always changing and these commands do not seem to be
  heavily used (in other words, reduce complexity by removing features
  to facilitate maintainability)

Author: cuducos

cmd/cmd.go

@@ -87,8 +87,6 @@ func CLI() *cobra.Command {
 		apiCLI(),
 		downloadCLI(),
 		urlsCLI(),
-		updatedAtCLI(),
-		hasUpdateCLI(),
 		checkCLI(),
 		createCmd,
 		dropCmd,

cmd/download.go

@@ -12,21 +12,15 @@ const (
 Downloads the required ZIP and Excel files.
 
 The main files are downloaded from the official website of the Brazilian
-Federal Revenue. An extra Excel file is downloaded from IBGE. Since the server
-is extremely slow, all files are downloaded using multiple HTTP requests with
+Federal Revenue. An extra CSV file is downloaded from IBGE. Since the server
+might be slow, all files are downloaded using multiple HTTP requests with
 small content ranges.`
 
 	urlsHelper = `
-Shows the URLs of the required ZIP and Excel files.
+Shows the URLs of the required ZIP and CSV files.
 
 The main files are downloaded from the official website of the Brazilian
-Federal Revenue. An extra Excel file is downloaded from IBGE.`
-
-	hasUpdateHelper = `
-Checks if there is an update available when it comes to the required ZIP from
-the Federal Revenue.
-
-Exists with exit code 0 if there is an update available and 1 otherwise.`
+Federal Revenue. An extra CSV file is downloaded from the National Treasure.`
 )
 
 var (
@@ -36,7 +30,6 @@ var (
 	chunkSize         int64
 	skipExistingFiles bool
 	restart           bool
-	useMirror         string
 )
 
 var downloadCmd = &cobra.Command{
@@ -51,9 +44,6 @@ var downloadCmd = &cobra.Command{
 		if err != nil {
 			return err
 		}
-		if useMirror != "" {
-			return download.DownloadFromMirror(useMirror, dir, dur, skipExistingFiles, restart, parallelDownloads, downloadRetries, chunkSize)
-		}
 		return download.Download(dir, dur, skipExistingFiles, restart, parallelDownloads, downloadRetries, chunkSize)
 	},
 }
@@ -72,23 +62,6 @@ var urlsCmd = &cobra.Command{
 	},
 }
 
-var updatedAtCmd = &cobra.Command{
-	Use:   "updated-at",
-	Short: "Shows the latest updated at date of the required ZIP from the Federal Revenue.",
-	RunE: func(_ *cobra.Command, _ []string) error {
-		return download.UpdatedAt()
-	},
-}
-
-var hasUpdateCmd = &cobra.Command{
-	Use:   "has-update",
-	Short: "Checks if there is an update available when it comes to the required ZIP from the Federal Revenue.",
-	Long:  hasUpdateHelper,
-	RunE: func(_ *cobra.Command, _ []string) error {
-		return download.HasUpdate(dir)
-	},
-}
-
 func downloadCLI() *cobra.Command {
 	downloadCmd = addDataDir(downloadCmd)
 	downloadCmd.Flags().BoolVarP(&skipExistingFiles, "skip", "x", false, "skip the download of existing files")
@@ -97,7 +70,6 @@ func downloadCLI() *cobra.Command {
 	downloadCmd.Flags().IntVarP(&parallelDownloads, "parallel", "p", download.DefaultMaxParallel, "maximum parallel downloads")
 	downloadCmd.Flags().Int64VarP(&chunkSize, "chunk-size", "c", download.DefaultChunkSize, "max length of the bytes range for each HTTP request")
 	downloadCmd.Flags().BoolVarP(&restart, "restart", "e", false, "restart all downloads from the beginning")
-	downloadCmd.Flags().StringVarP(&useMirror, "mirror", "m", "", "download from the mirror, not from the original source (YYYY-MM-DD)")
 	return downloadCmd
 }
 
@@ -106,12 +78,3 @@ func urlsCLI() *cobra.Command {
 	urlsCmd.Flags().BoolVarP(&skipExistingFiles, "skip", "x", false, "skip the download of existing files")
 	return urlsCmd
 }
-
-func updatedAtCLI() *cobra.Command {
-	return updatedAtCmd
-}
-
-func hasUpdateCLI() *cobra.Command {
-	hasUpdateCmd = addDataDir(hasUpdateCmd)
-	return hasUpdateCmd
-}

docs/servidor.md

@@ -17,16 +17,7 @@ Usando MongoDB, a URI será `mongodb://minhareceita:minhareceita@loocalhost:2701
 
 ## Download dos dados
 
-O comando `download` baixa dados da Receita Federal, mais um arquivo do Tesouro Nacional com o código dos municípios do IBGE.
-
-*Atenção*, por enquanto é preciso baixar manualmente os 4 arquivos de regime tributário:
-
-1. Acessar [dados.gov.br](https://dados.gov.br)
-2. Buscar por CNPJ
-3. Acessar o recurso _Regime Tributário_
-4. Baixar os quatro arquivos terminados em `.zip`
-
-O servidor da Receita Federal é lento e instável, então todo os arquivos são [baixados em pequenas fatias](https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Content-Range).
+O comando `download` baixa dados da Receita Federal, mais um arquivo do Tesouro Nacional com o código dos municípios do IBGE. O servidor da Receita Federal pode ser lento e instável, então todo os arquivos são [baixados em pequenas fatias](https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Content-Range).
 
 O comando aceita um opção `--directory` (ou `-d`) com um diretório onde serão salvos os arquivos originais da Receita Federal. O padrão é `data/`.
 
@@ -37,20 +28,20 @@ Caso o download falhe, é recomendado variar as configurações explicadas no `-
 * tempo limite para cada fatia com `--timeout` (ou `-t`)
 * rodar o comando de download sucessivas vezes com a opção `--skip` (ou `-x`) para baixar apenas os arquivos que estão faltando
 
-Em último caso, é possível listar as URLs para download dos arquivos com comando `urls`; e, então, tentar fazer o download de outra forma (manualmente, com alguma ferramenta que permite recomeçar downloads interrompidos, etc.).
+Em último caso, é possível listar as URLs para download dos arquivos com comando `urls`; e, então, tentar fazer o download de outra forma (manualmente, com alguma ferramenta que permite recomeçar downloads interrompidos, etc.). Caso essa seja uma opção crie um arquivo `updated_at.txt` no mesmo diretório com a data de extração dos dados no formato `YYYY-MM-DD`.
 
 ### Espelho dos dados
 
-O _Minha Receita_ mantém um [espelho dos dados em uma diretório compartilhado](https://mirror.minhareceita.org). Você pode fazer o download dos arquivos de lá (ao invés de utilizar o servidor oficial) com a opção `--mirror YYYY-MM-DD` substituindo a data por alguma das disponíveis no espelho.
+O _Minha Receita_ mantém um [espelho dos dados em uma diretório compartilhado](https://mirror.minhareceita.org).
 
 ### Exemplos de uso
 
 Sem Docker:
 
 ```console
-$ minha-receita download --urls-only
+$ minha-receita download
 $ minha-receita download --timeout 1h42m12s
-$ minha-receita download --mirror 2022-12-17
+$ minha-receita urls
 ```
 
 Com Docker:

download/download.go

@@ -21,7 +21,6 @@ func getURLs(url string, handler getURLsHandler, dir string, skip bool) ([]strin
 	if !skip {
 		return urls, nil
 	}
-
 	var out []string
 	for _, u := range urls {
 		p := filepath.Join(dir, filepath.Base(u))
@@ -66,39 +65,22 @@ func Download(dir string, timeout time.Duration, skip, restart bool, parallel in
 	if err != nil {
 		return fmt.Errorf("error gathering resources for download: %w", err)
 	}
-	tr, err := getURLs(taxRegimeURL, taxRegimeGetURLs, dir, skip)
-	if err != nil {
-		return fmt.Errorf("error gathering resources for download: %w", err)
-	}
-	urls = append(urls, tr...)
 	if len(urls) == 0 {
 		return nil
 	}
 	if err := download(dir, urls, parallel, retries, chunkSize, timeout, restart); err != nil {
 		return fmt.Errorf("error downloading files from the federal revenue: %w", err)
 	}
-	if err := federalRevenueGetMetadata(federalRevenueMetadataURL, dir); err != nil {
-		return fmt.Errorf("error getting metadata: %w", err)
-	}
-	return nil
-}
-
-// Download all the files from the project's mirror
-func DownloadFromMirror(mirror string, dir string, timeout time.Duration, skip, restart bool, parallel int, retries uint, chunkSize int64) error {
-	urls, err := getMirrorURLs(mirror)
-	if err != nil {
-		return fmt.Errorf("error getting mirror urls: %w", err)
-	}
-	if err := download(dir, urls, parallel, retries, chunkSize, timeout, restart); err != nil {
-		return fmt.Errorf("error downloading files from the mirror: %w", err)
+	if err := saveUpdatedAt(dir); err != nil {
+		return fmt.Errorf("error getting updated at date: %w", err)
 	}
 	return nil
 }
 
 // URLs shows the URLs to be downloaded.
 func URLs(dir string, skip bool) error {
-	urls := []string{federalRevenueURL, nationalTreasureBaseURL, taxRegimeURL}
-	handlers := []getURLsHandler{federalRevenueGetURLs, nationalTreasureGetURLs, taxRegimeGetURLs}
+	urls := []string{federalRevenueURL, nationalTreasureBaseURL}
+	handlers := []getURLsHandler{federalRevenueGetURLs, nationalTreasureGetURLs}
 	var out []string
 	for idx := range urls {
 		u, err := getURLs(urls[idx], handlers[idx], dir, skip)
@@ -111,25 +93,3 @@ func URLs(dir string, skip bool) error {
 	fmt.Println(strings.Join(out, "\n"))
 	return nil
 }
-
-// UpdatedAt shows the updated at of the files to be downloaded.
-func UpdatedAt() error {
-	u, err := fetchUpdatedAt(federalRevenueMetadataURL)
-	if err != nil {
-		return fmt.Errorf("error getting updated at: %w", err)
-	}
-	fmt.Println(u)
-	return nil
-}
-
-// HasUpdate checks if there is an update available.
-func HasUpdate(dir string) error {
-	h, err := hasUpdate(federalRevenueMetadataURL, dir)
-	if err != nil {
-		return fmt.Errorf("error getting updated at: %w", err)
-	}
-	if !h {
-		os.Exit(1)
-	}
-	return nil
-}

download/download_test.go

@@ -17,7 +17,8 @@ func TestGetURLs(t *testing.T) {
 		handler  getURLsHandler
 		expected int
 	}{
-		{"federal revenue", []string{"dados_abertos_cnpj.html", "2024-08.html"}, federalRevenueGetURLs, 37},
+		{"federal revenue", []string{"dados_abertos_cnpj.html", "2024-08.html", "regime_tributario.html"}, federalRevenueGetURLs, 41},
+
 		{"national treasure", []string{"national-treasure.json"}, nationalTreasureGetURLs, 1},
 	} {
 		ts := httpTestServer(t, tc.fixture)

download/downloader_test.go

@@ -8,10 +8,10 @@ import (
 )
 
 func TestDownloader(t *testing.T) {
-	ts := httpTestServer(t, []string{"cadastro-nacional-de-pessoa-juridica-cnpj.json"})
+	ts := httpTestServer(t, []string{"Empresas1.zip"})
 	defer ts.Close()
 
-	f, s := loadFixture(t, "cadastro-nacional-de-pessoa-juridica-cnpj.json")
+	f, s := loadFixture(t, "Empresas1.zip")
 	defer f.Close()
 
 	tmp := t.TempDir()