diff --git a/.pre-commit-config.yaml b/.pre-commit-config.yaml index ba5d0a4456077..554df47aa0d25 100644 --- a/.pre-commit-config.yaml +++ b/.pre-commit-config.yaml @@ -916,7 +916,7 @@ repos: ^generated/provider_dependencies.json$ require_serial: true pass_filenames: false - additional_dependencies: ['rich>=12.4.4', 'rich-click>=1.5', 'inputimeout', 'pyyaml', 'packaging'] + additional_dependencies: ['rich>=12.4.4', 'rich-click>=1.7.0', 'inputimeout', 'pyyaml', 'packaging'] - id: check-example-dags-urls name: Check that example dags url include provider versions entry: ./scripts/ci/pre_commit/pre_commit_update_example_dags_paths.py diff --git a/dev/breeze/README.md b/dev/breeze/README.md index 12278aaf9ad53..594e5bc423954 100644 --- a/dev/breeze/README.md +++ b/dev/breeze/README.md @@ -52,6 +52,6 @@ PLEASE DO NOT MODIFY THE HASH BELOW! IT IS AUTOMATICALLY UPDATED BY PRE-COMMIT. --------------------------------------------------------------------------------------------------------- -Package config hash: 782a39916ea95eedd0cd81f76c9dbf3bbb5cbdc5c03271621a8dd3805324ee6868fbead2b95ac653d9efea0225db85de46b17c6f0e3b07923c7d18de666d236e +Package config hash: 20d095e80d897b7c19f3eef96e0e6ceef4a7a0c0a9b82def7089ec962da64e1bd2ee20f02532fc2ef64137d86c045c340bc8038695f53d29aa72833cafe8b153 --------------------------------------------------------------------------------------------------------- diff --git a/dev/breeze/setup.cfg b/dev/breeze/setup.cfg index 95b8df62e32db..5d26d94752586 100644 --- a/dev/breeze/setup.cfg +++ b/dev/breeze/setup.cfg @@ -65,8 +65,8 @@ install_requires = pyyaml PyGithub requests - rich>=12.6.0 - rich-click>=1.5 + rich>=13.6.0 + rich-click>=1.7.0 gitpython twine wheel diff --git a/dev/breeze/src/airflow_breeze/utils/recording.py b/dev/breeze/src/airflow_breeze/utils/recording.py index aa2afbe25c8c0..879f20f34605a 100644 --- a/dev/breeze/src/airflow_breeze/utils/recording.py +++ b/dev/breeze/src/airflow_breeze/utils/recording.py @@ -19,9 +19,8 @@ import atexit import os import sys -from typing import TYPE_CHECKING - -import rich +from copy import deepcopy +from typing import IO, TYPE_CHECKING from airflow_breeze.utils.path_utils import in_autocomplete @@ -51,20 +50,28 @@ def save_ouput_as_svg(): if help_console: help_console.save_svg(path=path, title=title, unique_id=unique_id) - class RecordingConsole(rich.console.Console): - def __init__(self, **kwargs): - kwargs["force_terminal"] = True - kwargs["width"] = width_int - super().__init__(record=True, **kwargs) - global help_console - help_console = self - atexit.register(save_ouput_as_svg) click.rich_click.MAX_WIDTH = width_int click.formatting.FORCED_WIDTH = width_int - 2 # type: ignore[attr-defined] click.rich_click.COLOR_SYSTEM = "standard" - # monkeypatch rich_click console to record help (rich_click does not allow passing extra args to console) - click.rich_click.Console = RecordingConsole # type: ignore[misc] + # monkeypatch rich_click console to record help + import rich_click + + original_create_console = rich_click.rich_help_formatter.create_console + + from rich_click import RichHelpConfiguration + + def create_recording_console(config: RichHelpConfiguration, file: IO[str] | None = None) -> Console: + recording_config = deepcopy(config) + recording_config.width = width_int + recording_config.force_terminal = True + recording_console = original_create_console(recording_config, file) + recording_console.record = True + global help_console + help_console = recording_console + return recording_console + + rich_click.rich_help_formatter.create_console = create_recording_console output_file = os.environ.get("RECORD_BREEZE_OUTPUT_FILE") diff --git a/images/breeze/output-commands.svg b/images/breeze/output-commands.svg index 847db703d23cd..cfcf125e4991e 100644 --- a/images/breeze/output-commands.svg +++ b/images/breeze/output-commands.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-help-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-help-r2 { fill: #c5c8c6 } -.breeze-help-r3 { fill: #d0b344;font-weight: bold } + .breeze-help-r1 { fill: #c5c8c6 } +.breeze-help-r2 { fill: #d0b344 } +.breeze-help-r3 { fill: #c5c8c6;font-weight: bold } .breeze-help-r4 { fill: #68a0b3;font-weight: bold } .breeze-help-r5 { fill: #868887 } .breeze-help-r6 { fill: #98a84b;font-weight: bold } @@ -216,60 +216,60 @@ - -Usage: breeze [OPTIONS] COMMAND [ARGS]... - -╭─ Basic flags ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)[default: sqlite]│ -│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ -│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ -│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ -│--integrationIntegration(s) to enable when running (can be more than one).                            │ -│(all | all-testable | cassandra | celery | kafka | kerberos | mongo | openlineage | otel │ -│| pinot | statsd | trino)                                                                │ -│--forward-credentials-fForward local credentials to container when running.│ -│--db-reset-dReset DB when entering the container.│ -│--max-timeMaximum time that the command should take - if it takes longer, the command will fail.│ -│(INTEGER RANGE)                                                                       │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)│ -│[default: autodetect]                                         │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Developer commands ─────────────────────────────────────────────────────────────────────────────────────────────────╮ -│start-airflow     Enter breeze environment and starts all Airflow components in the tmux session. Compile assets  │ -│if contents of www directory changed.                                                           │ -│static-checks     Run static checks.                                                                              │ -│build-docs        Build documents.                                                                                │ -│down              Stop running breeze environment.                                                                │ -│shell             Enter breeze environment. this is the default command use when no other is selected.            │ -│exec              Joins the interactive shell of running airflow container.                                       │ -│compile-www-assetsCompiles www assets.                                                                            │ -│cleanup           Cleans the cache of parameters, docker cache and optionally built CI/PROD images.               │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Testing commands ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│testing        Tools that developers can use to run tests                                                         │ -│k8s            Tools that developers use to run Kubernetes tests                                                  │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Image commands ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│ci-image         Tools that developers can use to manually manage CI images                                       │ -│prod-image       Tools that developers can use to manually manage PROD images                                     │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Release management commands ────────────────────────────────────────────────────────────────────────────────────────╮ -│release-management     Tools that release managers can use to prepare and manage Airflow releases                 │ -│sbom                   Tools that release managers can use to prepare sbom information                            │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Other commands ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│setup     Tools that developers can use to configure Breeze                                                       │ -│ci        Tools that CI workflows use to cleanup/manage CI environment                                            │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze[OPTIONS] COMMAND [ARGS]... + +╭─ Basic flags ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)[default: sqlite]│ +│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ +│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ +│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ +│--integrationIntegration(s) to enable when running (can be more than one).                            │ +│(all | all-testable | cassandra | celery | kafka | kerberos | mongo | openlineage | otel │ +│| pinot | statsd | trino)                                                                │ +│--forward-credentials-fForward local credentials to container when running.│ +│--db-reset-dReset DB when entering the container.│ +│--max-timeMaximum time that the command should take - if it takes longer, the command will fail.│ +│(INTEGER RANGE)                                                                       │ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)│ +│[default: autodetect]                                         │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Developer commands ─────────────────────────────────────────────────────────────────────────────────────────────────╮ +│start-airflow     Enter breeze environment and starts all Airflow components in the tmux session. Compile assets  │ +│if contents of www directory changed.                                                           │ +│static-checks     Run static checks.                                                                              │ +│build-docs        Build documents.                                                                                │ +│down              Stop running breeze environment.                                                                │ +│shell             Enter breeze environment. this is the default command use when no other is selected.            │ +│exec              Joins the interactive shell of running airflow container.                                       │ +│compile-www-assetsCompiles www assets.                                                                            │ +│cleanup           Cleans the cache of parameters, docker cache and optionally built CI/PROD images.               │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Testing commands ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│testing        Tools that developers can use to run tests                                                         │ +│k8s            Tools that developers use to run Kubernetes tests                                                  │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Image commands ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ci-image         Tools that developers can use to manually manage CI images                                       │ +│prod-image       Tools that developers can use to manually manage PROD images                                     │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Release management commands ────────────────────────────────────────────────────────────────────────────────────────╮ +│release-management     Tools that release managers can use to prepare and manage Airflow releases                 │ +│sbom                   Tools that release managers can use to prepare sbom information                            │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Other commands ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│setup     Tools that developers can use to configure Breeze                                                       │ +│ci        Tools that CI workflows use to cleanup/manage CI environment                                            │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_build-docs.svg b/images/breeze/output_build-docs.svg index 96a78ce2025dc..1e801afbf58c4 100644 --- a/images/breeze/output_build-docs.svg +++ b/images/breeze/output_build-docs.svg @@ -1,4 +1,4 @@ - + - + @@ -141,12 +142,9 @@ - - - - Command: build-docs + Command: build-docs @@ -156,40 +154,39 @@ - -Usage: breeze build-docs [OPTIONS] [all-providers | apache-airflow | docker-stack | helm-chart | airbyte | alibaba | -                         amazon | apache.beam | apache.cassandra | apache.drill | apache.druid | apache.flink | -                         apache.hdfs | apache.hive | apache.impala | apache.kafka | apache.kylin | apache.livy | -                         apache.pig | apache.pinot | apache.spark | apache.sqoop | apprise | arangodb | asana | -                         atlassian.jira | celery | cloudant | cncf.kubernetes | common.sql | daskexecutor | databricks -                         | datadog | dbt.cloud | dingding | discord | docker | elasticsearch | exasol | facebook | ftp -                         | github | google | grpc | hashicorp | http | imap | influxdb | jdbc | jenkins | -                         microsoft.azure | microsoft.mssql | microsoft.psrp | microsoft.winrm | mongo | mysql | neo4j -                         | odbc | openfaas | openlineage | opsgenie | oracle | pagerduty | papermill | plexus | -                         postgres | presto | redis | salesforce | samba | segment | sendgrid | sftp | singularity | -                         slack | smtp | snowflake | sqlite | ssh | tableau | tabular | telegram | trino | vertica | -                         yandex | zendesk | providers-index]... - -Build documents. - -╭─ Doc flags ──────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--docs-only-dOnly build documentation.│ -│--spellcheck-only-sOnly run spell checking.│ -│--clean-buildClean inventories of Inter-Sphinx documentation and generated APIs and sphinx artifacts    │ -│before the build - useful for a clean build.                                               │ -│--one-pass-onlyBuilds documentation in one pass only. This is useful for debugging sphinx errors.│ -│--package-filterList of packages to consider. You can use the full names like                              │ -│apache-airflow-providers-<provider>, the short hand names or the glob pattern matching the │ -│full package name. The list of short hand names can be found in --help output              │ -│(TEXT)                                                                                     │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)[default: autodetect]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:                                                                                                                 +breeze build-docs                                                                                                      +[OPTIONS] [all-providers | apache-airflow | docker-stack | helm-chart | airbyte | alibaba | amazon | apache.beam |     +apache.cassandra | apache.drill | apache.druid | apache.flink | apache.hdfs | apache.hive | apache.impala |            +apache.kafka | apache.kylin | apache.livy | apache.pig | apache.pinot | apache.spark | apache.sqoop | apprise |        +arangodb | asana | atlassian.jira | celery | cloudant | cncf.kubernetes | common.sql | daskexecutor | databricks |     +datadog | dbt.cloud | dingding | discord | docker | elasticsearch | exasol | facebook | ftp | github | google | grpc | +hashicorp | http | imap | influxdb | jdbc | jenkins | microsoft.azure | microsoft.mssql | microsoft.psrp |             +microsoft.winrm | mongo | mysql | neo4j | odbc | openfaas | openlineage | opsgenie | oracle | pagerduty | papermill |  +plexus | postgres | presto | redis | salesforce | samba | segment | sendgrid | sftp | singularity | slack | smtp |     +snowflake | sqlite | ssh | tableau | tabular | telegram | trino | vertica | yandex | zendesk | providers-index]...     + +Build documents. + +╭─ Doc flags ──────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--docs-only-dOnly build documentation.│ +│--spellcheck-only-sOnly run spell checking.│ +│--clean-buildClean inventories of Inter-Sphinx documentation and generated APIs and sphinx artifacts    │ +│before the build - useful for a clean build.                                               │ +│--one-pass-onlyBuilds documentation in one pass only. This is useful for debugging sphinx errors.│ +│--package-filterList of packages to consider. You can use the full names like                              │ +│apache-airflow-providers-<provider>, the short hand names or the glob pattern matching the │ +│full package name. The list of short hand names can be found in --help output              │ +│(TEXT)                                                                                     │ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)[default: autodetect]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci-image.svg b/images/breeze/output_ci-image.svg index 3025e6e470c36..fa3cef20ce068 100644 --- a/images/breeze/output_ci-image.svg +++ b/images/breeze/output_ci-image.svg @@ -32,11 +32,11 @@ font-family: arial; } - .breeze-ci-image-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-image-r2 { fill: #c5c8c6 } -.breeze-ci-image-r3 { fill: #d0b344;font-weight: bold } -.breeze-ci-image-r4 { fill: #868887 } -.breeze-ci-image-r5 { fill: #68a0b3;font-weight: bold } + .breeze-ci-image-r1 { fill: #c5c8c6 } +.breeze-ci-image-r2 { fill: #d0b344 } +.breeze-ci-image-r3 { fill: #c5c8c6;font-weight: bold } +.breeze-ci-image-r4 { fill: #68a0b3;font-weight: bold } +.breeze-ci-image-r5 { fill: #868887 } .breeze-ci-image-r6 { fill: #98a84b;font-weight: bold } @@ -92,19 +92,19 @@ - -Usage: breeze ci-image [OPTIONS] COMMAND [ARGS]... - -Tools that developers can use to manually manage CI images - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ CI Image tools ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│build   Build CI image. Include building multiple images for all python versions.                                 │ -│pull    Pull and optionally verify CI images - possibly in parallel for all Python versions.                      │ -│verify  Verify CI image.                                                                                          │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci-image[OPTIONS] COMMAND [ARGS]... + +Tools that developers can use to manually manage CI images + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ CI Image tools ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│build   Build CI image. Include building multiple images for all python versions.                                 │ +│pull    Pull and optionally verify CI images - possibly in parallel for all Python versions.                      │ +│verify  Verify CI image.                                                                                          │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci-image_build.svg b/images/breeze/output_ci-image_build.svg index 045a7169afb2a..9726169f929e9 100644 --- a/images/breeze/output_ci-image_build.svg +++ b/images/breeze/output_ci-image_build.svg @@ -32,11 +32,11 @@ font-family: arial; } - .breeze-ci-image-build-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-image-build-r2 { fill: #c5c8c6 } -.breeze-ci-image-build-r3 { fill: #d0b344;font-weight: bold } -.breeze-ci-image-build-r4 { fill: #868887 } -.breeze-ci-image-build-r5 { fill: #68a0b3;font-weight: bold } + .breeze-ci-image-build-r1 { fill: #c5c8c6 } +.breeze-ci-image-build-r2 { fill: #d0b344 } +.breeze-ci-image-build-r3 { fill: #c5c8c6;font-weight: bold } +.breeze-ci-image-build-r4 { fill: #68a0b3;font-weight: bold } +.breeze-ci-image-build-r5 { fill: #868887 } .breeze-ci-image-build-r6 { fill: #98a84b;font-weight: bold } .breeze-ci-image-build-r7 { fill: #8d7b39 } @@ -306,90 +306,90 @@ - -Usage: breeze ci-image build [OPTIONS] - -Build CI image. Include building multiple images for all python versions. - -╭─ Basic usage ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ -│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ -│[default: 3.8]                                              │ -│--upgrade-to-newer-dependencies-uWhen set, upgrade all PIP packages to latest.│ -│--upgrade-on-failureWhen set, attempt to run upgrade to newer dependencies when regular build      │ -│fails.                                                                         │ -│--image-tagTag the image after building it.(TEXT)[default: latest]│ -│--tag-as-latestTags the image as latest and update checksum of all files after pulling. Useful│ -│when you build or pull image with --image-tag.                                 │ -│--docker-cache-cCache option for image used during the build.(registry | local | disabled)│ -│[default: registry]                          │ -│--force-buildForce image build no matter if it is determined as needed.│ -│--build-progressBuild progress.(auto | plain | tty)[default: auto]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Building images in parallel ────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel.│ -│(INTEGER RANGE)                                                            │ -│[default: 4; 1<=x<=8]                                                      │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Advanced options (for power users) ─────────────────────────────────────────────────────────────────────────────────╮ -│--install-providers-from-sourcesInstall providers from sources when installing.│ -│--airflow-constraints-locationIf specified, it is used instead of calculating reference to the constraint     │ -│file. It could be full remote URL to the location file, or local file placed in │ -│`docker-context-files` (in this case it has to start with                       │ -│/opt/airflow/docker-context-files).                                             │ -│(TEXT)                                                                          │ -│--airflow-constraints-modeMode of constraints for CI image building.                             │ -│(constraints-source-providers | constraints | constraints-no-providers)│ -│[default: constraints-source-providers]                                │ -│--airflow-constraints-referenceConstraint reference to use when building the image.(TEXT)│ -│--python-imageIf specified this is the base python image used to build the image. Should be   │ -│something like: python:VERSION-slim-bullseye.                                   │ -│(TEXT)                                                                          │ -│--additional-python-depsAdditional python dependencies to use when building the images.(TEXT)│ -│--additional-extrasAdditional extra package while installing Airflow in the image.(TEXT)│ -│--additional-pip-install-flagsAdditional flags added to `pip install` commands (except reinstalling `pip`     │ -│itself).                                                                        │ -│(TEXT)                                                                          │ -│--additional-dev-apt-depsAdditional apt dev dependencies to use when building the images.(TEXT)│ -│--additional-dev-apt-envAdditional environment variables set when adding dev dependencies.(TEXT)│ -│--additional-dev-apt-commandAdditional command executed before dev apt deps are installed.(TEXT)│ -│--dev-apt-depsApt dev dependencies to use when building the images.(TEXT)│ -│--dev-apt-commandCommand executed before dev apt deps are installed.(TEXT)│ -│--version-suffix-for-pypiVersion suffix used for PyPI packages (alpha, beta, rc1, etc.).(TEXT)│ -│--commit-shaCommit SHA that is used to build the images.(TEXT)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Backtracking options ───────────────────────────────────────────────────────────────────────────────────────────────╮ -│--build-timeout-minutesOptional timeout for the build in minutes. Useful to detect `pip`        │ -│backtracking problems.                                                   │ -│(INTEGER)                                                                │ -│--eager-upgrade-additional-requirementsOptional additional requirements to upgrade eagerly to avoid backtracking│ -│(see `breeze ci find-backtracking-candidates`).                          │ -│(TEXT)                                                                   │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Preparing cache and push (for maintainers and CI) ──────────────────────────────────────────────────────────────────╮ -│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)│ -│[default: autodetect]                                         │ -│--platformPlatform for Airflow image.(linux/amd64 | linux/arm64 | linux/amd64,linux/arm64)│ -│--pushPush image after building it.│ -│--prepare-buildx-cachePrepares build cache (this is done as separate per-platform steps instead of building the │ -│image).                                                                                   │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci-image build[OPTIONS] + +Build CI image. Include building multiple images for all python versions. + +╭─ Basic usage ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.│ +│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ +│[default: 3.8]                                              │ +│--upgrade-to-newer-dependencies-uWhen set, upgrade all PIP packages to latest.│ +│--upgrade-on-failureWhen set, attempt to run upgrade to newer dependencies when regular build      │ +│fails.                                                                         │ +│--image-tagTag the image after building it.(TEXT)[default: latest]│ +│--tag-as-latestTags the image as latest and update checksum of all files after pulling. Useful│ +│when you build or pull image with --image-tag.                                 │ +│--docker-cache-cCache option for image used during the build.(registry | local | disabled)│ +│[default: registry]                          │ +│--force-buildForce image build no matter if it is determined as needed.│ +│--build-progressBuild progress.(auto | plain | tty)[default: auto]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Building images in parallel ────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel.│ +│(INTEGER RANGE)                                                            │ +│[default: 4; 1<=x<=8]                                                      │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Advanced options (for power users) ─────────────────────────────────────────────────────────────────────────────────╮ +│--install-providers-from-sourcesInstall providers from sources when installing.│ +│--airflow-constraints-locationIf specified, it is used instead of calculating reference to the constraint     │ +│file. It could be full remote URL to the location file, or local file placed in │ +│`docker-context-files` (in this case it has to start with                       │ +│/opt/airflow/docker-context-files).                                             │ +│(TEXT)                                                                          │ +│--airflow-constraints-modeMode of constraints for CI image building.                             │ +│(constraints-source-providers | constraints | constraints-no-providers)│ +│[default: constraints-source-providers]                                │ +│--airflow-constraints-referenceConstraint reference to use when building the image.(TEXT)│ +│--python-imageIf specified this is the base python image used to build the image. Should be   │ +│something like: python:VERSION-slim-bullseye.                                   │ +│(TEXT)                                                                          │ +│--additional-python-depsAdditional python dependencies to use when building the images.(TEXT)│ +│--additional-extrasAdditional extra package while installing Airflow in the image.(TEXT)│ +│--additional-pip-install-flagsAdditional flags added to `pip install` commands (except reinstalling `pip`     │ +│itself).                                                                        │ +│(TEXT)                                                                          │ +│--additional-dev-apt-depsAdditional apt dev dependencies to use when building the images.(TEXT)│ +│--additional-dev-apt-envAdditional environment variables set when adding dev dependencies.(TEXT)│ +│--additional-dev-apt-commandAdditional command executed before dev apt deps are installed.(TEXT)│ +│--dev-apt-depsApt dev dependencies to use when building the images.(TEXT)│ +│--dev-apt-commandCommand executed before dev apt deps are installed.(TEXT)│ +│--version-suffix-for-pypiVersion suffix used for PyPI packages (alpha, beta, rc1, etc.).(TEXT)│ +│--commit-shaCommit SHA that is used to build the images.(TEXT)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Backtracking options ───────────────────────────────────────────────────────────────────────────────────────────────╮ +│--build-timeout-minutesOptional timeout for the build in minutes. Useful to detect `pip`        │ +│backtracking problems.                                                   │ +│(INTEGER)                                                                │ +│--eager-upgrade-additional-requirementsOptional additional requirements to upgrade eagerly to avoid backtracking│ +│(see `breeze ci find-backtracking-candidates`).                          │ +│(TEXT)                                                                   │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Preparing cache and push (for maintainers and CI) ──────────────────────────────────────────────────────────────────╮ +│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)│ +│[default: autodetect]                                         │ +│--platformPlatform for Airflow image.(linux/amd64 | linux/arm64 | linux/amd64,linux/arm64)│ +│--pushPush image after building it.│ +│--prepare-buildx-cachePrepares build cache (this is done as separate per-platform steps instead of building the │ +│image).                                                                                   │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci-image_pull.svg b/images/breeze/output_ci-image_pull.svg index 66d64a49e6f90..fd74f3d396228 100644 --- a/images/breeze/output_ci-image_pull.svg +++ b/images/breeze/output_ci-image_pull.svg @@ -32,11 +32,11 @@ font-family: arial; } - .breeze-ci-image-pull-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-image-pull-r2 { fill: #c5c8c6 } -.breeze-ci-image-pull-r3 { fill: #d0b344;font-weight: bold } -.breeze-ci-image-pull-r4 { fill: #868887 } -.breeze-ci-image-pull-r5 { fill: #68a0b3;font-weight: bold } + .breeze-ci-image-pull-r1 { fill: #c5c8c6 } +.breeze-ci-image-pull-r2 { fill: #d0b344 } +.breeze-ci-image-pull-r3 { fill: #c5c8c6;font-weight: bold } +.breeze-ci-image-pull-r4 { fill: #68a0b3;font-weight: bold } +.breeze-ci-image-pull-r5 { fill: #868887 } .breeze-ci-image-pull-r6 { fill: #98a84b;font-weight: bold } .breeze-ci-image-pull-r7 { fill: #8d7b39 } @@ -156,40 +156,40 @@ - -Usage: breeze ci-image pull [OPTIONS] [EXTRA_PYTEST_ARGS]... - -Pull and optionally verify CI images - possibly in parallel for all Python versions. - -╭─ Pull image flags ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--image-tag-tTag of the image which is used to pull the image.(TEXT)[default: latest]│ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--verifyVerify image.│ -│--wait-for-imageWait until image is available.│ -│--tag-as-latestTags the image as latest and update checksum of all files after pulling. Useful when you build│ -│or pull image with --image-tag.                                                               │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Parallel running ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel.│ -│(INTEGER RANGE)                                                            │ -│[default: 4; 1<=x<=8]                                                      │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci-image pull[OPTIONS] [EXTRA_PYTEST_ARGS]... + +Pull and optionally verify CI images - possibly in parallel for all Python versions. + +╭─ Pull image flags ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--image-tag-tTag of the image which is used to pull the image.(TEXT)[default: latest]│ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--verifyVerify image.│ +│--wait-for-imageWait until image is available.│ +│--tag-as-latestTags the image as latest and update checksum of all files after pulling. Useful when you build│ +│or pull image with --image-tag.                                                               │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Parallel running ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel.│ +│(INTEGER RANGE)                                                            │ +│[default: 4; 1<=x<=8]                                                      │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci-image_verify.svg b/images/breeze/output_ci-image_verify.svg index 358d7dd681c2d..42b327ef9cdfb 100644 --- a/images/breeze/output_ci-image_verify.svg +++ b/images/breeze/output_ci-image_verify.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-ci-image-verify-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-image-verify-r2 { fill: #c5c8c6 } -.breeze-ci-image-verify-r3 { fill: #d0b344;font-weight: bold } + .breeze-ci-image-verify-r1 { fill: #c5c8c6 } +.breeze-ci-image-verify-r2 { fill: #d0b344 } +.breeze-ci-image-verify-r3 { fill: #c5c8c6;font-weight: bold } .breeze-ci-image-verify-r4 { fill: #68a0b3;font-weight: bold } .breeze-ci-image-verify-r5 { fill: #868887 } .breeze-ci-image-verify-r6 { fill: #98a84b;font-weight: bold } @@ -117,27 +117,27 @@ - -Usage: breeze ci-image verify [OPTIONS] [EXTRA_PYTEST_ARGS]... - -Verify CI image. - -╭─ Verify image flags ─────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--image-name-nName of the image to verify (overrides --python and --image-tag).(TEXT)│ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--image-tag-tTag of the image when verifying it.(TEXT)[default: latest]│ -│--pullPull image is missing before attempting to verify it.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci-image verify[OPTIONS] [EXTRA_PYTEST_ARGS]... + +Verify CI image. + +╭─ Verify image flags ─────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--image-name-nName of the image to verify (overrides --python and --image-tag).(TEXT)│ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--image-tag-tTag of the image when verifying it.(TEXT)[default: latest]│ +│--pullPull image is missing before attempting to verify it.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci.svg b/images/breeze/output_ci.svg index 20b703bcc84cf..3af5d1078c2b7 100644 --- a/images/breeze/output_ci.svg +++ b/images/breeze/output_ci.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-ci-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-r2 { fill: #c5c8c6 } -.breeze-ci-r3 { fill: #d0b344;font-weight: bold } + .breeze-ci-r1 { fill: #c5c8c6 } +.breeze-ci-r2 { fill: #d0b344 } +.breeze-ci-r3 { fill: #c5c8c6;font-weight: bold } .breeze-ci-r4 { fill: #68a0b3;font-weight: bold } .breeze-ci-r5 { fill: #868887 } .breeze-ci-r6 { fill: #98a84b;font-weight: bold } @@ -110,25 +110,25 @@ - -Usage: breeze ci [OPTIONS] COMMAND [ARGS]... - -Tools that CI workflows use to cleanup/manage CI environment - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ CI commands ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│fix-ownership    Fix ownership of source files to be same as host user.                                           │ -│free-space       Free space for jobs run in CI.                                                                   │ -│resource-check   Check if available docker resources are enough.                                                  │ -│selective-check  Checks what kind of tests should be run for an incoming commit.                                  │ -│get-workflow-infoRetrieve information about current workflow in the CIand produce github actions output extracted │ -│from it.                                                                                         │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Commands ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│find-backtracking-candidates    Find new releases of dependencies that could be the reason of backtracking.       │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci[OPTIONS] COMMAND [ARGS]... + +Tools that CI workflows use to cleanup/manage CI environment + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ CI commands ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│fix-ownership    Fix ownership of source files to be same as host user.                                           │ +│free-space       Free space for jobs run in CI.                                                                   │ +│resource-check   Check if available docker resources are enough.                                                  │ +│selective-check  Checks what kind of tests should be run for an incoming commit.                                  │ +│get-workflow-infoRetrieve information about current workflow in the CIand produce github actions output extracted │ +│from it.                                                                                         │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Commands ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│find-backtracking-candidates    Find new releases of dependencies that could be the reason of backtracking.       │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci_find-backtracking-candidates.svg b/images/breeze/output_ci_find-backtracking-candidates.svg index e0082b964bd10..3cf0ce4fe95a0 100644 --- a/images/breeze/output_ci_find-backtracking-candidates.svg +++ b/images/breeze/output_ci_find-backtracking-candidates.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-ci-find-backtracking-candidates-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-find-backtracking-candidates-r2 { fill: #c5c8c6 } -.breeze-ci-find-backtracking-candidates-r3 { fill: #d0b344;font-weight: bold } + .breeze-ci-find-backtracking-candidates-r1 { fill: #c5c8c6 } +.breeze-ci-find-backtracking-candidates-r2 { fill: #d0b344 } +.breeze-ci-find-backtracking-candidates-r3 { fill: #c5c8c6;font-weight: bold } .breeze-ci-find-backtracking-candidates-r4 { fill: #68a0b3;font-weight: bold } .breeze-ci-find-backtracking-candidates-r5 { fill: #868887 } .breeze-ci-find-backtracking-candidates-r6 { fill: #98a84b;font-weight: bold } @@ -77,14 +77,14 @@ - -Usage: breeze ci find-backtracking-candidates [OPTIONS] - -Find new releases of dependencies that could be the reason of backtracking. - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci find-backtracking-candidates[OPTIONS] + +Find new releases of dependencies that could be the reason of backtracking. + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci_fix-ownership.svg b/images/breeze/output_ci_fix-ownership.svg index 4ad92f41782ba..7d22a15669de6 100644 --- a/images/breeze/output_ci_fix-ownership.svg +++ b/images/breeze/output_ci_fix-ownership.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-ci-fix-ownership-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-fix-ownership-r2 { fill: #c5c8c6 } -.breeze-ci-fix-ownership-r3 { fill: #d0b344;font-weight: bold } + .breeze-ci-fix-ownership-r1 { fill: #c5c8c6 } +.breeze-ci-fix-ownership-r2 { fill: #d0b344 } +.breeze-ci-fix-ownership-r3 { fill: #c5c8c6;font-weight: bold } .breeze-ci-fix-ownership-r4 { fill: #68a0b3;font-weight: bold } .breeze-ci-fix-ownership-r5 { fill: #868887 } .breeze-ci-fix-ownership-r6 { fill: #98a84b;font-weight: bold } @@ -92,19 +92,19 @@ - -Usage: breeze ci fix-ownership [OPTIONS] - -Fix ownership of source files to be same as host user. - -╭─ Fix ownership flags ────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--use-sudoUse sudo instead of docker image to fix the ownership. You need to be a `sudoer` to run it│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci fix-ownership[OPTIONS] + +Fix ownership of source files to be same as host user. + +╭─ Fix ownership flags ────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--use-sudoUse sudo instead of docker image to fix the ownership. You need to be a `sudoer` to run it│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci_free-space.svg b/images/breeze/output_ci_free-space.svg index d3210c1aacb4c..9ea4b394707c2 100644 --- a/images/breeze/output_ci_free-space.svg +++ b/images/breeze/output_ci_free-space.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-ci-free-space-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-free-space-r2 { fill: #c5c8c6 } -.breeze-ci-free-space-r3 { fill: #d0b344;font-weight: bold } + .breeze-ci-free-space-r1 { fill: #c5c8c6 } +.breeze-ci-free-space-r2 { fill: #d0b344 } +.breeze-ci-free-space-r3 { fill: #c5c8c6;font-weight: bold } .breeze-ci-free-space-r4 { fill: #68a0b3;font-weight: bold } .breeze-ci-free-space-r5 { fill: #868887 } .breeze-ci-free-space-r6 { fill: #98a84b;font-weight: bold } @@ -87,17 +87,17 @@ - -Usage: breeze ci free-space [OPTIONS] - -Free space for jobs run in CI. - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci free-space[OPTIONS] + +Free space for jobs run in CI. + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci_get-workflow-info.svg b/images/breeze/output_ci_get-workflow-info.svg index d0fd6bc59fb29..fed3a38c8213e 100644 --- a/images/breeze/output_ci_get-workflow-info.svg +++ b/images/breeze/output_ci_get-workflow-info.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-ci-get-workflow-info-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-get-workflow-info-r2 { fill: #c5c8c6 } -.breeze-ci-get-workflow-info-r3 { fill: #d0b344;font-weight: bold } + .breeze-ci-get-workflow-info-r1 { fill: #c5c8c6 } +.breeze-ci-get-workflow-info-r2 { fill: #d0b344 } +.breeze-ci-get-workflow-info-r3 { fill: #c5c8c6;font-weight: bold } .breeze-ci-get-workflow-info-r4 { fill: #68a0b3;font-weight: bold } .breeze-ci-get-workflow-info-r5 { fill: #868887 } .breeze-ci-get-workflow-info-r6 { fill: #8d7b39 } @@ -90,18 +90,18 @@ - -Usage: breeze ci get-workflow-info [OPTIONS] - -Retrieve information about current workflow in the CIand produce github actions output extracted from it. - -╭─ Get workflow info flags ────────────────────────────────────────────────────────────────────────────────────────────╮ -│--github-contextJSON-formatted github context(TEXT)│ -│--github-context-inputfile input (might be `-`) with JSON-formatted github context(FILENAME)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci get-workflow-info[OPTIONS] + +Retrieve information about current workflow in the CIand produce github actions output extracted from it. + +╭─ Get workflow info flags ────────────────────────────────────────────────────────────────────────────────────────────╮ +│--github-contextJSON-formatted github context(TEXT)│ +│--github-context-inputfile input (might be `-`) with JSON-formatted github context(FILENAME)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci_resource-check.svg b/images/breeze/output_ci_resource-check.svg index 4afc5dd570fda..803f2e791c039 100644 --- a/images/breeze/output_ci_resource-check.svg +++ b/images/breeze/output_ci_resource-check.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-ci-resource-check-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-resource-check-r2 { fill: #c5c8c6 } -.breeze-ci-resource-check-r3 { fill: #d0b344;font-weight: bold } + .breeze-ci-resource-check-r1 { fill: #c5c8c6 } +.breeze-ci-resource-check-r2 { fill: #d0b344 } +.breeze-ci-resource-check-r3 { fill: #c5c8c6;font-weight: bold } .breeze-ci-resource-check-r4 { fill: #68a0b3;font-weight: bold } .breeze-ci-resource-check-r5 { fill: #868887 } .breeze-ci-resource-check-r6 { fill: #98a84b;font-weight: bold } @@ -83,16 +83,16 @@ - -Usage: breeze ci resource-check [OPTIONS] - -Check if available docker resources are enough. - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci resource-check[OPTIONS] + +Check if available docker resources are enough. + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_ci_selective-check.svg b/images/breeze/output_ci_selective-check.svg index 80986aebb4d3a..2ec3ba6a042ea 100644 --- a/images/breeze/output_ci_selective-check.svg +++ b/images/breeze/output_ci_selective-check.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-ci-selective-check-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-ci-selective-check-r2 { fill: #c5c8c6 } -.breeze-ci-selective-check-r3 { fill: #d0b344;font-weight: bold } + .breeze-ci-selective-check-r1 { fill: #c5c8c6 } +.breeze-ci-selective-check-r2 { fill: #d0b344 } +.breeze-ci-selective-check-r3 { fill: #c5c8c6;font-weight: bold } .breeze-ci-selective-check-r4 { fill: #68a0b3;font-weight: bold } .breeze-ci-selective-check-r5 { fill: #868887 } .breeze-ci-selective-check-r6 { fill: #8d7b39 } @@ -132,32 +132,32 @@ - -Usage: breeze ci selective-check [OPTIONS] - -Checks what kind of tests should be run for an incoming commit. - -╭─ Selective check flags ──────────────────────────────────────────────────────────────────────────────────────────────╮ -│--commit-refCommit-ish reference to the commit that should be checked(TEXT)│ -│--pr-labelsPython array formatted PR labels assigned to the PR(TEXT)│ -│--default-branchBranch against which the PR should be run(TEXT)[default: main]│ -│--default-constraints-branchConstraints Branch against which the PR should be run(TEXT)│ -│[default: constraints-main]                          │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Github parameters ──────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--github-event-nameName of the GitHub event that triggered the check                                          │ -│(pull_request | pull_request_review | pull_request_target | pull_request_workflow | push | │ -│schedule | workflow_dispatch | workflow_run)                                               │ -│[default: pull_request]                                                                    │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--github-actorActor that triggered the event (Github user)(TEXT)│ -│--github-contextGithub context (JSON formatted) passed by Github Actions(TEXT)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze ci selective-check[OPTIONS] + +Checks what kind of tests should be run for an incoming commit. + +╭─ Selective check flags ──────────────────────────────────────────────────────────────────────────────────────────────╮ +│--commit-refCommit-ish reference to the commit that should be checked(TEXT)│ +│--pr-labelsPython array formatted PR labels assigned to the PR(TEXT)│ +│--default-branchBranch against which the PR should be run(TEXT)[default: main]│ +│--default-constraints-branchConstraints Branch against which the PR should be run(TEXT)│ +│[default: constraints-main]                          │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Github parameters ──────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--github-event-nameName of the GitHub event that triggered the check                                          │ +│(pull_request | pull_request_review | pull_request_target | pull_request_workflow | push | │ +│schedule | workflow_dispatch | workflow_run)                                               │ +│[default: pull_request]                                                                    │ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--github-actorActor that triggered the event (Github user)(TEXT)│ +│--github-contextGithub context (JSON formatted) passed by Github Actions(TEXT)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_cleanup.svg b/images/breeze/output_cleanup.svg index ea7865374f822..955c7498dbe8c 100644 --- a/images/breeze/output_cleanup.svg +++ b/images/breeze/output_cleanup.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-cleanup-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-cleanup-r2 { fill: #c5c8c6 } -.breeze-cleanup-r3 { fill: #d0b344;font-weight: bold } + .breeze-cleanup-r1 { fill: #c5c8c6 } +.breeze-cleanup-r2 { fill: #d0b344 } +.breeze-cleanup-r3 { fill: #c5c8c6;font-weight: bold } .breeze-cleanup-r4 { fill: #68a0b3;font-weight: bold } .breeze-cleanup-r5 { fill: #868887 } .breeze-cleanup-r6 { fill: #98a84b;font-weight: bold } @@ -96,20 +96,20 @@ - -Usage: breeze cleanup [OPTIONS] - -Cleans the cache of parameters, docker cache and optionally built CI/PROD images. - -╭─ Cleanup flags ──────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--allAlso remove currently downloaded Breeze images.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze cleanup[OPTIONS] + +Cleans the cache of parameters, docker cache and optionally built CI/PROD images. + +╭─ Cleanup flags ──────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--allAlso remove currently downloaded Breeze images.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_compile-www-assets.svg b/images/breeze/output_compile-www-assets.svg index ab1607d439c70..bf245ebe81a63 100644 --- a/images/breeze/output_compile-www-assets.svg +++ b/images/breeze/output_compile-www-assets.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-compile-www-assets-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-compile-www-assets-r2 { fill: #c5c8c6 } -.breeze-compile-www-assets-r3 { fill: #d0b344;font-weight: bold } + .breeze-compile-www-assets-r1 { fill: #c5c8c6 } +.breeze-compile-www-assets-r2 { fill: #d0b344 } +.breeze-compile-www-assets-r3 { fill: #c5c8c6;font-weight: bold } .breeze-compile-www-assets-r4 { fill: #68a0b3;font-weight: bold } .breeze-compile-www-assets-r5 { fill: #868887 } .breeze-compile-www-assets-r6 { fill: #98a84b;font-weight: bold } @@ -95,20 +95,20 @@ - -Usage: breeze compile-www-assets [OPTIONS] - -Compiles www assets. - -╭─ Compile www assets flag ────────────────────────────────────────────────────────────────────────────────────────────╮ -│--devRun development version of assets compilation - it will not quit and automatically recompile assets        │ -│on-the-fly when they are changed.                                                                          │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze compile-www-assets[OPTIONS] + +Compiles www assets. + +╭─ Compile www assets flag ────────────────────────────────────────────────────────────────────────────────────────────╮ +│--devRun development version of assets compilation - it will not quit and automatically recompile assets        │ +│on-the-fly when they are changed.                                                                          │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_down.svg b/images/breeze/output_down.svg index 7011475a45bd1..e25df57a181cc 100644 --- a/images/breeze/output_down.svg +++ b/images/breeze/output_down.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-down-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-down-r2 { fill: #c5c8c6 } -.breeze-down-r3 { fill: #d0b344;font-weight: bold } + .breeze-down-r1 { fill: #c5c8c6 } +.breeze-down-r2 { fill: #d0b344 } +.breeze-down-r3 { fill: #c5c8c6;font-weight: bold } .breeze-down-r4 { fill: #68a0b3;font-weight: bold } .breeze-down-r5 { fill: #868887 } .breeze-down-r6 { fill: #98a84b;font-weight: bold } @@ -95,20 +95,20 @@ - -Usage: breeze down [OPTIONS] - -Stop running breeze environment. - -╭─ Down flags ─────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--preserve-volumes-pSkip removing database volumes when stopping Breeze.│ -│--cleanup-mypy-cache-cAdditionally cleanup MyPy cache.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze down[OPTIONS] + +Stop running breeze environment. + +╭─ Down flags ─────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--preserve-volumes-pSkip removing database volumes when stopping Breeze.│ +│--cleanup-mypy-cache-cAdditionally cleanup MyPy cache.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_exec.svg b/images/breeze/output_exec.svg index 36e2b55c4fb10..5d911365fe954 100644 --- a/images/breeze/output_exec.svg +++ b/images/breeze/output_exec.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-exec-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-exec-r2 { fill: #c5c8c6 } -.breeze-exec-r3 { fill: #d0b344;font-weight: bold } + .breeze-exec-r1 { fill: #c5c8c6 } +.breeze-exec-r2 { fill: #d0b344 } +.breeze-exec-r3 { fill: #c5c8c6;font-weight: bold } .breeze-exec-r4 { fill: #68a0b3;font-weight: bold } .breeze-exec-r5 { fill: #868887 } .breeze-exec-r6 { fill: #98a84b;font-weight: bold } @@ -83,16 +83,16 @@ - -Usage: breeze exec [OPTIONS] [EXEC_ARGS]... - -Joins the interactive shell of running airflow container. - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze exec[OPTIONS] [EXEC_ARGS]... + +Joins the interactive shell of running airflow container. + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s.svg b/images/breeze/output_k8s.svg index 5ba36f4e52999..9a46b2cf919f8 100644 --- a/images/breeze/output_k8s.svg +++ b/images/breeze/output_k8s.svg @@ -32,12 +32,13 @@ font-family: arial; } - .breeze-k8s-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-r2 { fill: #c5c8c6 } -.breeze-k8s-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-r1 { fill: #c5c8c6 } +.breeze-k8s-r2 { fill: #d0b344 } +.breeze-k8s-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-r5 { fill: #868887 } .breeze-k8s-r6 { fill: #98a84b;font-weight: bold } +.breeze-k8s-r7 { fill: #d0b344;font-weight: bold } @@ -146,37 +147,37 @@ - -Usage: breeze k8s [OPTIONS] COMMAND [ARGS]... - -Tools that developers use to run Kubernetes tests - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ K8S cluster management commands ────────────────────────────────────────────────────────────────────────────────────╮ -│setup-env        Setup shared Kubernetes virtual environment and tools.                                           │ -│create-cluster   Create a KinD Cluster for Python and Kubernetes version specified (optionally create all clusters│ -│in parallel).                                                                                    │ -│configure-clusterConfigures cluster for airflow deployment - creates namespaces and test resources (optionally for│ -│all clusters in parallel).                                                                       │ -│build-k8s-image  Build k8s-ready airflow image (optionally all images in parallel).                               │ -│upload-k8s-image Upload k8s-ready airflow image to the KinD cluster (optionally to all clusters in parallel)      │ -│deploy-airflow   Deploy airflow image to the current KinD cluster (or all clusters).                              │ -│delete-cluster   Delete the current KinD Cluster (optionally all clusters).                                       │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ K8S inspection commands ────────────────────────────────────────────────────────────────────────────────────────────╮ -│status  Check status of the current cluster and airflow deployed to it (optionally all clusters).                 │ -│logs    Dump k8s logs to ${TMP_DIR}/kind_logs_<cluster_name> directory (optionally all clusters).                 │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ K8S testing commands ───────────────────────────────────────────────────────────────────────────────────────────────╮ -│tests             Run tests against the current KinD cluster (optionally for all clusters in parallel).           │ -│run-complete-testsRun complete k8s tests consisting of: creating cluster, building and uploading image, deploying │ -│airflow, running tests and deleting clusters (optionally for all clusters in parallel).         │ -│shell             Run shell environment for the current KinD cluster.                                             │ -│k9s               Run k9s tool. You can pass any k9s args as extra args.                                          │ -│logs              Dump k8s logs to ${TMP_DIR}/kind_logs_<cluster_name> directory (optionally all clusters).       │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s[OPTIONS] COMMAND [ARGS]... + +Tools that developers use to run Kubernetes tests + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ K8S cluster management commands ────────────────────────────────────────────────────────────────────────────────────╮ +│setup-env        Setup shared Kubernetes virtual environment and tools.                                           │ +│create-cluster   Create a KinD Cluster for Python and Kubernetes version specified (optionally create all clusters│ +│in parallel).                                                                                    │ +│configure-clusterConfigures cluster for airflow deployment - creates namespaces and test resources (optionally for│ +│all clusters in parallel).                                                                       │ +│build-k8s-image  Build k8s-ready airflow image (optionally all images in parallel).                               │ +│upload-k8s-image Upload k8s-ready airflow image to the KinD cluster (optionally to all clusters in parallel)      │ +│deploy-airflow   Deploy airflow image to the current KinD cluster (or all clusters).                              │ +│delete-cluster   Delete the current KinD Cluster (optionally all clusters).                                       │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ K8S inspection commands ────────────────────────────────────────────────────────────────────────────────────────────╮ +│status  Check status of the current cluster and airflow deployed to it (optionally all clusters).                 │ +│logs    Dump k8s logs to ${TMP_DIR}/kind_logs_<cluster_name> directory (optionally all clusters).                 │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ K8S testing commands ───────────────────────────────────────────────────────────────────────────────────────────────╮ +│tests             Run tests against the current KinD cluster (optionally for all clusters in parallel).           │ +│run-complete-testsRun complete k8s tests consisting of: creating cluster, building and uploading image, deploying │ +│airflow, running tests and deleting clusters (optionally for all clusters in parallel).         │ +│shell             Run shell environment for the current KinD cluster.                                             │ +│k9s               Run k9s tool. You can pass any k9s args as extra args.                                          │ +│logs              Dump k8s logs to ${TMP_DIR}/kind_logs_<cluster_name> directory (optionally all clusters).       │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_build-k8s-image.svg b/images/breeze/output_k8s_build-k8s-image.svg index 321cfaadfc723..362f24d0e8360 100644 --- a/images/breeze/output_k8s_build-k8s-image.svg +++ b/images/breeze/output_k8s_build-k8s-image.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-build-k8s-image-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-build-k8s-image-r2 { fill: #c5c8c6 } -.breeze-k8s-build-k8s-image-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-build-k8s-image-r1 { fill: #c5c8c6 } +.breeze-k8s-build-k8s-image-r2 { fill: #d0b344 } +.breeze-k8s-build-k8s-image-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-build-k8s-image-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-build-k8s-image-r5 { fill: #868887 } .breeze-k8s-build-k8s-image-r6 { fill: #98a84b;font-weight: bold } @@ -135,33 +135,33 @@ - -Usage: breeze k8s build-k8s-image [OPTIONS] - -Build k8s-ready airflow image (optionally all images in parallel). - -╭─ Build image flags ──────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--rebuild-base-imageRebuilds base Airflow image before building K8S image.│ -│--image-tag-tImage tag used to build K8S image from.(TEXT)[default: latest]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel.│ -│(INTEGER RANGE)                                                            │ -│[default: 4; 1<=x<=8]                                                      │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s build-k8s-image[OPTIONS] + +Build k8s-ready airflow image (optionally all images in parallel). + +╭─ Build image flags ──────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--rebuild-base-imageRebuilds base Airflow image before building K8S image.│ +│--image-tag-tImage tag used to build K8S image from.(TEXT)[default: latest]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel.│ +│(INTEGER RANGE)                                                            │ +│[default: 4; 1<=x<=8]                                                      │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_configure-cluster.svg b/images/breeze/output_k8s_configure-cluster.svg index 92ca19f42d57d..dbfe901cd31cd 100644 --- a/images/breeze/output_k8s_configure-cluster.svg +++ b/images/breeze/output_k8s_configure-cluster.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-configure-cluster-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-configure-cluster-r2 { fill: #c5c8c6 } -.breeze-k8s-configure-cluster-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-configure-cluster-r1 { fill: #c5c8c6 } +.breeze-k8s-configure-cluster-r2 { fill: #d0b344 } +.breeze-k8s-configure-cluster-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-configure-cluster-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-configure-cluster-r5 { fill: #868887 } .breeze-k8s-configure-cluster-r6 { fill: #98a84b;font-weight: bold } @@ -150,38 +150,38 @@ - -Usage: breeze k8s configure-cluster [OPTIONS] - -Configures cluster for airflow deployment - creates namespaces and test resources (optionally for all clusters in  -parallel). - -╭─ Configure cluster flags ────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ -│operations.                                                                            │ -│(INTEGER RANGE)                                                                        │ -│[default: 2; 1<=x<=4]                                                                  │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ -│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s configure-cluster[OPTIONS] + +Configures cluster for airflow deployment - creates namespaces and test resources (optionally for all clusters in  +parallel). + +╭─ Configure cluster flags ────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ +│operations.                                                                            │ +│(INTEGER RANGE)                                                                        │ +│[default: 2; 1<=x<=4]                                                                  │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_create-cluster.svg b/images/breeze/output_k8s_create-cluster.svg index 340941bc1c19b..08fb6ed33c3c3 100644 --- a/images/breeze/output_k8s_create-cluster.svg +++ b/images/breeze/output_k8s_create-cluster.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-create-cluster-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-create-cluster-r2 { fill: #c5c8c6 } -.breeze-k8s-create-cluster-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-create-cluster-r1 { fill: #c5c8c6 } +.breeze-k8s-create-cluster-r2 { fill: #d0b344 } +.breeze-k8s-create-cluster-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-create-cluster-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-create-cluster-r5 { fill: #868887 } .breeze-k8s-create-cluster-r6 { fill: #98a84b;font-weight: bold } @@ -153,39 +153,39 @@ - -Usage: breeze k8s create-cluster [OPTIONS] - -Create a KinD Cluster for Python and Kubernetes version specified (optionally create all clusters in parallel). - -╭─ K8S cluster creation flags ─────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ -│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -│--force-recreate-clusterForce recreation of the cluster even if it is already created.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ -│operations.                                                                            │ -│(INTEGER RANGE)                                                                        │ -│[default: 2; 1<=x<=4]                                                                  │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ -│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s create-cluster[OPTIONS] + +Create a KinD Cluster for Python and Kubernetes version specified (optionally create all clusters in parallel). + +╭─ K8S cluster creation flags ─────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.│ +│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +│--force-recreate-clusterForce recreation of the cluster even if it is already created.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ +│operations.                                                                            │ +│(INTEGER RANGE)                                                                        │ +│[default: 2; 1<=x<=4]                                                                  │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_delete-cluster.svg b/images/breeze/output_k8s_delete-cluster.svg index 0a575644e82da..fee5c7888fd7e 100644 --- a/images/breeze/output_k8s_delete-cluster.svg +++ b/images/breeze/output_k8s_delete-cluster.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-delete-cluster-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-delete-cluster-r2 { fill: #c5c8c6 } -.breeze-k8s-delete-cluster-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-delete-cluster-r1 { fill: #c5c8c6 } +.breeze-k8s-delete-cluster-r2 { fill: #d0b344 } +.breeze-k8s-delete-cluster-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-delete-cluster-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-delete-cluster-r5 { fill: #868887 } .breeze-k8s-delete-cluster-r6 { fill: #98a84b;font-weight: bold } @@ -108,24 +108,24 @@ - -Usage: breeze k8s delete-cluster [OPTIONS] - -Delete the current KinD Cluster (optionally all clusters). - -╭─ K8S cluster delete flags ───────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -│--allApply it to all created clusters│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s delete-cluster[OPTIONS] + +Delete the current KinD Cluster (optionally all clusters). + +╭─ K8S cluster delete flags ───────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +│--allApply it to all created clusters│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_deploy-airflow.svg b/images/breeze/output_k8s_deploy-airflow.svg index 06b5e698780ff..94401d0bdf974 100644 --- a/images/breeze/output_k8s_deploy-airflow.svg +++ b/images/breeze/output_k8s_deploy-airflow.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-deploy-airflow-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-deploy-airflow-r2 { fill: #c5c8c6 } -.breeze-k8s-deploy-airflow-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-deploy-airflow-r1 { fill: #c5c8c6 } +.breeze-k8s-deploy-airflow-r2 { fill: #d0b344 } +.breeze-k8s-deploy-airflow-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-deploy-airflow-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-deploy-airflow-r5 { fill: #868887 } .breeze-k8s-deploy-airflow-r6 { fill: #98a84b;font-weight: bold } @@ -165,43 +165,43 @@ - -Usage: breeze k8s deploy-airflow [OPTIONS] [EXTRA_OPTIONS]... - -Deploy airflow image to the current KinD cluster (or all clusters). - -╭─ Airflow deploy flags ───────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -│--executorExecutor to use for a kubernetes cluster.                                         │ -│(>KubernetesExecutor< | CeleryExecutor | LocalExecutor | CeleryKubernetesExecutor)│ -│[default: KubernetesExecutor]                                                     │ -│--upgradeUpgrade Helm Chart rather than installing it.│ -│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ -│--use-standard-namingUse standard naming.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ -│operations.                                                                            │ -│(INTEGER RANGE)                                                                        │ -│[default: 2; 1<=x<=4]                                                                  │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ -│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s deploy-airflow[OPTIONS] [EXTRA_OPTIONS]... + +Deploy airflow image to the current KinD cluster (or all clusters). + +╭─ Airflow deploy flags ───────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +│--executorExecutor to use for a kubernetes cluster.                                         │ +│(>KubernetesExecutor< | CeleryExecutor | LocalExecutor | CeleryKubernetesExecutor)│ +│[default: KubernetesExecutor]                                                     │ +│--upgradeUpgrade Helm Chart rather than installing it.│ +│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ +│--use-standard-namingUse standard naming.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ +│operations.                                                                            │ +│(INTEGER RANGE)                                                                        │ +│[default: 2; 1<=x<=4]                                                                  │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_k9s.svg b/images/breeze/output_k8s_k9s.svg index 5d8e783ffe74e..f3e1bdd52db91 100644 --- a/images/breeze/output_k8s_k9s.svg +++ b/images/breeze/output_k8s_k9s.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-k9s-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-k9s-r2 { fill: #c5c8c6 } -.breeze-k8s-k9s-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-k9s-r1 { fill: #c5c8c6 } +.breeze-k8s-k9s-r2 { fill: #d0b344 } +.breeze-k8s-k9s-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-k9s-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-k9s-r5 { fill: #868887 } .breeze-k8s-k9s-r6 { fill: #98a84b;font-weight: bold } @@ -105,23 +105,23 @@ - -Usage: breeze k8s k9s [OPTIONS] [K9S_ARGS]... - -Run k9s tool. You can pass any k9s args as extra args. - -╭─ K8S k9s flags ──────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s k9s[OPTIONS] [K9S_ARGS]... + +Run k9s tool. You can pass any k9s args as extra args. + +╭─ K8S k9s flags ──────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_logs.svg b/images/breeze/output_k8s_logs.svg index 8b93decf6dab5..bfc2b527efdca 100644 --- a/images/breeze/output_k8s_logs.svg +++ b/images/breeze/output_k8s_logs.svg @@ -32,13 +32,14 @@ font-family: arial; } - .breeze-k8s-logs-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-logs-r2 { fill: #c5c8c6 } -.breeze-k8s-logs-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-logs-r1 { fill: #c5c8c6 } +.breeze-k8s-logs-r2 { fill: #d0b344 } +.breeze-k8s-logs-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-logs-r4 { fill: #68a0b3;font-weight: bold } -.breeze-k8s-logs-r5 { fill: #868887 } -.breeze-k8s-logs-r6 { fill: #98a84b;font-weight: bold } -.breeze-k8s-logs-r7 { fill: #8d7b39 } +.breeze-k8s-logs-r5 { fill: #d0b344;font-weight: bold } +.breeze-k8s-logs-r6 { fill: #868887 } +.breeze-k8s-logs-r7 { fill: #98a84b;font-weight: bold } +.breeze-k8s-logs-r8 { fill: #8d7b39 } @@ -108,24 +109,24 @@ - -Usage: breeze k8s logs [OPTIONS] - -Dump k8s logs to ${TMP_DIR}/kind_logs_<cluster_name> directory (optionally all clusters). - -╭─ K8S logs flags ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -│--allApply it to all created clusters│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s logs[OPTIONS] + +Dump k8s logs to ${TMP_DIR}/kind_logs_<cluster_name> directory (optionally all clusters). + +╭─ K8S logs flags ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +│--allApply it to all created clusters│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_run-complete-tests.svg b/images/breeze/output_k8s_run-complete-tests.svg index 31bd3cd6bec77..714e1d6758550 100644 --- a/images/breeze/output_k8s_run-complete-tests.svg +++ b/images/breeze/output_k8s_run-complete-tests.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-run-complete-tests-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-run-complete-tests-r2 { fill: #c5c8c6 } -.breeze-k8s-run-complete-tests-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-run-complete-tests-r1 { fill: #c5c8c6 } +.breeze-k8s-run-complete-tests-r2 { fill: #d0b344 } +.breeze-k8s-run-complete-tests-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-run-complete-tests-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-run-complete-tests-r5 { fill: #868887 } .breeze-k8s-run-complete-tests-r6 { fill: #8d7b39 } @@ -198,54 +198,54 @@ - -Usage: breeze k8s run-complete-tests [OPTIONS] [TEST_ARGS]... - -Run complete k8s tests consisting of: creating cluster, building and uploading image, deploying airflow, running tests -and deleting clusters (optionally for all clusters in parallel). - -╭─ K8S cluster creation flags ─────────────────────────────────────────────────────────────────────────────────────────╮ -│--force-recreate-clusterForce recreation of the cluster even if it is already created.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Airflow deploy flags ───────────────────────────────────────────────────────────────────────────────────────────────╮ -│--upgradeUpgrade Helm Chart rather than installing it.│ -│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ -│--use-standard-namingUse standard naming.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Build image flags ──────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--rebuild-base-imageRebuilds base Airflow image before building K8S image.│ -│--image-tag-tImage tag used to build K8S image from.(TEXT)[default: latest]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ K8S tests flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -│--executorExecutor to use for a kubernetes cluster.                                         │ -│(>KubernetesExecutor< | CeleryExecutor | LocalExecutor | CeleryKubernetesExecutor)│ -│[default: KubernetesExecutor]                                                     │ -│--force-venv-setupForce recreation of the virtualenv.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ -│operations.                                                                            │ -│(INTEGER RANGE)                                                                        │ -│[default: 2; 1<=x<=4]                                                                  │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ -│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s run-complete-tests[OPTIONS] [TEST_ARGS]... + +Run complete k8s tests consisting of: creating cluster, building and uploading image, deploying airflow, running tests +and deleting clusters (optionally for all clusters in parallel). + +╭─ K8S cluster creation flags ─────────────────────────────────────────────────────────────────────────────────────────╮ +│--force-recreate-clusterForce recreation of the cluster even if it is already created.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Airflow deploy flags ───────────────────────────────────────────────────────────────────────────────────────────────╮ +│--upgradeUpgrade Helm Chart rather than installing it.│ +│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ +│--use-standard-namingUse standard naming.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Build image flags ──────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--rebuild-base-imageRebuilds base Airflow image before building K8S image.│ +│--image-tag-tImage tag used to build K8S image from.(TEXT)[default: latest]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ K8S tests flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +│--executorExecutor to use for a kubernetes cluster.                                         │ +│(>KubernetesExecutor< | CeleryExecutor | LocalExecutor | CeleryKubernetesExecutor)│ +│[default: KubernetesExecutor]                                                     │ +│--force-venv-setupForce recreation of the virtualenv.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ +│operations.                                                                            │ +│(INTEGER RANGE)                                                                        │ +│[default: 2; 1<=x<=4]                                                                  │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_setup-env.svg b/images/breeze/output_k8s_setup-env.svg index 3f440cb7551c1..99e4736d950f6 100644 --- a/images/breeze/output_k8s_setup-env.svg +++ b/images/breeze/output_k8s_setup-env.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-setup-env-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-setup-env-r2 { fill: #c5c8c6 } -.breeze-k8s-setup-env-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-setup-env-r1 { fill: #c5c8c6 } +.breeze-k8s-setup-env-r2 { fill: #d0b344 } +.breeze-k8s-setup-env-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-setup-env-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-setup-env-r5 { fill: #868887 } .breeze-k8s-setup-env-r6 { fill: #98a84b;font-weight: bold } @@ -92,19 +92,19 @@ - -Usage: breeze k8s setup-env [OPTIONS] - -Setup shared Kubernetes virtual environment and tools. - -╭─ K8S setup flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--force-venv-setupForce recreation of the virtualenv.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s setup-env[OPTIONS] + +Setup shared Kubernetes virtual environment and tools. + +╭─ K8S setup flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--force-venv-setupForce recreation of the virtualenv.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_shell.svg b/images/breeze/output_k8s_shell.svg index 6f65d60ead6e7..33394007c6a9d 100644 --- a/images/breeze/output_k8s_shell.svg +++ b/images/breeze/output_k8s_shell.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-shell-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-shell-r2 { fill: #c5c8c6 } -.breeze-k8s-shell-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-shell-r1 { fill: #c5c8c6 } +.breeze-k8s-shell-r2 { fill: #d0b344 } +.breeze-k8s-shell-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-shell-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-shell-r5 { fill: #868887 } .breeze-k8s-shell-r6 { fill: #98a84b;font-weight: bold } @@ -117,27 +117,27 @@ - -Usage: breeze k8s shell [OPTIONS] [SHELL_ARGS]... - -Run shell environment for the current KinD cluster. - -╭─ K8S shell flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -│--executorExecutor to use for a kubernetes cluster.                                         │ -│(>KubernetesExecutor< | CeleryExecutor | LocalExecutor | CeleryKubernetesExecutor)│ -│[default: KubernetesExecutor]                                                     │ -│--force-venv-setupForce recreation of the virtualenv.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s shell[OPTIONS] [SHELL_ARGS]... + +Run shell environment for the current KinD cluster. + +╭─ K8S shell flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +│--executorExecutor to use for a kubernetes cluster.                                         │ +│(>KubernetesExecutor< | CeleryExecutor | LocalExecutor | CeleryKubernetesExecutor)│ +│[default: KubernetesExecutor]                                                     │ +│--force-venv-setupForce recreation of the virtualenv.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_status.svg b/images/breeze/output_k8s_status.svg index 10c8912f0161c..e2b0a434616db 100644 --- a/images/breeze/output_k8s_status.svg +++ b/images/breeze/output_k8s_status.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-status-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-status-r2 { fill: #c5c8c6 } -.breeze-k8s-status-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-status-r1 { fill: #c5c8c6 } +.breeze-k8s-status-r2 { fill: #d0b344 } +.breeze-k8s-status-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-status-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-status-r5 { fill: #868887 } .breeze-k8s-status-r6 { fill: #98a84b;font-weight: bold } @@ -111,25 +111,25 @@ - -Usage: breeze k8s status [OPTIONS] - -Check status of the current cluster and airflow deployed to it (optionally all clusters). - -╭─ K8S cluster status flags ───────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ -│--allApply it to all created clusters│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s status[OPTIONS] + +Check status of the current cluster and airflow deployed to it (optionally all clusters). + +╭─ K8S cluster status flags ───────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ +│--allApply it to all created clusters│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_tests.svg b/images/breeze/output_k8s_tests.svg index 78028aa4edd29..29f6e4efd60f7 100644 --- a/images/breeze/output_k8s_tests.svg +++ b/images/breeze/output_k8s_tests.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-tests-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-tests-r2 { fill: #c5c8c6 } -.breeze-k8s-tests-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-tests-r1 { fill: #c5c8c6 } +.breeze-k8s-tests-r2 { fill: #d0b344 } +.breeze-k8s-tests-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-tests-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-tests-r5 { fill: #868887 } .breeze-k8s-tests-r6 { fill: #98a84b;font-weight: bold } @@ -159,41 +159,41 @@ - -Usage: breeze k8s tests [OPTIONS] [TEST_ARGS]... - -Run tests against the current KinD cluster (optionally for all clusters in parallel). - -╭─ K8S tests flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -│--executorExecutor to use for a kubernetes cluster.                                         │ -│(>KubernetesExecutor< | CeleryExecutor | LocalExecutor | CeleryKubernetesExecutor)│ -│[default: KubernetesExecutor]                                                     │ -│--force-venv-setupForce recreation of the virtualenv.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ -│operations.                                                                            │ -│(INTEGER RANGE)                                                                        │ -│[default: 2; 1<=x<=4]                                                                  │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ -│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s tests[OPTIONS] [TEST_ARGS]... + +Run tests against the current KinD cluster (optionally for all clusters in parallel). + +╭─ K8S tests flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +│--executorExecutor to use for a kubernetes cluster.                                         │ +│(>KubernetesExecutor< | CeleryExecutor | LocalExecutor | CeleryKubernetesExecutor)│ +│[default: KubernetesExecutor]                                                     │ +│--force-venv-setupForce recreation of the virtualenv.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ +│operations.                                                                            │ +│(INTEGER RANGE)                                                                        │ +│[default: 2; 1<=x<=4]                                                                  │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_k8s_upload-k8s-image.svg b/images/breeze/output_k8s_upload-k8s-image.svg index cb7155c616147..2ed5d2cff38dc 100644 --- a/images/breeze/output_k8s_upload-k8s-image.svg +++ b/images/breeze/output_k8s_upload-k8s-image.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-k8s-upload-k8s-image-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-k8s-upload-k8s-image-r2 { fill: #c5c8c6 } -.breeze-k8s-upload-k8s-image-r3 { fill: #d0b344;font-weight: bold } + .breeze-k8s-upload-k8s-image-r1 { fill: #c5c8c6 } +.breeze-k8s-upload-k8s-image-r2 { fill: #d0b344 } +.breeze-k8s-upload-k8s-image-r3 { fill: #c5c8c6;font-weight: bold } .breeze-k8s-upload-k8s-image-r4 { fill: #68a0b3;font-weight: bold } .breeze-k8s-upload-k8s-image-r5 { fill: #868887 } .breeze-k8s-upload-k8s-image-r6 { fill: #98a84b;font-weight: bold } @@ -144,36 +144,36 @@ - -Usage: breeze k8s upload-k8s-image [OPTIONS] - -Upload k8s-ready airflow image to the KinD cluster (optionally to all clusters in parallel) - -╭─ Upload image flags ─────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ -│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ -│[default: v1.24.15]                                   │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel.│ -│(INTEGER RANGE)                                                            │ -│[default: 4; 1<=x<=8]                                                      │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ -│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze k8s upload-k8s-image[OPTIONS] + +Upload k8s-ready airflow image to the KinD cluster (optionally to all clusters in parallel) + +╭─ Upload image flags ─────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│(>v1.24.15< | v1.25.11 | v1.26.6 | v1.27.3 | v1.28.0) │ +│[default: v1.24.15]                                   │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel.│ +│(INTEGER RANGE)                                                            │ +│[default: 4; 1<=x<=8]                                                      │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│[default: v1.24.15 v1.25.11 v1.26.6 v1.27.3 v1.28.0]          │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_prod-image.svg b/images/breeze/output_prod-image.svg index cd179a225efee..6b907c07a6b27 100644 --- a/images/breeze/output_prod-image.svg +++ b/images/breeze/output_prod-image.svg @@ -32,11 +32,11 @@ font-family: arial; } - .breeze-prod-image-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-prod-image-r2 { fill: #c5c8c6 } -.breeze-prod-image-r3 { fill: #d0b344;font-weight: bold } -.breeze-prod-image-r4 { fill: #868887 } -.breeze-prod-image-r5 { fill: #68a0b3;font-weight: bold } + .breeze-prod-image-r1 { fill: #c5c8c6 } +.breeze-prod-image-r2 { fill: #d0b344 } +.breeze-prod-image-r3 { fill: #c5c8c6;font-weight: bold } +.breeze-prod-image-r4 { fill: #68a0b3;font-weight: bold } +.breeze-prod-image-r5 { fill: #868887 } .breeze-prod-image-r6 { fill: #98a84b;font-weight: bold } @@ -92,19 +92,19 @@ - -Usage: breeze prod-image [OPTIONS] COMMAND [ARGS]... - -Tools that developers can use to manually manage PROD images - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Production Image tools ─────────────────────────────────────────────────────────────────────────────────────────────╮ -│build  Build Production image. Include building multiple images for all or selected Python versions sequentially. │ -│pull   Pull and optionally verify Production images - possibly in parallel for all Python versions.               │ -│verify Verify Production image.                                                                                   │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze prod-image[OPTIONS] COMMAND [ARGS]... + +Tools that developers can use to manually manage PROD images + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Production Image tools ─────────────────────────────────────────────────────────────────────────────────────────────╮ +│build  Build Production image. Include building multiple images for all or selected Python versions sequentially. │ +│pull   Pull and optionally verify Production images - possibly in parallel for all Python versions.               │ +│verify Verify Production image.                                                                                   │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_prod-image_build.svg b/images/breeze/output_prod-image_build.svg index 69dd86e51b3bf..704bcbb25d665 100644 --- a/images/breeze/output_prod-image_build.svg +++ b/images/breeze/output_prod-image_build.svg @@ -32,11 +32,11 @@ font-family: arial; } - .breeze-prod-image-build-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-prod-image-build-r2 { fill: #c5c8c6 } -.breeze-prod-image-build-r3 { fill: #d0b344;font-weight: bold } -.breeze-prod-image-build-r4 { fill: #868887 } -.breeze-prod-image-build-r5 { fill: #68a0b3;font-weight: bold } + .breeze-prod-image-build-r1 { fill: #c5c8c6 } +.breeze-prod-image-build-r2 { fill: #d0b344 } +.breeze-prod-image-build-r3 { fill: #c5c8c6;font-weight: bold } +.breeze-prod-image-build-r4 { fill: #68a0b3;font-weight: bold } +.breeze-prod-image-build-r5 { fill: #868887 } .breeze-prod-image-build-r6 { fill: #98a84b;font-weight: bold } .breeze-prod-image-build-r7 { fill: #8d7b39 } @@ -339,101 +339,101 @@ - -Usage: breeze prod-image build [OPTIONS] - -Build Production image. Include building multiple images for all or selected Python versions sequentially. - -╭─ Basic usage ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ -│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ -│[default: 3.8]                                              │ -│--install-airflow-version-VInstall version of Airflow from PyPI.(TEXT)│ -│--image-tagTag the image after building it.(TEXT)[default: latest]│ -│--tag-as-latestTags the image as latest and update checksum of all files after pulling. Useful when │ -│you build or pull image with --image-tag.                                            │ -│--docker-cache-cCache option for image used during the build.(registry | local | disabled)│ -│[default: registry]                          │ -│--build-progressBuild progress.(auto | plain | tty)[default: auto]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Building images in parallel ────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel.│ -│(INTEGER RANGE)                                                            │ -│[default: 4; 1<=x<=8]                                                      │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Options for customizing images ─────────────────────────────────────────────────────────────────────────────────────╮ -│--install-providers-from-sourcesInstall providers from sources when installing.│ -│--airflow-extrasExtras to install by default.                                                   │ -│(TEXT)                                                                          │ -│[default:                                                                       │ -│aiobotocore,amazon,async,celery,cncf.kubernetes,daskexecutor,docker,elasticsear…│ -│--airflow-constraints-locationIf specified, it is used instead of calculating reference to the constraint     │ -│file. It could be full remote URL to the location file, or local file placed in │ -│`docker-context-files` (in this case it has to start with                       │ -│/opt/airflow/docker-context-files).                                             │ -│(TEXT)                                                                          │ -│--airflow-constraints-modeMode of constraints for PROD image building.                           │ -│(constraints | constraints-no-providers | constraints-source-providers)│ -│[default: constraints]                                                 │ -│--airflow-constraints-referenceConstraint reference to use when building the image.(TEXT)│ -│--python-imageIf specified this is the base python image used to build the image. Should be   │ -│something like: python:VERSION-slim-bullseye.                                   │ -│(TEXT)                                                                          │ -│--additional-extrasAdditional extra package while installing Airflow in the image.(TEXT)│ -│--additional-pip-install-flagsAdditional flags added to `pip install` commands (except reinstalling `pip`     │ -│itself).                                                                        │ -│(TEXT)                                                                          │ -│--additional-python-depsAdditional python dependencies to use when building the images.(TEXT)│ -│--additional-runtime-apt-depsAdditional apt runtime dependencies to use when building the images.(TEXT)│ -│--additional-runtime-apt-envAdditional environment variables set when adding runtime dependencies.(TEXT)│ -│--additional-runtime-apt-commandAdditional command executed before runtime apt deps are installed.(TEXT)│ -│--additional-dev-apt-depsAdditional apt dev dependencies to use when building the images.(TEXT)│ -│--additional-dev-apt-envAdditional environment variables set when adding dev dependencies.(TEXT)│ -│--additional-dev-apt-commandAdditional command executed before dev apt deps are installed.(TEXT)│ -│--runtime-apt-depsApt runtime dependencies to use when building the images.(TEXT)│ -│--runtime-apt-commandCommand executed before runtime apt deps are installed.(TEXT)│ -│--dev-apt-depsApt dev dependencies to use when building the images.(TEXT)│ -│--dev-apt-commandCommand executed before dev apt deps are installed.(TEXT)│ -│--version-suffix-for-pypiVersion suffix used for PyPI packages (alpha, beta, rc1, etc.).(TEXT)│ -│--commit-shaCommit SHA that is used to build the images.(TEXT)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Customization options (for specific customization needs) ───────────────────────────────────────────────────────────╮ -│--install-packages-from-contextInstall wheels from local docker-context-files when building image.       │ -│Implies --disable-airflow-repo-cache.                                     │ -│--use-constraints-for-context-packagesUses constraints for context packages installation - either from          │ -│constraints store in docker-context-files or from github.                 │ -│--cleanup-contextClean up docker context files before running build (cannot be used        │ -│together with --install-packages-from-context).                           │ -│--disable-mysql-client-installationDo not install MySQL client.│ -│--disable-mssql-client-installationDo not install MsSQl client.│ -│--disable-postgres-client-installationDo not install Postgres client.│ -│--disable-airflow-repo-cacheDisable cache from Airflow repository during building.│ -│--install-airflow-referenceInstall Airflow using GitHub tag or branch.(TEXT)│ -│--installation-methodInstall Airflow from: sources or PyPI.(. | apache-airflow)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Preparing cache and push (for maintainers and CI) ──────────────────────────────────────────────────────────────────╮ -│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)│ -│[default: autodetect]                                         │ -│--platformPlatform for Airflow image.(linux/amd64 | linux/arm64 | linux/amd64,linux/arm64)│ -│--pushPush image after building it.│ -│--prepare-buildx-cachePrepares build cache (this is done as separate per-platform steps instead of building the │ -│image).                                                                                   │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze prod-image build[OPTIONS] + +Build Production image. Include building multiple images for all or selected Python versions sequentially. + +╭─ Basic usage ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.│ +│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ +│[default: 3.8]                                              │ +│--install-airflow-version-VInstall version of Airflow from PyPI.(TEXT)│ +│--image-tagTag the image after building it.(TEXT)[default: latest]│ +│--tag-as-latestTags the image as latest and update checksum of all files after pulling. Useful when │ +│you build or pull image with --image-tag.                                            │ +│--docker-cache-cCache option for image used during the build.(registry | local | disabled)│ +│[default: registry]                          │ +│--build-progressBuild progress.(auto | plain | tty)[default: auto]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Building images in parallel ────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel.│ +│(INTEGER RANGE)                                                            │ +│[default: 4; 1<=x<=8]                                                      │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Options for customizing images ─────────────────────────────────────────────────────────────────────────────────────╮ +│--install-providers-from-sourcesInstall providers from sources when installing.│ +│--airflow-extrasExtras to install by default.                                                   │ +│(TEXT)                                                                          │ +│[default:                                                                       │ +│aiobotocore,amazon,async,celery,cncf.kubernetes,daskexecutor,docker,elasticsear…│ +│--airflow-constraints-locationIf specified, it is used instead of calculating reference to the constraint     │ +│file. It could be full remote URL to the location file, or local file placed in │ +│`docker-context-files` (in this case it has to start with                       │ +│/opt/airflow/docker-context-files).                                             │ +│(TEXT)                                                                          │ +│--airflow-constraints-modeMode of constraints for PROD image building.                           │ +│(constraints | constraints-no-providers | constraints-source-providers)│ +│[default: constraints]                                                 │ +│--airflow-constraints-referenceConstraint reference to use when building the image.(TEXT)│ +│--python-imageIf specified this is the base python image used to build the image. Should be   │ +│something like: python:VERSION-slim-bullseye.                                   │ +│(TEXT)                                                                          │ +│--additional-extrasAdditional extra package while installing Airflow in the image.(TEXT)│ +│--additional-pip-install-flagsAdditional flags added to `pip install` commands (except reinstalling `pip`     │ +│itself).                                                                        │ +│(TEXT)                                                                          │ +│--additional-python-depsAdditional python dependencies to use when building the images.(TEXT)│ +│--additional-runtime-apt-depsAdditional apt runtime dependencies to use when building the images.(TEXT)│ +│--additional-runtime-apt-envAdditional environment variables set when adding runtime dependencies.(TEXT)│ +│--additional-runtime-apt-commandAdditional command executed before runtime apt deps are installed.(TEXT)│ +│--additional-dev-apt-depsAdditional apt dev dependencies to use when building the images.(TEXT)│ +│--additional-dev-apt-envAdditional environment variables set when adding dev dependencies.(TEXT)│ +│--additional-dev-apt-commandAdditional command executed before dev apt deps are installed.(TEXT)│ +│--runtime-apt-depsApt runtime dependencies to use when building the images.(TEXT)│ +│--runtime-apt-commandCommand executed before runtime apt deps are installed.(TEXT)│ +│--dev-apt-depsApt dev dependencies to use when building the images.(TEXT)│ +│--dev-apt-commandCommand executed before dev apt deps are installed.(TEXT)│ +│--version-suffix-for-pypiVersion suffix used for PyPI packages (alpha, beta, rc1, etc.).(TEXT)│ +│--commit-shaCommit SHA that is used to build the images.(TEXT)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Customization options (for specific customization needs) ───────────────────────────────────────────────────────────╮ +│--install-packages-from-contextInstall wheels from local docker-context-files when building image.       │ +│Implies --disable-airflow-repo-cache.                                     │ +│--use-constraints-for-context-packagesUses constraints for context packages installation - either from          │ +│constraints store in docker-context-files or from github.                 │ +│--cleanup-contextClean up docker context files before running build (cannot be used        │ +│together with --install-packages-from-context).                           │ +│--disable-mysql-client-installationDo not install MySQL client.│ +│--disable-mssql-client-installationDo not install MsSQl client.│ +│--disable-postgres-client-installationDo not install Postgres client.│ +│--disable-airflow-repo-cacheDisable cache from Airflow repository during building.│ +│--install-airflow-referenceInstall Airflow using GitHub tag or branch.(TEXT)│ +│--installation-methodInstall Airflow from: sources or PyPI.(. | apache-airflow)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Preparing cache and push (for maintainers and CI) ──────────────────────────────────────────────────────────────────╮ +│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)│ +│[default: autodetect]                                         │ +│--platformPlatform for Airflow image.(linux/amd64 | linux/arm64 | linux/amd64,linux/arm64)│ +│--pushPush image after building it.│ +│--prepare-buildx-cachePrepares build cache (this is done as separate per-platform steps instead of building the │ +│image).                                                                                   │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_prod-image_pull.svg b/images/breeze/output_prod-image_pull.svg index 7c8060038a958..6d0dbf446eeba 100644 --- a/images/breeze/output_prod-image_pull.svg +++ b/images/breeze/output_prod-image_pull.svg @@ -32,11 +32,11 @@ font-family: arial; } - .breeze-prod-image-pull-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-prod-image-pull-r2 { fill: #c5c8c6 } -.breeze-prod-image-pull-r3 { fill: #d0b344;font-weight: bold } -.breeze-prod-image-pull-r4 { fill: #868887 } -.breeze-prod-image-pull-r5 { fill: #68a0b3;font-weight: bold } + .breeze-prod-image-pull-r1 { fill: #c5c8c6 } +.breeze-prod-image-pull-r2 { fill: #d0b344 } +.breeze-prod-image-pull-r3 { fill: #c5c8c6;font-weight: bold } +.breeze-prod-image-pull-r4 { fill: #68a0b3;font-weight: bold } +.breeze-prod-image-pull-r5 { fill: #868887 } .breeze-prod-image-pull-r6 { fill: #98a84b;font-weight: bold } .breeze-prod-image-pull-r7 { fill: #8d7b39 } @@ -156,40 +156,40 @@ - -Usage: breeze prod-image pull [OPTIONS] [EXTRA_PYTEST_ARGS]... - -Pull and optionally verify Production images - possibly in parallel for all Python versions. - -╭─ Pull image flags ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--image-tag-tTag of the image which is used to pull the image.(TEXT)[default: latest]│ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--verifyVerify image.│ -│--wait-for-imageWait until image is available.│ -│--tag-as-latestTags the image as latest and update checksum of all files after pulling. Useful when you build│ -│or pull image with --image-tag.                                                               │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Parallel running ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel.│ -│(INTEGER RANGE)                                                            │ -│[default: 4; 1<=x<=8]                                                      │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze prod-image pull[OPTIONS] [EXTRA_PYTEST_ARGS]... + +Pull and optionally verify Production images - possibly in parallel for all Python versions. + +╭─ Pull image flags ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--image-tag-tTag of the image which is used to pull the image.(TEXT)[default: latest]│ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--verifyVerify image.│ +│--wait-for-imageWait until image is available.│ +│--tag-as-latestTags the image as latest and update checksum of all files after pulling. Useful when you build│ +│or pull image with --image-tag.                                                               │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Parallel running ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel.│ +│(INTEGER RANGE)                                                            │ +│[default: 4; 1<=x<=8]                                                      │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_prod-image_verify.svg b/images/breeze/output_prod-image_verify.svg index af13cf3f4fbe3..508fcbd34c534 100644 --- a/images/breeze/output_prod-image_verify.svg +++ b/images/breeze/output_prod-image_verify.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-prod-image-verify-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-prod-image-verify-r2 { fill: #c5c8c6 } -.breeze-prod-image-verify-r3 { fill: #d0b344;font-weight: bold } + .breeze-prod-image-verify-r1 { fill: #c5c8c6 } +.breeze-prod-image-verify-r2 { fill: #d0b344 } +.breeze-prod-image-verify-r3 { fill: #c5c8c6;font-weight: bold } .breeze-prod-image-verify-r4 { fill: #68a0b3;font-weight: bold } .breeze-prod-image-verify-r5 { fill: #868887 } .breeze-prod-image-verify-r6 { fill: #98a84b;font-weight: bold } @@ -120,28 +120,28 @@ - -Usage: breeze prod-image verify [OPTIONS] [EXTRA_PYTEST_ARGS]... - -Verify Production image. - -╭─ Verify image flags ─────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--image-name-nName of the image to verify (overrides --python and --image-tag).(TEXT)│ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--slim-imageThe image to verify is slim and non-slim tests should be skipped.│ -│--image-tag-tTag of the image when verifying it.(TEXT)[default: latest]│ -│--pullPull image is missing before attempting to verify it.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze prod-image verify[OPTIONS] [EXTRA_PYTEST_ARGS]... + +Verify Production image. + +╭─ Verify image flags ─────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--image-name-nName of the image to verify (overrides --python and --image-tag).(TEXT)│ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--slim-imageThe image to verify is slim and non-slim tests should be skipped.│ +│--image-tag-tTag of the image when verifying it.(TEXT)[default: latest]│ +│--pullPull image is missing before attempting to verify it.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Github authentication ──────────────────────────────────────────────────────────────────────────────────────────────╮ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--github-tokenThe token used to authenticate to GitHub.(TEXT)│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_release-management.svg b/images/breeze/output_release-management.svg index fad73508b9b50..ccfef4e9ee36d 100644 --- a/images/breeze/output_release-management.svg +++ b/images/breeze/output_release-management.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-release-management-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-release-management-r2 { fill: #c5c8c6 } -.breeze-release-management-r3 { fill: #d0b344;font-weight: bold } + .breeze-release-management-r1 { fill: #c5c8c6 } +.breeze-release-management-r2 { fill: #d0b344 } +.breeze-release-management-r3 { fill: #c5c8c6;font-weight: bold } .breeze-release-management-r4 { fill: #68a0b3;font-weight: bold } .breeze-release-management-r5 { fill: #868887 } .breeze-release-management-r6 { fill: #98a84b;font-weight: bold } @@ -146,37 +146,37 @@ - -Usage: breeze release-management [OPTIONS] COMMAND [ARGS]... - -Tools that release managers can use to prepare and manage Airflow releases - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Airflow release commands ───────────────────────────────────────────────────────────────────────────────────────────╮ -│prepare-airflow-package      Prepare sdist/whl package of Airflow.                                                │ -│create-minor-branch          Create a new version branch and update the default branches in main                  │ -│start-rc-process             Start RC process                                                                     │ -│start-release                Start Airflow release process                                                        │ -│release-prod-images          Release production images to DockerHub (needs DockerHub permissions).                │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Providers release commands ─────────────────────────────────────────────────────────────────────────────────────────╮ -│prepare-provider-documentation      Prepare CHANGELOG, README and COMMITS information for providers.              │ -│prepare-provider-packages           Prepare sdist/whl packages of Airflow Providers.                              │ -│install-provider-packages           Installs provider packages that can be found in dist.                         │ -│verify-provider-packages            Verifies if all provider code is following expectations for providers.        │ -│generate-providers-metadata         Generates metadata for providers.                                             │ -│generate-issue-content-providers    Generates content for issue to test the release.                              │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Other release commands ─────────────────────────────────────────────────────────────────────────────────────────────╮ -│publish-docs           Command to publish generated documentation to airflow-site                                 │ -│generate-constraints   Generates pinned constraint files with all extras from setup.py in parallel.               │ -│add-back-references    Command to add back references for documentation to make it backward compatible.           │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Commands ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│update-constraints              Update released constraints with manual changes.                                  │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze release-management[OPTIONS] COMMAND [ARGS]... + +Tools that release managers can use to prepare and manage Airflow releases + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Airflow release commands ───────────────────────────────────────────────────────────────────────────────────────────╮ +│prepare-airflow-package      Prepare sdist/whl package of Airflow.                                                │ +│create-minor-branch          Create a new version branch and update the default branches in main                  │ +│start-rc-process             Start RC process                                                                     │ +│start-release                Start Airflow release process                                                        │ +│release-prod-images          Release production images to DockerHub (needs DockerHub permissions).                │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Providers release commands ─────────────────────────────────────────────────────────────────────────────────────────╮ +│prepare-provider-documentation      Prepare CHANGELOG, README and COMMITS information for providers.              │ +│prepare-provider-packages           Prepare sdist/whl packages of Airflow Providers.                              │ +│install-provider-packages           Installs provider packages that can be found in dist.                         │ +│verify-provider-packages            Verifies if all provider code is following expectations for providers.        │ +│generate-providers-metadata         Generates metadata for providers.                                             │ +│generate-issue-content-providers    Generates content for issue to test the release.                              │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Other release commands ─────────────────────────────────────────────────────────────────────────────────────────────╮ +│publish-docs           Command to publish generated documentation to airflow-site                                 │ +│generate-constraints   Generates pinned constraint files with all extras from setup.py in parallel.               │ +│add-back-references    Command to add back references for documentation to make it backward compatible.           │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Commands ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│update-constraints              Update released constraints with manual changes.                                  │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_release-management_add-back-references.svg b/images/breeze/output_release-management_add-back-references.svg index 6948f038b3a81..ce7c70c8b80e3 100644 --- a/images/breeze/output_release-management_add-back-references.svg +++ b/images/breeze/output_release-management_add-back-references.svg @@ -1,4 +1,4 @@ - + @@ -153,39 +153,39 @@ - -Usage: breeze release-management generate-constraints [OPTIONS] - -Generates pinned constraint files with all extras from setup.py in parallel. - -╭─ Generate constraints flags ─────────────────────────────────────────────────────────────────────────────────────────╮ -│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).│ -│(TEXT)                                                                         │ -│[default: latest]                                                              │ -│--python-pPython major/minor version used in Airflow image for images.│ -│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ -│[default: 3.8]                                              │ -│--airflow-constraints-modeMode of constraints for CI image building.                             │ -│(constraints-source-providers | constraints | constraints-no-providers)│ -│[default: constraints-source-providers]                                │ -│--debugDrop user in shell instead of running the command. Useful for debugging.│ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Parallel running ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel.(INTEGER RANGE)│ -│[default: 4; 1<=x<=8]                                                      │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ -│[default: 3.8 3.9 3.10 3.11]                                                  │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze release-management generate-constraints[OPTIONS] + +Generates pinned constraint files with all extras from setup.py in parallel. + +╭─ Generate constraints flags ─────────────────────────────────────────────────────────────────────────────────────────╮ +│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).│ +│(TEXT)                                                                         │ +│[default: latest]                                                              │ +│--python-pPython major/minor version used in Airflow image for images.│ +│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ +│[default: 3.8]                                              │ +│--airflow-constraints-modeMode of constraints for CI image building.                             │ +│(constraints-source-providers | constraints | constraints-no-providers)│ +│[default: constraints-source-providers]                                │ +│--debugDrop user in shell instead of running the command. Useful for debugging.│ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Parallel running ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel.(INTEGER RANGE)│ +│[default: 4; 1<=x<=8]                                                      │ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│[default: 3.8 3.9 3.10 3.11]                                                  │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_release-management_generate-issue-content-providers.svg b/images/breeze/output_release-management_generate-issue-content-providers.svg index 85e734f89ae2e..19c291f89de12 100644 --- a/images/breeze/output_release-management_generate-issue-content-providers.svg +++ b/images/breeze/output_release-management_generate-issue-content-providers.svg @@ -1,4 +1,4 @@ - + @@ -147,37 +147,37 @@ - -Usage: breeze setup check-all-params-in-groups [OPTIONS] - -Check that all parameters are put in groups. - -╭─ Check all params in groups flags ───────────────────────────────────────────────────────────────────────────────────╮ -│--commandCommand(s) to regenerate images for (optional, might be repeated)                                      │ -│(main | build-docs | ci:find-backtracking-candidates | ci:fix-ownership | ci:free-space |              │ -│ci:get-workflow-info | ci:resource-check | ci:selective-check | ci | ci-image:build | ci-image:pull |  │ -│ci-image:verify | ci-image | cleanup | compile-www-assets | down | exec | k8s:build-k8s-image |        │ -│k8s:configure-cluster | k8s:create-cluster | k8s:delete-cluster | k8s:deploy-airflow | k8s:k9s |       │ -│k8s:logs | k8s:run-complete-tests | k8s:setup-env | k8s:shell | k8s:status | k8s:tests |               │ -│k8s:upload-k8s-image | k8s | prod-image:build | prod-image:pull | prod-image:verify | prod-image |     │ -│release-management:add-back-references | release-management:create-minor-branch |                      │ -│release-management:generate-constraints | release-management:generate-issue-content-providers |        │ -│release-management:generate-providers-metadata | release-management:install-provider-packages |        │ -│release-management:prepare-airflow-package | release-management:prepare-provider-documentation |       │ -│release-management:prepare-provider-packages | release-management:publish-docs |                       │ -│release-management:release-prod-images | release-management:start-rc-process |                         │ -│release-management:start-release | release-management:update-constraints |                             │ -│release-management:verify-provider-packages | release-management | sbom:generate-providers-requirements│ -│| sbom:update-sbom-information | sbom | setup:autocomplete | setup:check-all-params-in-groups |        │ -│setup:config | setup:regenerate-command-images | setup:self-upgrade | setup:version | setup | shell |  │ -│start-airflow | static-checks | testing:docker-compose-tests | testing:helm-tests |                    │ -│testing:integration-tests | testing:tests | testing)                                                   │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze setup check-all-params-in-groups[OPTIONS] + +Check that all parameters are put in groups. + +╭─ Check all params in groups flags ───────────────────────────────────────────────────────────────────────────────────╮ +│--commandCommand(s) to regenerate images for (optional, might be repeated)                                      │ +│(main | build-docs | ci:find-backtracking-candidates | ci:fix-ownership | ci:free-space |              │ +│ci:get-workflow-info | ci:resource-check | ci:selective-check | ci | ci-image:build | ci-image:pull |  │ +│ci-image:verify | ci-image | cleanup | compile-www-assets | down | exec | k8s:build-k8s-image |        │ +│k8s:configure-cluster | k8s:create-cluster | k8s:delete-cluster | k8s:deploy-airflow | k8s:k9s |       │ +│k8s:logs | k8s:run-complete-tests | k8s:setup-env | k8s:shell | k8s:status | k8s:tests |               │ +│k8s:upload-k8s-image | k8s | prod-image:build | prod-image:pull | prod-image:verify | prod-image |     │ +│release-management:add-back-references | release-management:create-minor-branch |                      │ +│release-management:generate-constraints | release-management:generate-issue-content-providers |        │ +│release-management:generate-providers-metadata | release-management:install-provider-packages |        │ +│release-management:prepare-airflow-package | release-management:prepare-provider-documentation |       │ +│release-management:prepare-provider-packages | release-management:publish-docs |                       │ +│release-management:release-prod-images | release-management:start-rc-process |                         │ +│release-management:start-release | release-management:update-constraints |                             │ +│release-management:verify-provider-packages | release-management | sbom:generate-providers-requirements│ +│| sbom:update-sbom-information | sbom | setup:autocomplete | setup:check-all-params-in-groups |        │ +│setup:config | setup:regenerate-command-images | setup:self-upgrade | setup:version | setup | shell |  │ +│start-airflow | static-checks | testing:docker-compose-tests | testing:helm-tests |                    │ +│testing:integration-tests | testing:tests | testing)                                                   │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_setup_config.svg b/images/breeze/output_setup_config.svg index e0684ebfc7430..bcb2111e49918 100644 --- a/images/breeze/output_setup_config.svg +++ b/images/breeze/output_setup_config.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-setup-config-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-setup-config-r2 { fill: #c5c8c6 } -.breeze-setup-config-r3 { fill: #d0b344;font-weight: bold } + .breeze-setup-config-r1 { fill: #c5c8c6 } +.breeze-setup-config-r2 { fill: #d0b344 } +.breeze-setup-config-r3 { fill: #c5c8c6;font-weight: bold } .breeze-setup-config-r4 { fill: #68a0b3;font-weight: bold } .breeze-setup-config-r5 { fill: #868887 } .breeze-setup-config-r6 { fill: #98a84b;font-weight: bold } @@ -117,27 +117,27 @@ - -Usage: breeze setup config [OPTIONS] - -Show/update configuration (Python, Backend, Cheatsheet, ASCIIART). - -╭─ Config flags ───────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ -│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ -│[default: 3.8]                                              │ -│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)│ -│[default: sqlite]       │ -│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ -│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ -│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ -│--cheatsheet/--no-cheatsheet-C/-cEnable/disable cheatsheet.│ -│--asciiart/--no-asciiart-A/-aEnable/disable ASCIIart.│ -│--colour/--no-colourEnable/disable Colour mode (useful for colour blind-friendly communication).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze setup config[OPTIONS] + +Show/update configuration (Python, Backend, Cheatsheet, ASCIIART). + +╭─ Config flags ───────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.│ +│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ +│[default: 3.8]                                              │ +│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)│ +│[default: sqlite]       │ +│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ +│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ +│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ +│--cheatsheet/--no-cheatsheet-C/-cEnable/disable cheatsheet.│ +│--asciiart/--no-asciiart-A/-aEnable/disable ASCIIart.│ +│--colour/--no-colourEnable/disable Colour mode (useful for colour blind-friendly communication).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_setup_regenerate-command-images.svg b/images/breeze/output_setup_regenerate-command-images.svg index 9c1c8416cba60..427c8f14c1d1d 100644 --- a/images/breeze/output_setup_regenerate-command-images.svg +++ b/images/breeze/output_setup_regenerate-command-images.svg @@ -32,11 +32,11 @@ font-family: arial; } - .breeze-setup-regenerate-command-images-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-setup-regenerate-command-images-r2 { fill: #c5c8c6 } -.breeze-setup-regenerate-command-images-r3 { fill: #d0b344;font-weight: bold } -.breeze-setup-regenerate-command-images-r4 { fill: #868887 } -.breeze-setup-regenerate-command-images-r5 { fill: #68a0b3;font-weight: bold } + .breeze-setup-regenerate-command-images-r1 { fill: #c5c8c6 } +.breeze-setup-regenerate-command-images-r2 { fill: #d0b344 } +.breeze-setup-regenerate-command-images-r3 { fill: #c5c8c6;font-weight: bold } +.breeze-setup-regenerate-command-images-r4 { fill: #68a0b3;font-weight: bold } +.breeze-setup-regenerate-command-images-r5 { fill: #868887 } .breeze-setup-regenerate-command-images-r6 { fill: #8d7b39 } .breeze-setup-regenerate-command-images-r7 { fill: #98a84b;font-weight: bold } @@ -159,41 +159,41 @@ - -Usage: breeze setup regenerate-command-images [OPTIONS] - -Regenerate breeze command images. - -╭─ Image regeneration option ──────────────────────────────────────────────────────────────────────────────────────────╮ -│--forceForces regeneration of all images│ -│--commandCommand(s) to regenerate images for (optional, might be repeated)                                   │ -│(main | build-docs | ci:find-backtracking-candidates | ci:fix-ownership | ci:free-space |           │ -│ci:get-workflow-info | ci:resource-check | ci:selective-check | ci | ci-image:build | ci-image:pull │ -│| ci-image:verify | ci-image | cleanup | compile-www-assets | down | exec | k8s:build-k8s-image |   │ -│k8s:configure-cluster | k8s:create-cluster | k8s:delete-cluster | k8s:deploy-airflow | k8s:k9s |    │ -│k8s:logs | k8s:run-complete-tests | k8s:setup-env | k8s:shell | k8s:status | k8s:tests |            │ -│k8s:upload-k8s-image | k8s | prod-image:build | prod-image:pull | prod-image:verify | prod-image |  │ -│release-management:add-back-references | release-management:create-minor-branch |                   │ -│release-management:generate-constraints | release-management:generate-issue-content-providers |     │ -│release-management:generate-providers-metadata | release-management:install-provider-packages |     │ -│release-management:prepare-airflow-package | release-management:prepare-provider-documentation |    │ -│release-management:prepare-provider-packages | release-management:publish-docs |                    │ -│release-management:release-prod-images | release-management:start-rc-process |                      │ -│release-management:start-release | release-management:update-constraints |                          │ -│release-management:verify-provider-packages | release-management |                                  │ -│sbom:generate-providers-requirements | sbom:update-sbom-information | sbom | setup:autocomplete |   │ -│setup:check-all-params-in-groups | setup:config | setup:regenerate-command-images |                 │ -│setup:self-upgrade | setup:version | setup | shell | start-airflow | static-checks |                │ -│testing:docker-compose-tests | testing:helm-tests | testing:integration-tests | testing:tests |     │ -│testing)                                                                                            │ -│--check-onlyOnly check if some images need to be regenerated. Return 0 if no need or 1 if needed. Cannot be used│ -│together with --command flag or --force.                                                            │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze setup regenerate-command-images[OPTIONS] + +Regenerate breeze command images. + +╭─ Image regeneration option ──────────────────────────────────────────────────────────────────────────────────────────╮ +│--forceForces regeneration of all images│ +│--commandCommand(s) to regenerate images for (optional, might be repeated)                                   │ +│(main | build-docs | ci:find-backtracking-candidates | ci:fix-ownership | ci:free-space |           │ +│ci:get-workflow-info | ci:resource-check | ci:selective-check | ci | ci-image:build | ci-image:pull │ +│| ci-image:verify | ci-image | cleanup | compile-www-assets | down | exec | k8s:build-k8s-image |   │ +│k8s:configure-cluster | k8s:create-cluster | k8s:delete-cluster | k8s:deploy-airflow | k8s:k9s |    │ +│k8s:logs | k8s:run-complete-tests | k8s:setup-env | k8s:shell | k8s:status | k8s:tests |            │ +│k8s:upload-k8s-image | k8s | prod-image:build | prod-image:pull | prod-image:verify | prod-image |  │ +│release-management:add-back-references | release-management:create-minor-branch |                   │ +│release-management:generate-constraints | release-management:generate-issue-content-providers |     │ +│release-management:generate-providers-metadata | release-management:install-provider-packages |     │ +│release-management:prepare-airflow-package | release-management:prepare-provider-documentation |    │ +│release-management:prepare-provider-packages | release-management:publish-docs |                    │ +│release-management:release-prod-images | release-management:start-rc-process |                      │ +│release-management:start-release | release-management:update-constraints |                          │ +│release-management:verify-provider-packages | release-management |                                  │ +│sbom:generate-providers-requirements | sbom:update-sbom-information | sbom | setup:autocomplete |   │ +│setup:check-all-params-in-groups | setup:config | setup:regenerate-command-images |                 │ +│setup:self-upgrade | setup:version | setup | shell | start-airflow | static-checks |                │ +│testing:docker-compose-tests | testing:helm-tests | testing:integration-tests | testing:tests |     │ +│testing)                                                                                            │ +│--check-onlyOnly check if some images need to be regenerated. Return 0 if no need or 1 if needed. Cannot be used│ +│together with --command flag or --force.                                                            │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_setup_self-upgrade.svg b/images/breeze/output_setup_self-upgrade.svg index 930d6d8f95650..27f366ad37837 100644 --- a/images/breeze/output_setup_self-upgrade.svg +++ b/images/breeze/output_setup_self-upgrade.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-setup-self-upgrade-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-setup-self-upgrade-r2 { fill: #c5c8c6 } -.breeze-setup-self-upgrade-r3 { fill: #d0b344;font-weight: bold } + .breeze-setup-self-upgrade-r1 { fill: #c5c8c6 } +.breeze-setup-self-upgrade-r2 { fill: #d0b344 } +.breeze-setup-self-upgrade-r3 { fill: #c5c8c6;font-weight: bold } .breeze-setup-self-upgrade-r4 { fill: #68a0b3;font-weight: bold } .breeze-setup-self-upgrade-r5 { fill: #868887 } .breeze-setup-self-upgrade-r6 { fill: #98a84b;font-weight: bold } @@ -86,17 +86,17 @@ - -Usage: breeze setup self-upgrade [OPTIONS] - -Self upgrade Breeze. - -╭─ Self-upgrade flags ─────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--use-current-airflow-sources-aUse current workdir Airflow sources for upgrade.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze setup self-upgrade[OPTIONS] + +Self upgrade Breeze. + +╭─ Self-upgrade flags ─────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--use-current-airflow-sources-aUse current workdir Airflow sources for upgrade.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_setup_version.svg b/images/breeze/output_setup_version.svg index 70447cebc0dff..0a6078bd4415e 100644 --- a/images/breeze/output_setup_version.svg +++ b/images/breeze/output_setup_version.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-setup-version-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-setup-version-r2 { fill: #c5c8c6 } -.breeze-setup-version-r3 { fill: #d0b344;font-weight: bold } + .breeze-setup-version-r1 { fill: #c5c8c6 } +.breeze-setup-version-r2 { fill: #d0b344 } +.breeze-setup-version-r3 { fill: #c5c8c6;font-weight: bold } .breeze-setup-version-r4 { fill: #68a0b3;font-weight: bold } .breeze-setup-version-r5 { fill: #868887 } .breeze-setup-version-r6 { fill: #98a84b;font-weight: bold } @@ -83,16 +83,16 @@ - -Usage: breeze setup version [OPTIONS] - -Print information about version of apache-airflow-breeze. - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze setup version[OPTIONS] + +Print information about version of apache-airflow-breeze. + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_shell.svg b/images/breeze/output_shell.svg index 35fede319c0f9..8f1901348f087 100644 --- a/images/breeze/output_shell.svg +++ b/images/breeze/output_shell.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-shell-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-shell-r2 { fill: #c5c8c6 } -.breeze-shell-r3 { fill: #d0b344;font-weight: bold } + .breeze-shell-r1 { fill: #c5c8c6 } +.breeze-shell-r2 { fill: #d0b344 } +.breeze-shell-r3 { fill: #c5c8c6;font-weight: bold } .breeze-shell-r4 { fill: #68a0b3;font-weight: bold } .breeze-shell-r5 { fill: #868887 } .breeze-shell-r6 { fill: #98a84b;font-weight: bold } @@ -258,74 +258,74 @@ - -Usage: breeze shell [OPTIONS] [EXTRA_ARGS]... - -Enter breeze environment. this is the default command use when no other is selected. - -╭─ Basic flags ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)[default: sqlite]│ -│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ -│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ -│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ -│--integrationIntegration(s) to enable when running (can be more than one).                            │ -│(all | all-testable | cassandra | celery | kafka | kerberos | mongo | openlineage | otel │ -│| pinot | statsd | trino)                                                                │ -│--forward-credentials-fForward local credentials to container when running.│ -│--db-reset-dReset DB when entering the container.│ -│--max-timeMaximum time that the command should take - if it takes longer, the command will fail.│ -│(INTEGER RANGE)                                                                       │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Choosing executor ──────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--executorSpecify the executor to use with airflow.(CeleryExecutor|LocalExecutor)[default: LocalExecutor]│ -│--celery-brokerSpecify the celery message broker(rabbitmq|redis)[default: redis]│ -│--celery-flowerStart celery flower│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Building image before entering shell ───────────────────────────────────────────────────────────────────────────────╮ -│--force-buildForce image build no matter if it is determined as needed.│ -│--platformPlatform for Airflow image.(linux/amd64 | linux/arm64)│ -│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ -│[default: latest]                                                              │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)[default: autodetect]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Mounting the sources and volumes ───────────────────────────────────────────────────────────────────────────────────╮ -│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =       │ -│selected).                                                                                 │ -│(selected | all | skip | remove)                                                           │ -│[default: selected]                                                                        │ -│--include-mypy-volumeWhether to include mounting of the mypy volume (useful for debugging mypy).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Installing packages after entering shell ───────────────────────────────────────────────────────────────────────────╮ -│--install-selected-providersComma-separated list of providers selected to be installed (implies              │ -│--use-packages-from-dist).                                                       │ -│(TEXT)                                                                           │ -│--use-airflow-versionUse (reinstall at entry) Airflow version from PyPI. It can also be `none`,       │ -│`wheel`, or `sdist` if Airflow should be removed, installed from wheel packages  │ -│or sdist packages available in dist folder respectively. Implies --mount-sources│ -│`remove`.                                                                        │ -│(none | wheel | sdist | <airflow_version>)                                       │ -│--airflow-constraints-referenceConstraint reference to use. Useful with --use-airflow-version parameter to      │ -│specify constraints for the installed version and to find newer dependencies     │ -│(TEXT)                                                                           │ -│--airflow-extrasAirflow extras to install when --use-airflow-version is used(TEXT)│ -│--use-packages-from-distInstall all found packages (--package-format determines type) from 'dist' folder │ -│when entering breeze.                                                            │ -│--package-formatFormat of packages that should be installed from dist.(wheel | sdist)│ -│[default: wheel]                                      │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Upgrading/downgrading selected packages ────────────────────────────────────────────────────────────────────────────╮ -│--upgrade-botoRemove aiobotocore and upgrade botocore and boto to the latest version.│ -│--downgrade-sqlalchemyDowngrade SQLAlchemy to minimum supported version.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze shell[OPTIONS] [EXTRA_ARGS]... + +Enter breeze environment. this is the default command use when no other is selected. + +╭─ Basic flags ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)[default: sqlite]│ +│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ +│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ +│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ +│--integrationIntegration(s) to enable when running (can be more than one).                            │ +│(all | all-testable | cassandra | celery | kafka | kerberos | mongo | openlineage | otel │ +│| pinot | statsd | trino)                                                                │ +│--forward-credentials-fForward local credentials to container when running.│ +│--db-reset-dReset DB when entering the container.│ +│--max-timeMaximum time that the command should take - if it takes longer, the command will fail.│ +│(INTEGER RANGE)                                                                       │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Choosing executor ──────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--executorSpecify the executor to use with airflow.(CeleryExecutor|LocalExecutor)[default: LocalExecutor]│ +│--celery-brokerSpecify the celery message broker(rabbitmq|redis)[default: redis]│ +│--celery-flowerStart celery flower│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Building image before entering shell ───────────────────────────────────────────────────────────────────────────────╮ +│--force-buildForce image build no matter if it is determined as needed.│ +│--platformPlatform for Airflow image.(linux/amd64 | linux/arm64)│ +│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ +│[default: latest]                                                              │ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)[default: autodetect]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Mounting the sources and volumes ───────────────────────────────────────────────────────────────────────────────────╮ +│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =       │ +│selected).                                                                                 │ +│(selected | all | skip | remove)                                                           │ +│[default: selected]                                                                        │ +│--include-mypy-volumeWhether to include mounting of the mypy volume (useful for debugging mypy).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Installing packages after entering shell ───────────────────────────────────────────────────────────────────────────╮ +│--install-selected-providersComma-separated list of providers selected to be installed (implies              │ +│--use-packages-from-dist).                                                       │ +│(TEXT)                                                                           │ +│--use-airflow-versionUse (reinstall at entry) Airflow version from PyPI. It can also be `none`,       │ +│`wheel`, or `sdist` if Airflow should be removed, installed from wheel packages  │ +│or sdist packages available in dist folder respectively. Implies --mount-sources│ +│`remove`.                                                                        │ +│(none | wheel | sdist | <airflow_version>)                                       │ +│--airflow-constraints-referenceConstraint reference to use. Useful with --use-airflow-version parameter to      │ +│specify constraints for the installed version and to find newer dependencies     │ +│(TEXT)                                                                           │ +│--airflow-extrasAirflow extras to install when --use-airflow-version is used(TEXT)│ +│--use-packages-from-distInstall all found packages (--package-format determines type) from 'dist' folder │ +│when entering breeze.                                                            │ +│--package-formatFormat of packages that should be installed from dist.(wheel | sdist)│ +│[default: wheel]                                      │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Upgrading/downgrading selected packages ────────────────────────────────────────────────────────────────────────────╮ +│--upgrade-botoRemove aiobotocore and upgrade botocore and boto to the latest version.│ +│--downgrade-sqlalchemyDowngrade SQLAlchemy to minimum supported version.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_start-airflow.svg b/images/breeze/output_start-airflow.svg index df580e7636949..8497b3fae300b 100644 --- a/images/breeze/output_start-airflow.svg +++ b/images/breeze/output_start-airflow.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-start-airflow-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-start-airflow-r2 { fill: #c5c8c6 } -.breeze-start-airflow-r3 { fill: #d0b344;font-weight: bold } + .breeze-start-airflow-r1 { fill: #c5c8c6 } +.breeze-start-airflow-r2 { fill: #d0b344 } +.breeze-start-airflow-r3 { fill: #c5c8c6;font-weight: bold } .breeze-start-airflow-r4 { fill: #68a0b3;font-weight: bold } .breeze-start-airflow-r5 { fill: #868887 } .breeze-start-airflow-r6 { fill: #98a84b;font-weight: bold } @@ -255,73 +255,73 @@ - -Usage: breeze start-airflow [OPTIONS] [EXTRA_ARGS]... - -Enter breeze environment and starts all Airflow components in the tmux session. Compile assets if contents of www  -directory changed. - -╭─ Basic flags ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ -│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ -│[default: 3.8]                                              │ -│--load-example-dags-eEnable configuration to load example DAGs when starting Airflow.│ -│--load-default-connections-cEnable configuration to load default connections when starting Airflow.│ -│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)[default: sqlite]│ -│--platformPlatform for Airflow image.(linux/amd64 | linux/arm64)│ -│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ -│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ -│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ -│--integrationIntegration(s) to enable when running (can be more than one).                       │ -│(all | all-testable | cassandra | celery | kafka | kerberos | mongo | openlineage | │ -│otel | pinot | statsd | trino)                                                      │ -│--forward-credentials-fForward local credentials to container when running.│ -│--db-reset-dReset DB when entering the container.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Choosing executor ──────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--executorSpecify the executor to use with airflow.(CeleryExecutor|LocalExecutor)[default: LocalExecutor]│ -│--celery-brokerSpecify the celery message broker(rabbitmq|redis)[default: redis]│ -│--celery-flowerStart celery flower│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Asset compilation options ──────────────────────────────────────────────────────────────────────────────────────────╮ -│--skip-asset-compilationSkips compilation of assets when starting airflow even if the content of www changed    │ -│(mutually exclusive with --dev-mode).                                                   │ -│--dev-modeStarts webserver in dev mode (assets are always recompiled in this case when starting)  │ -│(mutually exclusive with --skip-asset-compilation).                                     │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Building image before entering shell ───────────────────────────────────────────────────────────────────────────────╮ -│--force-buildForce image build no matter if it is determined as needed.│ -│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ -│[default: latest]                                                              │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)[default: autodetect]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Mounting the sources and volumes ───────────────────────────────────────────────────────────────────────────────────╮ -│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default = selected).│ -│(selected | all | skip | remove)                                                               │ -│[default: selected]                                                                            │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Installing packages after entering shell ───────────────────────────────────────────────────────────────────────────╮ -│--use-airflow-versionUse (reinstall at entry) Airflow version from PyPI. It can also be `none`,       │ -│`wheel`, or `sdist` if Airflow should be removed, installed from wheel packages  │ -│or sdist packages available in dist folder respectively. Implies --mount-sources│ -│`remove`.                                                                        │ -│(none | wheel | sdist | <airflow_version>)                                       │ -│--airflow-constraints-referenceConstraint reference to use. Useful with --use-airflow-version parameter to      │ -│specify constraints for the installed version and to find newer dependencies     │ -│(TEXT)                                                                           │ -│--airflow-extrasAirflow extras to install when --use-airflow-version is used(TEXT)│ -│--use-packages-from-distInstall all found packages (--package-format determines type) from 'dist' folder │ -│when entering breeze.                                                            │ -│--package-formatFormat of packages that should be installed from dist.(wheel | sdist)│ -│[default: wheel]                                      │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze start-airflow[OPTIONS] [EXTRA_ARGS]... + +Enter breeze environment and starts all Airflow components in the tmux session. Compile assets if contents of www  +directory changed. + +╭─ Basic flags ────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--python-pPython major/minor version used in Airflow image for images.│ +│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ +│[default: 3.8]                                              │ +│--load-example-dags-eEnable configuration to load example DAGs when starting Airflow.│ +│--load-default-connections-cEnable configuration to load default connections when starting Airflow.│ +│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)[default: sqlite]│ +│--platformPlatform for Airflow image.(linux/amd64 | linux/arm64)│ +│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ +│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ +│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ +│--integrationIntegration(s) to enable when running (can be more than one).                       │ +│(all | all-testable | cassandra | celery | kafka | kerberos | mongo | openlineage | │ +│otel | pinot | statsd | trino)                                                      │ +│--forward-credentials-fForward local credentials to container when running.│ +│--db-reset-dReset DB when entering the container.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Choosing executor ──────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--executorSpecify the executor to use with airflow.(CeleryExecutor|LocalExecutor)[default: LocalExecutor]│ +│--celery-brokerSpecify the celery message broker(rabbitmq|redis)[default: redis]│ +│--celery-flowerStart celery flower│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Asset compilation options ──────────────────────────────────────────────────────────────────────────────────────────╮ +│--skip-asset-compilationSkips compilation of assets when starting airflow even if the content of www changed    │ +│(mutually exclusive with --dev-mode).                                                   │ +│--dev-modeStarts webserver in dev mode (assets are always recompiled in this case when starting)  │ +│(mutually exclusive with --skip-asset-compilation).                                     │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Building image before entering shell ───────────────────────────────────────────────────────────────────────────────╮ +│--force-buildForce image build no matter if it is determined as needed.│ +│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ +│[default: latest]                                                              │ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)[default: autodetect]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Mounting the sources and volumes ───────────────────────────────────────────────────────────────────────────────────╮ +│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default = selected).│ +│(selected | all | skip | remove)                                                               │ +│[default: selected]                                                                            │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Installing packages after entering shell ───────────────────────────────────────────────────────────────────────────╮ +│--use-airflow-versionUse (reinstall at entry) Airflow version from PyPI. It can also be `none`,       │ +│`wheel`, or `sdist` if Airflow should be removed, installed from wheel packages  │ +│or sdist packages available in dist folder respectively. Implies --mount-sources│ +│`remove`.                                                                        │ +│(none | wheel | sdist | <airflow_version>)                                       │ +│--airflow-constraints-referenceConstraint reference to use. Useful with --use-airflow-version parameter to      │ +│specify constraints for the installed version and to find newer dependencies     │ +│(TEXT)                                                                           │ +│--airflow-extrasAirflow extras to install when --use-airflow-version is used(TEXT)│ +│--use-packages-from-distInstall all found packages (--package-format determines type) from 'dist' folder │ +│when entering breeze.                                                            │ +│--package-formatFormat of packages that should be installed from dist.(wheel | sdist)│ +│[default: wheel]                                      │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_static-checks.svg b/images/breeze/output_static-checks.svg index f694d823b7722..422e9edd75626 100644 --- a/images/breeze/output_static-checks.svg +++ b/images/breeze/output_static-checks.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-static-checks-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-static-checks-r2 { fill: #c5c8c6 } -.breeze-static-checks-r3 { fill: #d0b344;font-weight: bold } + .breeze-static-checks-r1 { fill: #c5c8c6 } +.breeze-static-checks-r2 { fill: #d0b344 } +.breeze-static-checks-r3 { fill: #c5c8c6;font-weight: bold } .breeze-static-checks-r4 { fill: #68a0b3;font-weight: bold } .breeze-static-checks-r5 { fill: #868887 } .breeze-static-checks-r6 { fill: #98a84b;font-weight: bold } @@ -285,83 +285,83 @@ - -Usage: breeze static-checks [OPTIONS] [PRECOMMIT_ARGS]... - -Run static checks. - -╭─ Pre-commit flags ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--type-tType(s) of the static checks to run.                                             │ -│(all | black | blacken-docs | check-aiobotocore-optional |                       │ -│check-airflow-k8s-not-used | check-airflow-provider-compatibility |              │ -│check-apache-license-rat | check-base-operator-partial-arguments |               │ -│check-base-operator-usage | check-boring-cyborg-configuration |                  │ -│check-breeze-top-dependencies-limited | check-builtin-literals |                 │ -│check-changelog-has-no-duplicates | check-cncf-k8s-only-for-executors |          │ -│check-core-deprecation-classes | check-daysago-import-from-utils |               │ -│check-decorated-operator-implements-custom-name | check-deferrable-default-value │ -│| check-docstring-param-types | check-example-dags-urls |                        │ -│check-executables-have-shebangs | check-extra-packages-references |              │ -│check-extras-order | check-for-inclusive-language |                              │ -│check-google-re2-as-dependency | check-hooks-apply |                             │ -│check-incorrect-use-of-LoggingMixin | check-init-decorator-arguments |           │ -│check-lazy-logging | check-links-to-example-dags-do-not-use-hardcoded-versions | │ -│check-merge-conflict | check-newsfragments-are-valid |                           │ -│check-no-airflow-deprecation-in-providers | check-no-providers-in-core-examples |│ -│check-no-relative-imports | check-only-new-session-with-provide-session |        │ -│check-persist-credentials-disabled-in-github-workflows |                         │ -│check-pre-commit-information-consistent | check-provide-create-sessions-imports |│ -│check-provider-yaml-valid | check-providers-init-file-missing |                  │ -│check-providers-subpackages-init-file-exist | check-pydevd-left-in-code |        │ -│check-revision-heads-map | check-safe-filter-usage-in-html | check-setup-order | │ -│check-start-date-not-used-in-defaults | check-system-tests-present |             │ -│check-system-tests-tocs | check-tests-unittest-testcase |                        │ -│check-urlparse-usage-in-code | check-usage-of-re2-over-re | check-xml | codespell│ -│| compile-www-assets | compile-www-assets-dev |                                  │ -│create-missing-init-py-files-tests | debug-statements | detect-private-key |     │ -│doctoc | end-of-file-fixer | fix-encoding-pragma | flynt | generate-pypi-readme |│ -│identity | insert-license | lint-chart-schema | lint-css | lint-dockerfile |     │ -│lint-helm-chart | lint-json-schema | lint-markdown | lint-openapi |              │ -│mixed-line-ending | mypy-core | mypy-dev | mypy-docs | mypy-providers |          │ -│pretty-format-json | python-no-log-warn | replace-bad-characters | rst-backticks │ -│| ruff | shellcheck | trailing-whitespace | ts-compile-format-lint-www |         │ -│update-black-version | update-breeze-cmd-output |                                │ -│update-breeze-readme-config-hash | update-common-sql-api-stubs |                 │ -│update-er-diagram | update-extras | update-in-the-wild-to-be-sorted |            │ -│update-inlined-dockerfile-scripts | update-installed-providers-to-be-sorted |    │ -│update-local-yml-file | update-migration-references |                            │ -│update-providers-dependencies | update-spelling-wordlist-to-be-sorted |          │ -│update-supported-versions | update-vendored-in-k8s-json-schema | update-version |│ -│validate-pyproject | yamllint)                                                   │ -│--show-diff-on-failure-sShow diff for files modified by the checks.│ -│--initialize-environmentInitialize environment before running checks.│ -│--max-initialization-attemptsMaximum number of attempts to initialize environment before giving up.│ -│(INTEGER RANGE)                                                       │ -│[default: 3; 1<=x<=10]                                                │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Selecting files to run the checks on ───────────────────────────────────────────────────────────────────────────────╮ -│--file-fList of files to run the checks on.(PATH)│ -│--all-files-aRun checks on all files.│ -│--commit-ref-rRun checks for this commit reference only (can be any git commit-ish reference). Mutually    │ -│exclusive with --last-commit.                                                                │ -│(TEXT)                                                                                       │ -│--last-commit-cRun checks for all files in last commit. Mutually exclusive with --commit-ref.│ -│--only-my-changes-mRun checks for commits belonging to my PR only: for all commits between merge base to `main` │ -│branch and HEAD of your branch.                                                              │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Building image before running checks ───────────────────────────────────────────────────────────────────────────────╮ -│--skip-image-checkSkip checking if the CI image is up to date. Useful if you run non-image checks only│ -│--force-buildForce image build no matter if it is determined as needed.│ -│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ -│[default: latest]                                                              │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)[default: autodetect]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze static-checks[OPTIONS] [PRECOMMIT_ARGS]... + +Run static checks. + +╭─ Pre-commit flags ───────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--type-tType(s) of the static checks to run.                                             │ +│(all | black | blacken-docs | check-aiobotocore-optional |                       │ +│check-airflow-k8s-not-used | check-airflow-provider-compatibility |              │ +│check-apache-license-rat | check-base-operator-partial-arguments |               │ +│check-base-operator-usage | check-boring-cyborg-configuration |                  │ +│check-breeze-top-dependencies-limited | check-builtin-literals |                 │ +│check-changelog-has-no-duplicates | check-cncf-k8s-only-for-executors |          │ +│check-core-deprecation-classes | check-daysago-import-from-utils |               │ +│check-decorated-operator-implements-custom-name | check-deferrable-default-value │ +│| check-docstring-param-types | check-example-dags-urls |                        │ +│check-executables-have-shebangs | check-extra-packages-references |              │ +│check-extras-order | check-for-inclusive-language |                              │ +│check-google-re2-as-dependency | check-hooks-apply |                             │ +│check-incorrect-use-of-LoggingMixin | check-init-decorator-arguments |           │ +│check-lazy-logging | check-links-to-example-dags-do-not-use-hardcoded-versions | │ +│check-merge-conflict | check-newsfragments-are-valid |                           │ +│check-no-airflow-deprecation-in-providers | check-no-providers-in-core-examples |│ +│check-no-relative-imports | check-only-new-session-with-provide-session |        │ +│check-persist-credentials-disabled-in-github-workflows |                         │ +│check-pre-commit-information-consistent | check-provide-create-sessions-imports |│ +│check-provider-yaml-valid | check-providers-init-file-missing |                  │ +│check-providers-subpackages-init-file-exist | check-pydevd-left-in-code |        │ +│check-revision-heads-map | check-safe-filter-usage-in-html | check-setup-order | │ +│check-start-date-not-used-in-defaults | check-system-tests-present |             │ +│check-system-tests-tocs | check-tests-unittest-testcase |                        │ +│check-urlparse-usage-in-code | check-usage-of-re2-over-re | check-xml | codespell│ +│| compile-www-assets | compile-www-assets-dev |                                  │ +│create-missing-init-py-files-tests | debug-statements | detect-private-key |     │ +│doctoc | end-of-file-fixer | fix-encoding-pragma | flynt | generate-pypi-readme |│ +│identity | insert-license | lint-chart-schema | lint-css | lint-dockerfile |     │ +│lint-helm-chart | lint-json-schema | lint-markdown | lint-openapi |              │ +│mixed-line-ending | mypy-core | mypy-dev | mypy-docs | mypy-providers |          │ +│pretty-format-json | python-no-log-warn | replace-bad-characters | rst-backticks │ +│| ruff | shellcheck | trailing-whitespace | ts-compile-format-lint-www |         │ +│update-black-version | update-breeze-cmd-output |                                │ +│update-breeze-readme-config-hash | update-common-sql-api-stubs |                 │ +│update-er-diagram | update-extras | update-in-the-wild-to-be-sorted |            │ +│update-inlined-dockerfile-scripts | update-installed-providers-to-be-sorted |    │ +│update-local-yml-file | update-migration-references |                            │ +│update-providers-dependencies | update-spelling-wordlist-to-be-sorted |          │ +│update-supported-versions | update-vendored-in-k8s-json-schema | update-version |│ +│validate-pyproject | yamllint)                                                   │ +│--show-diff-on-failure-sShow diff for files modified by the checks.│ +│--initialize-environmentInitialize environment before running checks.│ +│--max-initialization-attemptsMaximum number of attempts to initialize environment before giving up.│ +│(INTEGER RANGE)                                                       │ +│[default: 3; 1<=x<=10]                                                │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Selecting files to run the checks on ───────────────────────────────────────────────────────────────────────────────╮ +│--file-fList of files to run the checks on.(PATH)│ +│--all-files-aRun checks on all files.│ +│--commit-ref-rRun checks for this commit reference only (can be any git commit-ish reference). Mutually    │ +│exclusive with --last-commit.                                                                │ +│(TEXT)                                                                                       │ +│--last-commit-cRun checks for all files in last commit. Mutually exclusive with --commit-ref.│ +│--only-my-changes-mRun checks for commits belonging to my PR only: for all commits between merge base to `main` │ +│branch and HEAD of your branch.                                                              │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Building image before running checks ───────────────────────────────────────────────────────────────────────────────╮ +│--skip-image-checkSkip checking if the CI image is up to date. Useful if you run non-image checks only│ +│--force-buildForce image build no matter if it is determined as needed.│ +│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ +│[default: latest]                                                              │ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)[default: autodetect]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_testing.svg b/images/breeze/output_testing.svg index 82c6f8e344e3c..1b7a19d7bbb58 100644 --- a/images/breeze/output_testing.svg +++ b/images/breeze/output_testing.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-testing-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-testing-r2 { fill: #c5c8c6 } -.breeze-testing-r3 { fill: #d0b344;font-weight: bold } + .breeze-testing-r1 { fill: #c5c8c6 } +.breeze-testing-r2 { fill: #d0b344 } +.breeze-testing-r3 { fill: #c5c8c6;font-weight: bold } .breeze-testing-r4 { fill: #68a0b3;font-weight: bold } .breeze-testing-r5 { fill: #868887 } .breeze-testing-r6 { fill: #98a84b;font-weight: bold } @@ -95,20 +95,20 @@ - -Usage: breeze testing [OPTIONS] COMMAND [ARGS]... - -Tools that developers can use to run tests - -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Testing ────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│tests                                    Run the specified unit test targets.                                     │ -│integration-tests                        Run the specified integration tests.                                     │ -│helm-tests                               Run Helm chart tests.                                                    │ -│docker-compose-tests                     Run docker-compose tests.                                                │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze testing[OPTIONS] COMMAND [ARGS]... + +Tools that developers can use to run tests + +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Testing ────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│tests                                    Run the specified unit test targets.                                     │ +│integration-tests                        Run the specified integration tests.                                     │ +│helm-tests                               Run Helm chart tests.                                                    │ +│docker-compose-tests                     Run docker-compose tests.                                                │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_testing_docker-compose-tests.svg b/images/breeze/output_testing_docker-compose-tests.svg index 40a654f8e04a8..ee0fa7fbbafbb 100644 --- a/images/breeze/output_testing_docker-compose-tests.svg +++ b/images/breeze/output_testing_docker-compose-tests.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-testing-docker-compose-tests-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-testing-docker-compose-tests-r2 { fill: #c5c8c6 } -.breeze-testing-docker-compose-tests-r3 { fill: #d0b344;font-weight: bold } + .breeze-testing-docker-compose-tests-r1 { fill: #c5c8c6 } +.breeze-testing-docker-compose-tests-r2 { fill: #d0b344 } +.breeze-testing-docker-compose-tests-r3 { fill: #c5c8c6;font-weight: bold } .breeze-testing-docker-compose-tests-r4 { fill: #68a0b3;font-weight: bold } .breeze-testing-docker-compose-tests-r5 { fill: #868887 } .breeze-testing-docker-compose-tests-r6 { fill: #98a84b;font-weight: bold } @@ -120,30 +120,28 @@ - -Usage: breeze testing docker-compose-tests [OPTIONS] [EXTRA_PYTEST_ARGS]... - -Run docker-compose tests. - -╭─ Docker-compose tests flag ──────────────────────────────────────────────────────────────────────────────────────────╮ -│--image-name-nName of the image to verify (overrides --python and --image-tag).(TEXT)│ -│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).│ -│(TEXT)                                                                         │ -│[default: latest]                                                              │ -│--python-pPython major/minor version used in Airflow image for images.│ -│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ -│[default: 3.8]                                              │ -│--skip-docker-compose-deletionSkip deletion of docker-compose instance after the test│ -│--wait-for-containers-timeoutTime to wait (in seconds) for all containers to start(INTEGER RANGE)│ -│[default: 300; 0<=x<=600]                            │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)│ -│[default: apache/airflow]                       │ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze testing docker-compose-tests[OPTIONS] [EXTRA_PYTEST_ARGS]... + +Run docker-compose tests. + +╭─ Docker-compose tests flag ──────────────────────────────────────────────────────────────────────────────────────────╮ +│--image-name-nName of the image to verify (overrides --python and --image-tag).(TEXT)│ +│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).│ +│(TEXT)                                                                         │ +│[default: latest]                                                              │ +│--python-pPython major/minor version used in Airflow image for images.│ +│(>3.8< | 3.9 | 3.10 | 3.11)                                 │ +│[default: 3.8]                                              │ +│--skip-docker-compose-deletionSkip deletion of docker-compose instance after the test│ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)│ +│[default: apache/airflow]                       │ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_testing_helm-tests.svg b/images/breeze/output_testing_helm-tests.svg index 77855ac7ad034..6e85641ce3774 100644 --- a/images/breeze/output_testing_helm-tests.svg +++ b/images/breeze/output_testing_helm-tests.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-testing-helm-tests-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-testing-helm-tests-r2 { fill: #c5c8c6 } -.breeze-testing-helm-tests-r3 { fill: #d0b344;font-weight: bold } + .breeze-testing-helm-tests-r1 { fill: #c5c8c6 } +.breeze-testing-helm-tests-r2 { fill: #d0b344 } +.breeze-testing-helm-tests-r3 { fill: #c5c8c6;font-weight: bold } .breeze-testing-helm-tests-r4 { fill: #68a0b3;font-weight: bold } .breeze-testing-helm-tests-r5 { fill: #868887 } .breeze-testing-helm-tests-r6 { fill: #8d7b39 } @@ -114,26 +114,26 @@ - -Usage: breeze testing helm-tests [OPTIONS] [EXTRA_PYTEST_ARGS]... - -Run Helm chart tests. - -╭─ Advanced flag for helms-tests command ──────────────────────────────────────────────────────────────────────────────╮ -│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ -│[default: latest]                                                              │ -│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =       │ -│selected).                                                                                 │ -│(selected | all | skip | remove)                                                           │ -│[default: selected]                                                                        │ -│--helm-test-packagePackage to tests(all | airflow_aux | airflow_core | other | security | webserver)│ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze testing helm-tests[OPTIONS] [EXTRA_PYTEST_ARGS]... + +Run Helm chart tests. + +╭─ Advanced flag for helms-tests command ──────────────────────────────────────────────────────────────────────────────╮ +│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ +│[default: latest]                                                              │ +│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =       │ +│selected).                                                                                 │ +│(selected | all | skip | remove)                                                           │ +│[default: selected]                                                                        │ +│--helm-test-packagePackage to tests(all | airflow_aux | airflow_core | other | security | webserver)│ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_testing_integration-tests.svg b/images/breeze/output_testing_integration-tests.svg index 1c852628a425d..69b1c665a7055 100644 --- a/images/breeze/output_testing_integration-tests.svg +++ b/images/breeze/output_testing_integration-tests.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-testing-integration-tests-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-testing-integration-tests-r2 { fill: #c5c8c6 } -.breeze-testing-integration-tests-r3 { fill: #d0b344;font-weight: bold } + .breeze-testing-integration-tests-r1 { fill: #c5c8c6 } +.breeze-testing-integration-tests-r2 { fill: #d0b344 } +.breeze-testing-integration-tests-r3 { fill: #c5c8c6;font-weight: bold } .breeze-testing-integration-tests-r4 { fill: #68a0b3;font-weight: bold } .breeze-testing-integration-tests-r5 { fill: #868887 } .breeze-testing-integration-tests-r6 { fill: #8d7b39 } @@ -159,41 +159,41 @@ - -Usage: breeze testing integration-tests [OPTIONS] [EXTRA_PYTEST_ARGS]... - -Run the specified integration tests. - -╭─ Basic flag for integration tests command ───────────────────────────────────────────────────────────────────────────╮ -│--integrationIntegration(s) to enable when running (can be more than one).                              │ -│(all | all-testable | cassandra | celery | kafka | kerberos | mongo | openlineage | otel | │ -│pinot | statsd | trino)                                                                    │ -│--test-timeoutTest timeout. Set the pytest setup, execution and teardown timeouts to this value│ -│(INTEGER RANGE)                                                                  │ -│[default: 60; x>=0]                                                              │ -│--db-reset-dReset DB when entering the container.│ -│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)[default: sqlite]│ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ -│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ -│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Advanced flag for integration tests command ────────────────────────────────────────────────────────────────────────╮ -│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ -│[default: latest]                                                              │ -│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =       │ -│selected).                                                                                 │ -│(selected | all | skip | remove)                                                           │ -│[default: selected]                                                                        │ -│--skip-provider-testsSkip provider tests│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze testing integration-tests[OPTIONS] [EXTRA_PYTEST_ARGS]... + +Run the specified integration tests. + +╭─ Basic flag for integration tests command ───────────────────────────────────────────────────────────────────────────╮ +│--integrationIntegration(s) to enable when running (can be more than one).                              │ +│(all | all-testable | cassandra | celery | kafka | kerberos | mongo | openlineage | otel | │ +│pinot | statsd | trino)                                                                    │ +│--test-timeoutTest timeout. Set the pytest setup, execution and teardown timeouts to this value│ +│(INTEGER RANGE)                                                                  │ +│[default: 60; x>=0]                                                              │ +│--db-reset-dReset DB when entering the container.│ +│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)[default: sqlite]│ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ +│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ +│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Advanced flag for integration tests command ────────────────────────────────────────────────────────────────────────╮ +│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ +│[default: latest]                                                              │ +│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =       │ +│selected).                                                                                 │ +│(selected | all | skip | remove)                                                           │ +│[default: selected]                                                                        │ +│--skip-provider-testsSkip provider tests│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/images/breeze/output_testing_tests.svg b/images/breeze/output_testing_tests.svg index 02d263015852a..f89febadd3d35 100644 --- a/images/breeze/output_testing_tests.svg +++ b/images/breeze/output_testing_tests.svg @@ -32,9 +32,9 @@ font-family: arial; } - .breeze-testing-tests-r1 { fill: #c5c8c6;font-weight: bold } -.breeze-testing-tests-r2 { fill: #c5c8c6 } -.breeze-testing-tests-r3 { fill: #d0b344;font-weight: bold } + .breeze-testing-tests-r1 { fill: #c5c8c6 } +.breeze-testing-tests-r2 { fill: #d0b344 } +.breeze-testing-tests-r3 { fill: #c5c8c6;font-weight: bold } .breeze-testing-tests-r4 { fill: #68a0b3;font-weight: bold } .breeze-testing-tests-r5 { fill: #868887 } .breeze-testing-tests-r6 { fill: #98a84b;font-weight: bold } @@ -231,65 +231,65 @@ - -Usage: breeze testing tests [OPTIONS] [EXTRA_PYTEST_ARGS]... - -Run the specified unit test targets. - -╭─ Basic flag for tests command ───────────────────────────────────────────────────────────────────────────────────────╮ -│--test-typeType of test to run. With Providers, you can specify tests of which providers should be    │ -│run: `Providers[airbyte,http]` or excluded from the full test suite:                       │ -│`Providers[-amazon,google]`                                                                │ -│(All | API | Always | CLI | Core | Other | Providers | WWW | PlainAsserts | Postgres |     │ -│MySQL | Quarantine)                                                                        │ -│--test-timeoutTest timeout. Set the pytest setup, execution and teardown timeouts to this value│ -│(INTEGER RANGE)                                                                  │ -│[default: 60; x>=0]                                                              │ -│--collect-onlyCollect tests only, do not run them.│ -│--db-reset-dReset DB when entering the container.│ -│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)[default: sqlite]│ -│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ -│[default: 3.8]                                              │ -│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ -│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ -│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ -│--integrationIntegration(s) to enable when running (can be more than one).                              │ -│(all | all-testable | cassandra | celery | kafka | kerberos | mongo | openlineage | otel | │ -│pinot | statsd | trino)                                                                    │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Options for parallel test commands ─────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel.│ -│(INTEGER RANGE)                                                            │ -│[default: 4; 1<=x<=8]                                                      │ -│--parallel-test-typesSpace separated list of test types used for testing in parallel.(TEXT)│ -│[default: API Always CLI Core Other Providers WWW PlainAsserts] │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Advanced flag for tests command ────────────────────────────────────────────────────────────────────────────────────╮ -│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ -│[default: latest]                                                              │ -│--use-airflow-versionUse (reinstall at entry) Airflow version from PyPI. It can also be `none`, `wheel`, or│ -│`sdist` if Airflow should be removed, installed from wheel packages or sdist packages │ -│available in dist folder respectively. Implies --mount-sources `remove`.              │ -│(none | wheel | sdist | <airflow_version>)                                            │ -│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =  │ -│selected).                                                                            │ -│(selected | all | skip | remove)                                                      │ -│[default: selected]                                                                   │ -│--upgrade-botoRemove aiobotocore and upgrade botocore and boto to the latest version.│ -│--downgrade-sqlalchemyDowngrade SQLAlchemy to minimum supported version.│ -│--remove-arm-packagesRemoves arm packages from the image to test if ARM collection works│ -│--skip-docker-compose-downSkips running docker-compose down after tests│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ -╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ -╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + +Usage:breeze testing tests[OPTIONS] [EXTRA_PYTEST_ARGS]... + +Run the specified unit test targets. + +╭─ Basic flag for tests command ───────────────────────────────────────────────────────────────────────────────────────╮ +│--test-typeType of test to run. With Providers, you can specify tests of which providers should be    │ +│run: `Providers[airbyte,http]` or excluded from the full test suite:                       │ +│`Providers[-amazon,google]`                                                                │ +│(All | API | Always | CLI | Core | Other | Providers | WWW | PlainAsserts | Postgres |     │ +│MySQL | Quarantine)                                                                        │ +│--test-timeoutTest timeout. Set the pytest setup, execution and teardown timeouts to this value│ +│(INTEGER RANGE)                                                                  │ +│[default: 60; x>=0]                                                              │ +│--collect-onlyCollect tests only, do not run them.│ +│--db-reset-dReset DB when entering the container.│ +│--backend-bDatabase backend to use.(>sqlite< | mysql | postgres | mssql)[default: sqlite]│ +│--python-pPython major/minor version used in Airflow image for images.(>3.8< | 3.9 | 3.10 | 3.11)│ +│[default: 3.8]                                              │ +│--postgres-version-PVersion of Postgres used.(>11< | 12 | 13 | 14 | 15 | 16)[default: 11]│ +│--mysql-version-MVersion of MySQL used.(>5.7< | 8.0 | 8.1)[default: 5.7]│ +│--mssql-version-SVersion of MsSQL used.(>2017-latest< | 2019-latest)[default: 2017-latest]│ +│--integrationIntegration(s) to enable when running (can be more than one).                              │ +│(all | all-testable | cassandra | celery | kafka | kerberos | mongo | openlineage | otel | │ +│pinot | statsd | trino)                                                                    │ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Options for parallel test commands ─────────────────────────────────────────────────────────────────────────────────╮ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel.│ +│(INTEGER RANGE)                                                            │ +│[default: 4; 1<=x<=8]                                                      │ +│--parallel-test-typesSpace separated list of test types used for testing in parallel.(TEXT)│ +│[default: API Always CLI Core Other Providers WWW PlainAsserts] │ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Advanced flag for tests command ────────────────────────────────────────────────────────────────────────────────────╮ +│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ +│[default: latest]                                                              │ +│--use-airflow-versionUse (reinstall at entry) Airflow version from PyPI. It can also be `none`, `wheel`, or│ +│`sdist` if Airflow should be removed, installed from wheel packages or sdist packages │ +│available in dist folder respectively. Implies --mount-sources `remove`.              │ +│(none | wheel | sdist | <airflow_version>)                                            │ +│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =  │ +│selected).                                                                            │ +│(selected | all | skip | remove)                                                      │ +│[default: selected]                                                                   │ +│--upgrade-botoRemove aiobotocore and upgrade botocore and boto to the latest version.│ +│--downgrade-sqlalchemyDowngrade SQLAlchemy to minimum supported version.│ +│--remove-arm-packagesRemoves arm packages from the image to test if ARM collection works│ +│--skip-docker-compose-downSkips running docker-compose down after tests│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ +╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/setup.py b/setup.py index 20f422136addc..e3f2d83c568c0 100644 --- a/setup.py +++ b/setup.py @@ -438,7 +438,7 @@ def write_version(filename: str = str(AIRFLOW_SOURCES_ROOT / "airflow" / "git_ve "gitpython", "pipdeptree", "pygithub", - "rich-click>=1.5", + "rich-click>=1.7.0", "semver", "towncrier", "twine",