[update][docs] improve the document

wgzhao · Aug 29, 2024 · 69bb958 · 69bb958
1 parent f7bc24c
commit 69bb958
Show file tree

Hide file tree

Showing 35 changed files with 281 additions and 310 deletions.
diff --git a/docs/plugin_development.md b/docs/plugin_development.md
@@ -261,31 +261,27 @@ ${ADDAX_HOME}
 │     └── logback.xml
 ├── job
 ├── lib
-│     ├── addax-common-4.0.5.jar
-│     ├── addax-core-4.0.7-SNAPSHOT.jar
-│     ├── addax-rdbms-4.0.5.jar
-│     ├── addax-storage-4.0.5.jar
-│     ├── addax-transformer-4.0.5.jar
-│     ├── aircompressor-0.21.jar
-│     ├── annotations-2.0.3.jar
-│     ├── checker-qual-2.11.1.jar
-│     ├── commons-beanutils-1.9.4.jar
+│     ├── addax-common-<version>.jar
+│     ├── addax-core-<version>.jar
+│     ├── addax-rdbms-<version>.jar
+│     ├── addax-storage-<version>.jar
 ├── log
 ├── plugin
 │     ├── reader
 │     │     ├── cassandrareader
-│     │     │     ├── cassandrareader-4.0.5.jar
+│     │     │     ├── cassandrareader-<version>.jar
 │     │     │     ├── libs
 │     │     │     │     ├── <symbol link to shared folder>
 │     │     │     ├── plugin.json
 │     │     │     └── plugin_job_template.json
 │     └── writer
 │         ├── cassandrawriter
-│         │     ├── cassandrawriter-4.0.5.jar
+│         │     ├── cassandrawriter-<version>.jar
 │         │     ├── libs
 │         │     │     ├── <symbol link to shared folder>
 │         │     ├── plugin.json
 │         │     └── plugin_job_template.json
+├── shared
 ```
 
 - `${ADDAX_HOME}/bin`: 可执行程序目录
@@ -527,4 +523,4 @@ Addax 的内部类型在实现上会选用不同的 java 类型：
 [2]: https://github.com/wgzhao/Addax/blob/master/common/src/main/java/com/wgzhao/addax/common/util/Configuration.java
 
 [^1]: 处理 `NaN`, `Infinity`, `-Infinity` 等数值
-[^2]: 除非另有指定编码格式
+[^2]: 除非另有指定编码格式
diff --git a/docs/reader/accessreader.md b/docs/reader/accessreader.md
@@ -1,20 +1,20 @@
 # Access Reader
 
-AccessReader 实现了从 [Access][1] 数据库上读取数据的能力，他基于 [Addax RDBMS Reader][2] 实现。
+AccessReader 实现了从 [Access](https://en.wikipedia.org/wiki/Microsoft_Access) 数据库上读取数据的能力，他基于 [Addax RDBMS Reader](../rdbmsreader) 实现。
 
 ## 示例
 
-我们下载用于测试用的 [Acess Demo](http://www.databasedev.co.uk/downloads/AccessThemeDemo.zip) 文件，解药后得到 `AccessThemeDemo.mdb` 文件，该文件中包含了一个 `tbl_Users` 表，我们将该表的数据同步到终端上。
+我们下载用于测试用的 [AcessThemeDemo.zip](http://www.databasedev.co.uk/downloads/AccessThemeDemo.zip) 文件，解压后得到 `AccessThemeDemo.mdb` 文件，该文件中包含了一个 `tbl_Users` 表，我们将该表的数据同步到终端上。
 
 下面的配置是读取该表到终端的作业:
 
 === "job/access2stream.json"
 
-  ```json
-  --8<-- "jobs/accessreader.json"
-  ```
+```json
+--8<-- "jobs/accessreader.json"
+```
 
-将上述配置文件保存为   `job/access2stream.json`
+将上述配置文件保存为 `job/access2stream.json`
 
 ### 执行采集命令
 
@@ -26,5 +26,4 @@ bin/addax.sh job/access2stream.json
 
 ## 参数说明
 
-AccessReader 基于 [rdbmsreader](../rdbmsreader) 实现，因此可以参考 rdbmsreader 的所有配置项。
-
+AccessReader 基于 [RDBMS Reader](../rdbmsreader) 实现，因此可以参考 RDBMS Reader 的所有配置项。
diff --git a/docs/reader/cassandrareader.md b/docs/reader/cassandrareader.md
@@ -1,6 +1,6 @@
 # Cassandra Reader
 
-`CassandraReader` 插件实现了从 [Cassandra](https://cassandra.apache.org) 读取数据。
+`CassandraReader` 插件实现了从 [Cassandra](https://cassandra.apache.org) 读取数据的能力。
 
 ## 配置
 
@@ -14,29 +14,27 @@
 
 ## 参数说明
 
-`parameter` 配置项支持以下配置
-
-| 配置项           | 是否必须 | 默认值       |    描述    |
-| :--------------- | :------: | ------------ |-------------|
-| host             |    是    | 无           | Cassandra连接点的域名或ip，多个node之间用逗号分隔 |
-| port             |    是    | 9042         | Cassandra端口 |
-| username         |    否    | 无           | 数据源的用户名 |
-| password         |    否    | 无           | 数据源指定用户名的密码 |
-| useSSL           |    否    | false        | 是否使用SSL连接 |
-| keyspace         |    是    | 无           | 需要同步的表所在的keyspace |
-| table            |    是    | 无           | 所选取的需要同步的表 |
-| column           |    是    | 无           | 所配置的表中需要同步的列集合,其中的元素可以指定列的名称或 `writetime(column_name)`，后一种形式会读取`column_name`列的时间戳而不是数据 |
-| where            |    否    | 无           | 数据筛选条件的 `cql` 表达式 |
-| allowFiltering   |    否    | 无           | 是否在服务端过滤数据，详细描述参考官方文档的[相关描述][1] |
-| consistencyLevel |    否    | LOCAL_QUORUM | 数据一致性级别, 可选 `ONE, QUORUM, LOCAL_QUORUM, EACH_QUORUM, ALL, ANY, TWO, THREE, LOCAL_ONE` |
+| 配置项           | 是否必须   | 数据类型 | 默认值       | 描述                                                                                                                                  |
+| :--------------- | :------: | ------------ | ------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------- |
+| host             |    是    | list       | 无           | 连接的域名或 IP，多个节点之间用逗号分隔                                                                                     |
+| port             |    是    | int     | 9042         | 端口                                                                                                                         |
+| username         |    否    | string     | 无           | 用户名                                                                                                                        |
+| password         |    否    | string     | 无           | 密码                                                                                                                |
+| useSSL           |    否    | boolean | false        | 是否使用SSL连接                                                                                                                       |
+| keyspace         |    是    | string     | 无           | 需要同步的表所在的 keyspace                                                                                                            |
+| table            |    是    | string     | 无           | 所选取的需要同步的表                                                                                                                  |
+| column           |    是    | list       | 无           | 所配置的表中需要同步的列集合,其中的元素可以指定列的名称或 `writetime(column_name)`，后一种形式会读取`column_name`列的时间戳而不是数据 |
+| where            |    否    | string     | 无           | 数据筛选条件的 `cql` 表达式                                                                                                           |
+| allowFiltering   |    否    | boolean    | 无           | 是否在服务端过滤数据，详细描述参考官方文档的[相关描述][1]                                                                             |
+| consistencyLevel |    否    | string | LOCAL_QUORUM | 数据一致性级别, 可选 `ONE, QUORUM, LOCAL_QUORUM, EACH_QUORUM, ALL, ANY, TWO, THREE, LOCAL_ONE`                                        |
 
 [1]: https://cassandra.apache.org/doc/latest/cql/dml.html#allowing-filtering
 
 ### 支持的数据类型
 
 目前支持除 `counter` 和 `Custom` 类型之外的所有类型。
 
-下面列出 `CassandraReader` 针对 `Cassandra` 类型转换列表:
+下面列出类型转换列表:
 
 | Addax 内部类型 | Cassandra 数据类型                                                     |
 | -------------- | ---------------------------------------------------------------------- |

diff --git a/docs/reader/clickhousereader.md b/docs/reader/clickhousereader.md
@@ -40,28 +40,10 @@ bin/addax.sh job/clickhouse2stream.json
 
 ## 参数说明
 
-`parameter` 配置项支持以下配置
-
-| 配置项   | 是否必须 | 类型   | 默认值 | 描述                                                                                                                     |
-| :------- | :------: | ------ | ------ | -------------------------------------------------------------------------------------------------------------------- |
-| jdbcUrl  |    是    | array  | 无     | ClickHouse JDBC 连接信息 ,可按照官方规范填写连接附件控制信息。具体请参看[官方文档][1]                                          |
-| username |    是    | string | 无     | 数据源的用户名                                                                                                                 |
-| password |    否    | string | 无     | 数据源指定用户名的密码                                                                                                         |
-| table    |    是    | array  | 无     | 所选取的需要同步的表 ,当配置为多张表时，用户自己需保证多张表是同一 schema 结构                                                 |
-| column   |    是    | array  | 无     | 所配置的表中需要同步的列名集合, 使用 JSON 的数组描述字段信息。用户使用 `*` 代表默认使用所有列配置，例如 `["*"]`                |
-| splitPk  |    否    | string | 无     | 希望使用 splitPk 代表的字段进行数据分片,Addax 因此会启动并发任务进行数据同步，这样可以大大提供数据同步的效能                   |
-| autoPk   |    否    | bool   | false  | 是否自动猜测分片主键，`3.2.6` 版本引入                                                                                         |
-| where    |    否    | string | 无     | 筛选条件                                                                                                                       |
-| querySql |    否    | array  | 无     | 使用 SQL 查询而不是直接指定表的方式读取数据，当用户配置 querySql 时，ClickHouseReader 直接忽略 table、column、where 条件的配置 |
-
-[1]: https://github.com/yandex/clickhouse-jdbc
+该插件基于 [RDBMS Reader](../rdbmsreader) 实现，因此可以参考 RDBMS Reader 的所有参数。
 
 ## 支持的数据类型
 
-目前 ClickHouseReader 支持大部分 ClickHouse 类型，但也存在部分个别类型没有支持的情况，请注意检查你的类型。
-
-下面列出 ClickHouseReader 针对 ClickHouse 类型转换列表:
-
 | Addax 内部类型 | ClickHouse 数据类型                                                     |
 | -------------- | ----------------------------------------------------------------------- |
 | Long           | Uint8, Uint16, Uint32, Uint64, Int8, Int16, Int32, Int64, Enum8, Enum16 |

diff --git a/docs/reader/databendreader.md b/docs/reader/databendreader.md
@@ -2,7 +2,7 @@
 
 DatabendReader 插件实现了从 [Databend](https://databend.rs) 读取数据
 
-注意，databender 有兼容 MySQL 客户端的协议实现，因此你可以直接使用 [mysqlreader](../mysqlreader) 来读取 Databend 数据。
+注意，databender 有兼容 MySQL 客户端的协议实现，因此你可以直接使用 [MySQL Reader](../mysqlreader) 来读取 Databend 数据。
 
 ## 示例
 
@@ -50,7 +50,7 @@ bin/addax.sh job/databend2stream.json
 
 ## 参数说明
 
-DatabendReader 基于 [rdbmsreader](../rdbmsreader) 实现，因此可以参考 rdbmsreader 的所有配置项。
+该插件基于 [RDBMS Reader](../rdbmsreader) 实现，因此可以参考 RDBMS Reader 的所有参数。
 
 ## 限制
 

diff --git a/docs/reader/datareader.md b/docs/reader/datareader.md
@@ -8,7 +8,7 @@
 
 诚然，网络上有相当多的专门的数据生产工具，其中不乏功能强大、性能也强悍。 但这些工具大部分是考虑到了数据生成这一段，而忽略了数据写入到目标端的问题，或者说有些考虑到了，但仅仅只考虑了一种或有限的几种数据库。
 
-恰好 Addax 工具能够提供足够多的目标端写入能力，加上之前的已有的 [streamReader](../streamreader) 已经算是一个简单版的数据生成工具，因此在此功能上 增加一些特定规则，再利用写入端多样性的能力，自然就成为了一个较好的数据生成工具。
+恰好 Addax 工具能够提供足够多的目标端写入能力，加上之前的已有的 [Stream Reader](../streamreader) 已经算是一个简单版的数据生成工具，因此在此功能上 增加一些特定规则，再利用写入端多样性的能力，自然就成为了一个较好的数据生成工具。
 
 ## 配置示例
 
@@ -96,7 +96,7 @@
 | `company`      | 随机生成一个公司的名称                     | `万迅电脑科技有限公司`                 | string   |                                                  |
 | `creditCard`   | 随机生成一个信用卡卡号                     | `430405198908214042`                   | string   | 16 位                                            |
 | `debitCard`    | 随机生成一个储蓄卡卡号                     | `6227894836568607`                     | string   | 19 位                                            |
-| `email`        | 随机生成一个电子邮件地址                   ｜ `[email protected]`                       | string | |
+| `email`        | 随机生成一个电子邮件地址                       | `[email protected]` |string||
 | `idCard`       | 随机生成一个国内身份证号码                 | `350600198508222018`                   | string   | 18 位，负责校验规则，头 6 位编码满足行政区划要求 |
 | `lat`          | 随机生成维度数据                           | `48.6648764`                           | double   | 固定 7 位小数 ，也可以用`latitude` 表示          |
 | `lng`          | 随机生成经度数据                           | `120.6018163`                          | double   | 固定 7 位小数，也可以使用`longitude` 表示        |

diff --git a/docs/reader/excelreader.md b/docs/reader/excelreader.md
@@ -1,6 +1,6 @@
 # Excel Reader
 
-`excelreader` 插件实现了从 Microsoft Excel 文件读取数据的能力。
+`Excel Reader` 插件实现了从 Microsoft Excel 文件读取数据的能力。
 
 ## 配置