Skip to content

Commit e2035bf

Browse files
kanata163kanata163
committed
1、FlinkX升级至1.11
2、删除kafka09插件
1 parent 9cfa7ed commit e2035bf

File tree

43 files changed

+548
-1461
lines changed

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

43 files changed

+548
-1461
lines changed

‎docs/example/kafka09_stream.json

-36
This file was deleted.

‎docs/questions.md

+6-3
Original file line numberDiff line numberDiff line change
@@ -12,9 +12,12 @@
1212
./install_jars.sh
1313
```
1414

15-
### 2.FlinkX版本需要与Flink版本保持一致
16-
1.8_release版本对应flink1.8
17-
1.10_release版本对应flink1.10 版本
15+
### 2.FlinkX版本需要与Flink版本保持一致，最好小版本也保持一致
16+
| FlinkX分支 | Flink版本 |
17+
| --- | --- |
18+
| 1.8_release | Flink1.8.3 |
19+
| 1.10_release | Flink1.10.1 |
20+
| 1.11_release | Flink1.11.3 |
1821
不对应在standalone和yarn session模式提交时，会报错：
1922
Caused by: java.io.InvalidClassException: org.apache.flink.api.common.operators.ResourceSpec; incompatible types for field cpuCores
2023

‎docs/quickstart.md

+5-5
Original file line numberDiff line numberDiff line change
@@ -10,14 +10,14 @@ cd flinkx
1010
2.直接下载源码
1111

1212
```
13-
wget https://github.com/DTStack/flinkx/archive/1.10_release.zip
14-
unzip 1.10_release.zip
15-
cd 1.10_release
13+
wget https://github.com/DTStack/flinkx/archive/1.11_release.zip
14+
unzip 1.11_release.zip
15+
cd 1.11_release
1616
```
1717

1818
3.直接下载源码和编译好的插件包(推荐)
1919
```
20-
wget https://github.com/DTStack/flinkx/releases/download/1.10.4/flinkx.7z
20+
wget https://github.com/DTStack/flinkx/releases/download/1.11.0/flinkx.7z
2121
7za x flinkx.7z
2222
cd flinkx
2323
```
@@ -253,7 +253,7 @@ bin/flinkx \
253253
| **jobid** | 任务名称 | 无 | 否 | Flink Job |
254254
| **pluginRoot** | 插件根目录地址，也就是打包后产生的pluginRoot目录。 | 无 | 否 | $FLINKX_HOME/syncplugins |
255255
| **flinkconf** | flink配置文件所在的目录（单机模式下不需要） | $FLINK_HOME/conf | 否 | $FLINK_HOME/conf |
256-
| **flinkLibJar** | flink lib所在的目录（单机模式下不需要），如/opt/dtstack/flink-1.10.1/lib | $FLINK_HOME/lib | 否 | $FLINK_HOME/lib |
256+
| **flinkLibJar** | flink lib所在的目录（单机模式下不需要），如/opt/dtstack/flink-1.11.3/lib | $FLINK_HOME/lib | 否 | $FLINK_HOME/lib |
257257
| **yarnconf** | Hadoop配置文件（包括hdfs和yarn）所在的目录 | $HADOOP_HOME/etc/hadoop | 否 | $HADOOP_HOME/etc/hadoop |
258258
| **queue** | yarn队列，如default | 无 | 否 | default |
259259
| **pluginLoadMode** | yarn session模式插件加载方式 | 1.**classpath**：提交任务时不上传插件包，需要在yarn-node节点pluginRoot目录下部署插件包，但任务启动速度较快<br />2.**shipfile**：提交任务时上传pluginRoot目录下部署插件包的插件包，yarn-node节点不需要部署插件包，任务启动速度取决于插件包的大小及网络环境 | 否 | shipfile |

‎docs/realTime/reader/kafkareader.md

+7-46
Original file line numberDiff line numberDiff line change
@@ -1,14 +1,14 @@
11
# Kafka Reader
22

33
## 一、插件名称
4-
kafka插件存在四个版本，根据kafka版本的不同，插件名称也略有不同。具体对应关系如下表所示：
4+
kafka插件存在三个版本，根据kafka版本的不同，插件名称也略有不同。具体对应关系如下表所示：
55

66
| kafka版本 | 插件名称 |
77
| --- | --- |
8-
| kafka 0.9 | kafka09reader |
98
| kafka 0.10 | kafka10reader |
109
| kafka 0.11 | kafka11reader |
1110
| kafka 1.0及以后 | kafkareader |
11+
注：从FlinkX1.11版本开始不再支持kafka 0.9
1212

1313

1414

@@ -125,9 +125,7 @@ kafka插件存在四个版本，根据kafka版本的不同，插件名称也略
125125
- 必选：是
126126
- 字段类型：Map
127127
- 默认值：无
128-
- 注意：
129-
- kafka09 reader插件: consumerSettings必须至少包含`zookeeper.connect`参数
130-
- kafka09 reader以外的插件：consumerSettings必须至少包含`bootstrap.servers`参数
128+
- 注意：consumerSettings必须至少包含`bootstrap.servers`参数
131129
- 如：
132130
```json
133131
{
@@ -139,44 +137,7 @@ kafka插件存在四个版本，根据kafka版本的不同，插件名称也略
139137

140138

141139
## 三、配置示例
142-
#### 1、kafka09
143-
```json
144-
{
145-
"job" : {
146-
"content" : [ {
147-
"reader" : {
148-
"parameter" : {
149-
"topic" : "kafka09",
150-
"groupId" : "default",
151-
"codec" : "text",
152-
"encoding": "UTF-8",
153-
"blankIgnore": false,
154-
"consumerSettings" : {
155-
"zookeeper.connect" : "localhost:2181/kafka09"
156-
}
157-
},
158-
"name" : "kafka09reader"
159-
},
160-
"writer" : {
161-
"parameter" : {
162-
"print" : true
163-
},
164-
"name" : "streamwriter"
165-
}
166-
} ],
167-
"setting" : {
168-
"restore" : {
169-
"isRestore" : false,
170-
"isStream" : true
171-
},
172-
"speed" : {
173-
"channel" : 1
174-
}
175-
}
176-
}
177-
}
178-
```
179-
#### 2、kafka10
140+
#### 1、kafka10
180141
```json
181142
{
182143
"job": {
@@ -215,7 +176,7 @@ kafka插件存在四个版本，根据kafka版本的不同，插件名称也略
215176
}
216177
}
217178
```
218-
#### 3、kafka11
179+
#### 2、kafka11
219180
```json
220181
{
221182
"job" : {
@@ -252,7 +213,7 @@ kafka插件存在四个版本，根据kafka版本的不同，插件名称也略
252213
}
253214
}
254215
```
255-
#### 4、kafka
216+
#### 3、kafka
256217
```json
257218
{
258219
"job" : {
@@ -291,7 +252,7 @@ kafka插件存在四个版本，根据kafka版本的不同，插件名称也略
291252
}
292253
}
293254
```
294-
#### 5、kafka->Hive
255+
#### 4、kafka->Hive
295256
```json
296257
{
297258
"job": {

‎docs/realTime/writer/kafkawriter.md

+8-73
Original file line numberDiff line numberDiff line change
@@ -1,15 +1,14 @@
11
# Kafka Writer
22

33
## 一、插件名称
4-
kafka插件存在四个版本，根据kafka版本的不同，插件名称也略有不同。具体对应关系如下表所示：
4+
kafka插件存在三个版本，根据kafka版本的不同，插件名称也略有不同。具体对应关系如下表所示：
55

66
| kafka版本 | 插件名称 |
77
| --- | --- |
8-
| kafka 0.9 | kafka09writer |
98
| kafka 0.10 | kafka10writer |
109
| kafka 0.11 | kafka11writer |
1110
| kafka 1.0及以后 | kafkawriter |
12-
11+
注：从FlinkX1.11版本开始不再支持kafka 0.9
1312

1413

1514
## 二、参数说明
@@ -30,29 +29,12 @@ kafka插件存在四个版本，根据kafka版本的不同，插件名称也略
3029

3130
<br />
3231

33-
- **encoding**
34-
- 描述：编码
35-
- 注意：该参数只对kafka09reader插件有效
36-
- 必选：否
37-
- 字段类型：String
38-
- 默认值：UTF-8
39-
40-
<br />
41-
42-
- **brokerList**
43-
- 描述：kafka broker地址列表
44-
- 注意：该参数只对kafka09writer插件有效
45-
- 必选：kafka09writer必选，其它kafka writer插件不用填
46-
- 字段类型：String
47-
- 默认值：无
48-
49-
<br />
50-
5132
- **producerSettings**
5233
- 描述：kafka连接配置，支持所有`org.apache.kafka.clients.producer.ProducerConfig`中定义的配置
53-
- 必选：对于非kafka09 writer插件，该参数必填，且producerSettings中至少包含`bootstrap.servers`参数
34+
- 必选：是
5435
- 字段类型：Map
5536
- 默认值：无
37+
- 注意：producerSettings中至少包含`bootstrap.servers`参数
5638

5739
<br />
5840

@@ -68,54 +50,7 @@ kafka插件存在四个版本，根据kafka版本的不同，插件名称也略
6850

6951

7052
## 三、配置示例
71-
#### 1、kafka09
72-
```json
73-
{
74-
"job": {
75-
"content": [{
76-
"reader": {
77-
"name": "streamreader",
78-
"parameter": {
79-
"column": [
80-
{
81-
"name": "id",
82-
"type": "id"
83-
},
84-
{
85-
"name": "user_id",
86-
"type": "int"
87-
},
88-
{
89-
"name": "name",
90-
"type": "string"
91-
}
92-
],
93-
"sliceRecordCount" : ["100"]
94-
}
95-
},
96-
"writer" : {
97-
"parameter": {
98-
"timezone": "UTC",
99-
"topic": "kafka09",
100-
"encoding": "UTF-8",
101-
"brokerList": "0.0.0.1:9092",
102-
"tableFields": ["id","user_id","name"]
103-
},
104-
"name": "kafka09writer"
105-
}
106-
} ],
107-
"setting": {
108-
"restore" : {
109-
"isStream" : true
110-
},
111-
"speed" : {
112-
"channel" : 1
113-
}
114-
}
115-
}
116-
}
117-
```
118-
#### 2、kafka10
53+
#### 1、kafka10
11954
```json
12055
{
12156
"job": {
@@ -163,7 +98,7 @@ kafka插件存在四个版本，根据kafka版本的不同，插件名称也略
16398
}
16499
}
165100
```
166-
#### 3、kafka11
101+
#### 2、kafka11
167102
```json
168103
{
169104
"job": {
@@ -212,7 +147,7 @@ kafka插件存在四个版本，根据kafka版本的不同，插件名称也略
212147
}
213148
}
214149
```
215-
#### 4、kafka
150+
#### 3、kafka
216151
```json
217152
{
218153
"job": {
@@ -260,7 +195,7 @@ kafka插件存在四个版本，根据kafka版本的不同，插件名称也略
260195
}
261196
}
262197
```
263-
#### 5、MySQL->kafka
198+
#### 4、MySQL->kafka
264199
```json
265200
{
266201
"job" : {

‎flinkx-core/pom.xml

+8-25
Original file line numberDiff line numberDiff line change
@@ -27,7 +27,7 @@
2727
<dependency>
2828
<groupId>org.slf4j</groupId>
2929
<artifactId>slf4j-log4j12</artifactId>
30-
<version>1.7.10</version>
30+
<version>1.7.30</version>
3131
</dependency>
3232

3333
<dependency>
@@ -51,32 +51,21 @@
5151

5252
<dependency>
5353
<groupId>org.apache.flink</groupId>
54-
<artifactId>flink-runtime-web_2.11</artifactId>
54+
<artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
5555
<version>${flink.version}</version>
5656
</dependency>
5757

58-
<!--Use this dependency if you are using the DataStream API-->
5958
<dependency>
6059
<groupId>org.apache.flink</groupId>
61-
<artifactId>flink-streaming-java_2.11</artifactId>
62-
<version>${flink.version}</version>
63-
<exclusions>
64-
<exclusion>
65-
<groupId>org.xerial.snappy</groupId>
66-
<artifactId>snappy-java</artifactId>
67-
</exclusion>
68-
</exclusions>
69-
</dependency>
70-
71-
<dependency>
72-
<groupId>org.apache.flink</groupId>
73-
<artifactId>flink-clients_2.11</artifactId>
60+
<artifactId>flink-clients_${scala.binary.version}</artifactId>
7461
<version>${flink.version}</version>
7562
</dependency>
7663

64+
<!--flink与Hadoop mapReduce兼容包-->
65+
<!--https://ci.apache.org/projects/flink/flink-docs-stable/dev/batch/hadoop_compatibility.html-->
7766
<dependency>
7867
<groupId>org.apache.flink</groupId>
79-
<artifactId>flink-hadoop-compatibility_2.11</artifactId>
68+
<artifactId>flink-hadoop-compatibility_${scala.binary.version}</artifactId>
8069
<version>${flink.version}</version>
8170
<exclusions>
8271
<exclusion>
@@ -86,15 +75,9 @@
8675
</exclusions>
8776
</dependency>
8877

89-
<dependency>
90-
<groupId>commons-cli</groupId>
91-
<artifactId>commons-cli</artifactId>
92-
<version>1.2</version>
93-
</dependency>
94-
9578
<dependency>
9679
<groupId>org.apache.flink</groupId>
97-
<artifactId>flink-yarn_2.11</artifactId>
80+
<artifactId>flink-yarn_${scala.binary.version}</artifactId>
9881
<version>${flink.version}</version>
9982
<exclusions>
10083
<exclusion>
@@ -106,7 +89,7 @@
10689

10790
<dependency>
10891
<groupId>org.apache.flink</groupId>
109-
<artifactId>flink-queryable-state-runtime_2.11</artifactId>
92+
<artifactId>flink-queryable-state-runtime_${scala.binary.version}</artifactId>
11093
<version>${flink.version}</version>
11194
</dependency>
11295

0 commit comments

Comments
 (0)