Skip to content

Latest commit

 

History

History
260 lines (228 loc) · 7.44 KB

gdbreader.md

File metadata and controls

260 lines (228 loc) · 7.44 KB
Raw

DataX GDBReader

1. 快速介绍

GDBReader插件实现读取GDB实例数据的功能，通过Gremlin Client连接远程GDB实例，按配置提供的label生成查询DSL，遍历点或边数据，包括属性数据，并将数据写入到Record中给到Writer使用。

2. 实现原理

GDBReader使用Gremlin Client连接GDB实例，按label分不同Task取点或边数据。 单个Task中按label遍历点或边的id，再切分范围分多次请求查询点或边和属性数据，最后将点或边数据根据配置转换成指定格式记录发送给下游写插件。

GDBReader按label切分多个Task并发，同一个label的数据批量异步获取来加快读取速度。如果配置读取的label列表为空，任务启动前会从GDB查询所有label再切分Task。

3. 功能说明

GDB中点和边不同，读取需要区分点和边点配置。

3.1 点配置样例

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
      "errorLimit": {
        "record": 1
      }
    },

    "content": [
      {
        "reader": {
          "name": "gdbreader",
          "parameter": {
            "host": "10.218.145.24",
            "port": 8182,
            "username": "***",
            "password": "***",
            "fetchBatchSize": 100,
            "rangeSplitSize": 1000,
            "labelType": "VERTEX",
            "labels": ["label1", "label2"],
            "column": [
              {
                "name": "id",
                "type": "string",
                "columnType": "primaryKey"
              },
              {
                "name": "label",
                "type": "string",
                "columnType": "primaryLabel"
              },
              {
                "name": "age",
                "type": "int",
                "columnType": "vertexProperty"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "print": true
          }
        }
      }
    ]
  }
}

3.2 边配置样例

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      },
      "errorLimit": {
        "record": 1
      }
    },

    "content": [
      {
        "reader": {
          "name": "gdbreader",
          "parameter": {
            "host": "10.218.145.24",
            "port": 8182,
            "username": "***",
            "password": "***",
            "fetchBatchSize": 100,
            "rangeSplitSize": 1000,
            "labelType": "EDGE",
            "labels": ["label1", "label2"],
            "column": [
              {
                "name": "id",
                "type": "string",
                "columnType": "primaryKey"
              },
              {
                "name": "label",
                "type": "string",
                "columnType": "primaryLabel"
              },
              {
                "name": "srcId",
                "type": "string",
                "columnType": "srcPrimaryKey"
              },
              {
                "name": "srcLabel",
                "type": "string",
                "columnType": "srcPrimaryLabel"
              },
              {
                "name": "dstId",
                "type": "string",
                "columnType": "srcPrimaryKey"
              },
              {
                "name": "dstLabel",
                "type": "string",
                "columnType": "srcPrimaryLabel"
              },
              {
                "name": "name",
                "type": "string",
                "columnType": "edgeProperty"
              },
              {
                "name": "weight",
                "type": "double",
                "columnType": "edgeProperty"
              }
            ]
          }
        },

        "writer": {
          "name": "streamwriter",
          "parameter": {
            "print": true
          }
        }
      }
    ]
  }
}

3.3 参数说明

  • host

    • 描述：GDB实例连接地址，对应'实例管理'->'基本信息'页面的网络地址
    • 必选：是
    • 默认值：无

  • port

    • 描述：GDB实例连接地址对应的端口
    • 必选：是
    • 默认值：8182

  • username

    • 描述：GDB实例账号名
    • 必选：是
    • 默认值：无

  • password

    • 描述：GDB实例账号名对应的密码
    • 必选：是
    • 默认值：无

  • fetchBatchSize

    • 描述：一次GDB请求读取点或边的数量，响应包含点或边以及属性
    • 必选：是
    • 默认值：100

  • rangeSplitSize

    • 描述：id遍历，一次遍历请求扫描的id个数
    • 必选：是
    • 默认值：10 * fetchBatchSize

  • labels

    • 描述：标签数组，即需要导出的点或边标签，支持读取多个标签，用数组表示。如果留空([])，表示GDB中所有点或边标签
    • 必选：是
    • 默认值：无

  • labelType

    • 描述：数据标签类型，支持点、边两种枚举值
      • VERTEX：表示点
      • EDGE：表示边
    • 必选：是
    • 默认值：无

  • column

    • 描述：点或边字段映射关系配置
    • 必选：是
    • 默认值：无

  • column -> name

    • 描述：点或边映射关系的字段名，指定属性时表示读取的属性名，读取其他字段时会被忽略
    • 必选：是
    • 默认值：无

  • column -> type

    • 描述：点或边映射关系的字段类型
      • id, label在GDB中都是string类型，配置非string类型时可能会转换失败
      • 普通属性支持基础类型，包括int, long, float, double, boolean, string
      • GDBReader尽量将读取到的数据转换成配置要求的类型，但转换失败会导致该条记录错误
    • 必选：是
    • 默认值：无

  • column -> columnType

    • 描述：GDB点或边数据到列数据的映射关系，支持以下枚举值：
      • primaryKey： 表示该字段是点或边的id
      • primaryLabel： 表示该字段是点或边的label
      • srcPrimaryKey： 表示该字段是边关联的起点id，只在读取边时使用
      • srcPrimaryLabel： 表示该字段是边关联的起点label，只在读取边时使用
      • dstPrimaryKey： 表示该字段是边关联的终点id，只在读取边时使用
      • dstPrimaryLabel： 表示该字段是边关联的终点label，只在读取边时使用
      • vertexProperty： 表示该字段是点的属性，只在读取点时使用，应用到SET属性时只读取其中的一个属性值
      • vertexJsonProperty： 表示该字段是点的属性集合，只在读取点时使用。属性集合使用JSON格式输出，包含所有的属性，不能与其他vertexProperty配置一起使用
      • edgeProperty： 表示该字段是边的属性，只在读取边时使用
      • edgeJsonProperty： 表示该字段是边的属性集合，只在读取边时使用。属性集合使用JSON格式输出，包含所有的属性，不能与其他edgeProperty配置一起使用
    • 必选：是
    • 默认值：无
    • vertexJsonProperty格式示例，新增c字段区分SET属性，但是SET属性只包含单个属性值时会标记成普通属性
    {"properties":[
  {"k":"name","t","string","v":"Jack","c":"set"},
  {"k":"name","t","string","v":"Luck","c":"set"},
  {"k":"age","t","int","v":"20","c":"single"}
]}
    • edgeJsonProperty格式示例，边不支持多值属性
    {"properties":[
  {"k":"created_at","t","long","v":"153498653"},
  {"k":"weight","t","double","v":"3.14"}
]}

4 性能报告

(TODO)

5 使用约束

无

6 FAQ

无