ETL Playground

Logstash を利用して、MySQL から OpenSearch へとデータを ETL するプレイグラウンドです。

OpenSearchDashboards や JupiterNotebook を利用して、 MySQL のレコードや OpenSearch に生成されたドキュメントを確認することもできます。

使用方法

初回使用時

利用前に環境変数、設定をコピーする必要があります。

コピー後のファイルを確認し、好みの設定に書き換えることができます。

cp -r .configs.example .config;
cp .env.example .env;

また、別途MySQLのJDBC Driverが必要です。

こちらのURLから「Platform Independent」を選択してDLしたjarを利用することを想定しています。

etl-playground/.configs/logstash/conf.d/に配置し、pipeline.confのjdbc_driver_libraryの調整をしてください。

起動

docker composeを利用して起動してください。

docker compose up -d

データの投入

docker compose up による起動では Logstash によるデータ投入は行われません。

これは MySQL の初期化よりも早く Logstash が起動し、データの投入が失敗することを防ぐためです。

MySQL の起動完了後、以下のサンプルコマンドを利用して、 Logstash コンテナを起動してデータの投入を行ってください。

docker compose run --rm logstash logstash -f /etc/logstash/conf.d/pipeline.conf

データの確認

OpenSearchDashboard

デフォルトでは以下のURLにアクセスすることで、 OpenSearchDashboards を使用できます。

.envのDASHBOARDS_PORTを変更することで、ポートの変更が可能です。

http://localhost:5601/app/home#/

JupiterNotebook

デフォルトでは以下のURLにアクセスすることで、 JupiterNotebook を使用できます。

.envのNOTEBOOK_PORTを変更することで、ポートの変更が可能です。

http://localhost:8888/lab/