Problem of new plot after reproduce (oist_0320_4-1/2)

[itutu-tienday]

• mc_image, mean_image についてはまだ改善されていないように見える。(image_left.mov)

  • https://user-images.githubusercontent.com/122338895/227171556-bf4e3e77-f0c7-4dbb-9ce2-8b8640f325b7.mov

• これも、前のplotが一部残っているからなのか、ROIの画像サイズがbackground image の画像サイズに合っていない時がある。(cell_roi_left.mov)

  • https://user-images.githubusercontent.com/122338895/227171484-170cf9fb-1335-475e-a8ec-66fd3b9ec581.mov

[ReiHashimoto]

検証

以下のワークフローで、先頭のtiffファイルを入れ替えて検証を行った。

1. mouse2p.tiffでRUN_ALL
2. mous2p_2_donotouse.tiffでRUN_ALL
3. 1をReproduce > RUN

それぞれのパターン実行後に、以下のデータを保持

• ワークフロー実行終了直後のOPRINIST_DIRのコピー
• VISUALIZEでtiff, tiff + cell_roi, tiff + non_cell_roi, mc_images, meanImgを並べたキャプチャ

検証結果

期待される挙動

VISUALIZEの内容が1 = 3

実際の挙動

VISUALIZEの内容が1と3で異なる
具体的には、cell_roi, non_cell_roi, mc_images, meanImgが2と同じになっている

調査

上記の結果を受け、実際にVISUALIZEの際に取得しているデータを確認した

例えばmc_imagesの場合以下のパス
/output/{unique_id}/caiman_mc_wxzzjcqrpz/mc_images.json

1の結果は1のunique_idのディレクトリにあり、1, 2, 3を通じて不変のはず

• しかし、実際には1 = 2 ≠ 3の状態であった
• 3は、2のunique_idのディレクトリの内容と一致する

つまり、RUN_ALLの際には他のunique_idのパスに対して変更が加わることはないが、RUNの際にはファイルの書き換えが発生している
この原因を調査する

[ReiHashimoto]

原因

ファイルの更新をかけていたのは/run/result/{uid}
WorkflowResult.get() => NodeResult.get() => success() => outputPaths()の順に呼ばれて、save_jsonなどの処理が走る

この時、例えばcell_roiであれば、output/tiff/cell_roi/cell_roi.tiffに保存されているデータを使用して、jsonを生成する。jsonの出力先はunique_idごと。

output/tiff/などのデータが更新されるのはRUN ALLの時のみ。
従って、最後のRUN ALLの結果でroiなどのjsonデータを生成しなおしている状態。

対応

output/tiff/などのunique_idに依存せず出力しているファイルをunique_id依存にする。
つまりoutput/{uid}/tiff/など。

ImageData, RoiDataなどのクラスでのself.pathなどをsetしているロジックを修正する。

追加調査

• 本対応が必要なデータクラスの洗い出し
• 対象のファイルパスを参照しているロジックの洗い出し