異常停止したWorkflowの自動reloadの改善

[itutu-tienday]

事象

• システムエラーなどにより異常停止したWorkflowについて、FEからのWorkflow状態監視が、無限に終了しない状況がある。
• ここで異常Workflowが最新Recordである場合、Workflow画面初期表示時の自動リロードにより、異常Workflowが初期表示されるが、画面から何も操作できない状態が生じる。（状態監視が終了しない＆RUN中のため画面操作ができない）

対策

• 異常停止したWorkflowに対する状態監視は、BE側から、適切な応答（異常停止ステータス）を返すようにする。

Tasks

• 1. 事象の発生パターンの検証、仕様整理
• 2. 対応方法の設計、実装

[ReiHashimoto]

ノードの実行結果はexperiment.yamlに書き込まれるが、この書き込みがrun/resultのAPIで結果を問い合わせた時に初めて更新されるという設計が問題。

• 該当コード
  • https://github.com/arayabrain/barebone-studio/blob/develop-main/studio/app/common/core/workflow/workflow_result.py#L88

可能であればsnakemakeでのwrapper関数実行の部分でtry構文でexception時にerrorステータスを確実に書き込むような処理にすると良いと思われれる。

[itutu-tienday]

可能であればsnakemakeでのwrapper関数実行の部分でtry構文でexception時にerrorステータスを確実に書き込むような処理にすると良いと思われれる。

• 現在の snakemake の実行コードについて、snakemake の処理状況を明確に管理できていない様にも見られる
  • snakemake_executor.py
    • snakemake() のreturn valueなど、特に検査していない？
• 他の箇所で、snakemake() のreturn valueを検査している箇所もある
  • edit_ROI.py

[tsuchiyama-araya]

予想は5日間の作業だと思いましたが、テストケースをする前に、コードをお追いかけてきたため、
行き戻りがたくさん発生して、遅れました。

事象の発生パターンの検証、仕様整理をしてきましたので、下記のスプレッドシートを共有します。
https://docs.google.com/spreadsheets/d/1YLo1Ak-IRWD2ht3Mh3iV0ZfrnddlYFr2A342EWHcSNw/edit?gid=0#gid=0

対応方法の提案も作成しましたので、チームに相談して、実装していきたいと思います。

[tsuchiyama-araya]

現状の問題を把握するため、調査を実施しました。無限ループの原因はステータス遷移の問題にあると考えられます。
実装に使用可能な参考資料は、以下のドライブに保存していますのでご確認ください。

https://drive.google.com/drive/folders/1zDhbbo9HMnnT6sbY4Cla37qO5bJAG3_J

[itutu-tienday]

• Countermeasure in Resolve abnormal workflow #538 .