HTMLヘルプのビルドステップをpowershellに移植してエラー耐性を上げる #1509

berryzplus · 2021-01-17T13:54:15Z

PR の目的

#1271 Azure Pipelines/GitHub Actions で HTML Help をビルドできるようにする で導入された「OS言語が英語であっても日本語ロケールでないと動作できないレガシープログラムを動かすための裏技(bat実装)」をpowershellに移植して、ビルドステップの実行中に発生するエラーに対する耐性を上げることが目的です。

この変更により appveyor の疑似パイプラインが不要となるので、パイプラインを廃止して処理構造をシンプルにします。

カテゴリ

ビルド関連
- Azure Pipelines
- AppVeyor
- GitHub Actions
- ローカルビルド

PR の背景

ちょっとめんどくさい変更なので、経緯を頭から説明します。

サクラエディタにはHTMLヘルプが付いています。

HTMLヘルプは、HTMLファイルを「コンパイル」して作るものです。
コンパイルには当然「コンパイラ」が必要なんですが、これがショボくて苦労しています。

HTMLヘルプコンパイラの何がショボいか？

HTMLでエンコーディング指定をしても認識されません。
生成されるchmの内容が、コンパイルを実行するロケールに左右されます。

サクラエディタのヘルプは日本語で書かれていますが、
このプロジェクトで使っているCIはすべて英語環境です。

つまり、サクラエディタのHTMLヘルプをCIで普通に実行すると、文字化けしてしまうわけです。

英語ロケールで動いているCIを使って、HTMLビルドを日本語ロケールで実行する方法は色々試してきました。

Set-WInSysLocale でロケールを日本語に変える。
この方法にはOS再起動が必要なので、選択できるのはAppveyorのみ。
動作が不安定で、かつ、やたらと時間がかかり、たまにタイムアウトする。
Locale-Emulator で hhc.exe のプロセスロケールを日本語に変える。
この方法にはOS再起動が不要なので、どのCIでも対応できそう。
動作は不安定だが、起動時間は通常のプログラムと同等程度に改善、ただしたまにタイムアウトする。
Locale-Emulator で起動させた場合の hhc.exe がたまにアクセス違反を起こしていた。

今回修正では、従来バッチで実装していた hhc.exe 起動部分を powershell に移植し、
発生した例外をキャッチして続行できるようにしています。

PR のメリット

HTMLヘルプのビルド成功率が上がります。
HTMLヘルプのビルド処理がわずかに簡素化されます。

PR のデメリット (トレードオフとかあれば)

HTMLヘルプのビルド成功率を 100% にする変更ではありません。
周辺処理が超複雑なのでなんかおかしな変更を残してしまっている可能性があります。

仕様・動作説明

アプリの仕様・動作に変更はありません。

ビルドステップの仕様も #1271 と殆ど変えていません。

明確に違う点

バッチでは sleep の代わりに ping していました。（CIで動かなかったから）
powershell の Start-Sleep はCIでも使えそうなのでそちらで実装しました。
ログファイルをテキトーな場所にコピーしてロック解除確認する処理を、それっぽい処理で置換しました。

PR の影響範囲

HTMLヘルプのビルド成功率に影響する変更です。

テスト内容

ローカル環境でLEProcインストール済みの場合にビルドできることを確認しました。
ローカル環境でLEProcインストールなしの場合にビルドできることを確認しました。
Appveyor環境のCIビルドができることを確認しました。

参考資料

https://docs.microsoft.com/ja-jp/previous-versions/windows/desktop/htmlhelp/microsoft-html-help-downloads

AppVeyorBot · 2021-01-17T14:19:47Z

✅ Build sakura 1.0.3351 completed (commit 925bf6d81e by @berryzplus)

sanomari · 2021-01-18T01:24:11Z

趣旨としては賛成です。
#1469 (comment)

一目では判断できなかったのであとで見直します。

k-takata · 2021-01-18T03:11:44Z

hhc.exe の終了を直接的に待つ方法があるといいんですけどねぇ。そうすれば、ファイルがロックされているかを確認する処理も不要になるのですが。

https://github.com/sakura-editor/sakura/pull/1509/checks?check_run_id=1716951864#step:6:902

$CompileLog is missing: D:\a\sakura\sakura\temphelp\macro\Compile.Log
$CompileLog is missing: D:\a\sakura\sakura\temphelp\macro\Compile.Log
$CompiledHelp is still locked: D:\a\sakura\sakura\temphelp\macro\macro.chm
$CompileLog is missing: D:\a\sakura\sakura\temphelp\plugin\Compile.Log
$CompileLog is missing: D:\a\sakura\sakura\temphelp\sakura\Compile.Log
$CompiledHelp is still locked: D:\a\sakura\sakura\temphelp\sakura\sakura.chm
$CompiledHelp is still locked: D:\a\sakura\sakura\temphelp\sakura\sakura.chm
$CompiledHelp is still locked: D:\a\sakura\sakura\temphelp\sakura\sakura.chm
$CompiledHelp is still locked: D:\a\sakura\sakura\temphelp\sakura\sakura.chm
$CompiledHelp is still locked: D:\a\sakura\sakura\temphelp\sakura\sakura.chm

missing と locked のログが毎秒出るのはちょっと邪魔のような気もしましたが、まあそのままでもいいでしょう。

元のbatでは、コンパイルが30秒以内に終了しなかった場合（＝おそらくhhc.exeがクラッシュ）は1回だけやり直すようにしてありましたが、今回のスクリプトではコンパイルが成功するまで何回でも繰り返すことになるのでしょうか。

元のbatではログファイルのロックが解除されたのをもってhhc.exeの処理が終わったとみなしています。これはhhc.exeの動作を確認したところ、chmの書き込みが終わってからログの書き込みが行われていたからです。今回のスクリプトでは、ログではなくchmの方のロック確認を行っていますが、変更した理由はありますか？

berryzplus · 2021-01-18T04:00:53Z

missing と locked のログが毎秒出るのはちょっと邪魔のような気もしましたが、まあそのままでもいいでしょう。

なにかあったときに、時間がかかってると判断する材料になるかと考えて残しました。
リトライ回数が多いと鬱陶しいですが、まぁいいか、と。

元のbatでは、コンパイルが30秒以内に終了しなかった場合（＝おそらくhhc.exeがクラッシュ）は1回だけやり直すようにしてありましたが、今回のスクリプトではコンパイルが成功するまで何回でも繰り返すことになるのでしょうか。

変更は意図的ですが、確信はないです。
リトライ上限を設けると、ビルドが成功しなくても処理が進んでしまうからです。

元のbatではログファイルのロックが解除されたのをもってhhc.exeの処理が終わったとみなしています。これはhhc.exeの動作を確認したところ、chmの書き込みが終わってからログの書き込みが行われていたからです。今回のスクリプトでは、ログではなくchmの方のロック確認を行っていますが、変更した理由はありますか？

これは明確に意図があったわけではないです。

k-takata · 2021-01-18T04:45:13Z

sakura/build-chm.bat

Lines 43 to 53 in 3e59ee3

    
           call :BuildChm %HHP_MACRO%  %CHM_MACRO%   || (echo error && exit /b 1) 
        
           call :BuildChm %HHP_PLUGIN% %CHM_PLUGIN%  || (echo error && exit /b 1) 
        
           call :BuildChm %HHP_SAKURA% %CHM_SAKURA%  || (echo error && exit /b 1) 
        
           copy /Y %TMP_HELP%\macro\*.chm   %SRC_HELP%\macro\   || (echo error && exit /b 1) 
        
           copy /Y %TMP_HELP%\plugin\*.chm  %SRC_HELP%\plugin\  || (echo error && exit /b 1) 
        
           copy /Y %TMP_HELP%\sakura\*.chm  %SRC_HELP%\sakura\  || (echo error && exit /b 1) 
        
           copy /Y %TMP_HELP%\macro\*.Log   %SRC_HELP%\macro\   || (echo error && exit /b 1) 
        
           copy /Y %TMP_HELP%\plugin\*.Log  %SRC_HELP%\plugin\  || (echo error && exit /b 1) 
        
           copy /Y %TMP_HELP%\sakura\*.Log  %SRC_HELP%\sakura\  || (echo error && exit /b 1)

ここの部分でchmをコピーした後、logもコピーしていますが、chmのみのロック確認で済ませてしまうと、タイミングによってはlogのコピーで失敗する可能性があります。

berryzplus · 2021-01-18T09:36:06Z

ここの部分でchmをコピーした後、logもコピーしていますが、chmのみのロック確認で済ませてしまうと、タイミングによってはlogのコピーで失敗する可能性があります。

了解しました。
せっかく指摘もいただいていることですし、logのロック解除を待機するように修正します。
内容的に込み入ってるので修正を詰まずforce pushしてしまいます。

変更内容はこんな感じを予定しています。

変更前

($CompileLog | Is-Missing) を待機
($CompiledHelp | Is-Missing) を待機
($CompiledHelp | Is-Locked) を待機
(Copy-Chm $CompiledHelp $Destination) でコピー試行

変更後

($CompiledHelp | Is-Missing) を待機
($CompiledHelp | Is-Locked) を待機
($CompileLog | Is-Missing) を待機
($CompileLog | Is-Locked) を待機
(Copy-Chm $CompiledHelp $Destination) でコピー試行

sonarcloud · 2021-01-18T09:49:54Z

Kudos, SonarCloud Quality Gate passed!

0 Bugs
0 Vulnerabilities
0 Security Hotspots
0 Code Smells

No Coverage information
No Duplication information

AppVeyorBot · 2021-01-18T10:06:29Z

✅ Build sakura 1.0.3352 completed (commit d23bb1af7a by @berryzplus)

sanomari

内容を把握しました。
とくにダメそうな気配はありませんでした。

sanomari · 2021-01-19T00:41:24Z

appveyor.yml


 # to run our custom scripts instead of automatic MSBuild
 build_script:
-  - cmd: cup vswhere


何故削除？と思いましたが、上に移動してました。

sanomari · 2021-01-19T00:42:06Z

appveyor.yml

-    pip install openpyxl --user
+    cinst locale-emulator -y
+    cup vswhere
+    py.exe -m pip install openpyxl --user


PIP実行は、こういう書き方ができるんですね。

PATH の設定にかかわらず、py.exe で実行されるデフォルトのバージョンの python に対してインストールしたい場合は、こう書くことになります。
py -3.8-64 -m pip などのようにすれば、指定したバージョンに対して pip を実行できます。

前にここで教えてもらいました 😃

sanomari · 2021-01-19T00:45:24Z

appveyor.yml

-
-  artifacts:
-    - path: 'sakura-*-Chm.zip*'
-
 # run only for Release


成果物アップロードはreleaseのみらしいです。

はい、そういう設定になってます。

sanomari · 2021-01-19T00:53:46Z

.gitattributes

@@ -6,6 +6,7 @@ Makefile text eol=lf
 sakura_rc.h text eol=crlf
 *.rc text working-tree-encoding=utf-16le-bom eol=crlf
 *.rc2 text working-tree-encoding=utf-16le-bom eol=crlf
+*.ps1 text working-tree-encoding=utf-16le-bom eol=crlf


これの影響範囲がちょぴっとだけ気になりました。
シフトJISやUTF-8で書いたps1をコミットしようとすると怒られるようになりますよね？

別にいいですよね～と思ったのでスルーしちゃいますけど(笑)。

従来UTF-8でコミットされていたps1がUTF-16でチェックアウトされるようになります。
失敗時はメッセージが出るので実害はないと思います。
（個人の主義に反する可能性はありますが。）

sanomari · 2021-01-19T01:02:30Z

help/CompileChm.ps1

+}
+
+# コンパイル済みHTMLのコピー処理
+# Azure Pipelinesがたまにコピー失敗する対策として作成


この関数を使ってコピーしてるのはchmだけなので、
Azure PipelinesではCompiel.Logがたまにコピー失敗するだろうってことですよね。

Compile.Logは何に使うものなんですかね。

単なる hhc.exe の実行ログです。Compile.log は artifact としてアップロードされるようになっているので、ログを見たい場合には artifact をダウンロードすることになります。

Azure PipelinesではCompiel.Logがたまにコピー失敗するだろうってことですよね。

はい、そうです。

Compile.Logは何に使うものなんですかね。

ビルドがうまく行かなかったときの原因調査に使えるかも知れません。使えないかも知れません。
基本的には使い道のないファイルである認識です。

単なる hhc.exe の実行ログです。Compile.log は artifact としてアップロードされるようになっているので、ログを見たい場合には artifact をダウンロードすることになります。

あれ？10hours ago なのにさっき見たとき表示されていませんでした。
タイミングかなぁ・・・

k-takata · 2021-01-19T02:28:42Z

ふと疑問に思ったのですが、今回のスクリプトで実際に hhc.exe のクラッシュをキャッチできるのでしょうか。(leproc.exe のクラッシュはキャッチできるのでしょうが。)
leproc.exe は cmd.exe を起動して即終了 → cmd.exe が hhc.exe を起動 → hhc.exe がクラッシュ

もし hhc.exe のクラッシュをキャッチできないのであれば、結局タイムアウトの30秒を待ってからリトライすることになるので、バッチファイルからの実質的な変更点はリトライ回数を増やしただけということになってしまいますが…（あ、AppVeyorの構成変更もあったか）

berryzplus · 2021-01-19T11:02:41Z

help/CompileChm.ps1

+		else
+		{
+			#kick LEProc.exe for a legacy command.
+			Start-Process $env:CMD_LEPROC "$env:COMSPEC /C `"$hhc $HtmlHelpProject`""


ローカルでのテスト中にここで例外が起きてリトライすることは確認できました。

それならOKです。

berryzplus · 2021-01-19T11:03:18Z

help/CompileChm.ps1

+	}
+	catch [System.AccessViolationException]
+	{
+		echo "LEProc.exe has crashed"


https://github.com/sakura-editor/sakura/pull/1509/files#r560093658 で例外が起きるとここにきてリトライします。

berryzplus · 2021-01-19T11:07:12Z

ふと疑問に思ったのですが、今回のスクリプトで実際に hhc.exe のクラッシュをキャッチできるのでしょうか。(leproc.exe のクラッシュはキャッチできるのでしょうが。)
leproc.exe は cmd.exe を起動して即終了 → cmd.exe が hhc.exe を起動 → hhc.exe がクラッシュ

とりあえず、発生した例外をキャッチして続行する挙動は確認しています。https://github.com/sakura-editor/sakura/pull/1509/files#r560093658
ただ、指摘されている通り例外発生元が hhc.exe であった場合にはキャッチしようがありませんね。
その辺は、今後動かしてみて問題が出たら対処していく感じでいきたいと思っています。

berryzplus · 2021-01-19T11:15:32Z

レビューありがとうございます。
なんかありそうな気もしますけどとりあえずマージしてしまいます。

berryzplus · 2022-01-22T12:51:09Z

このPRで行った変更が消えてしまっているようです。
https://github.com/berryzplus/sakura/commits/master/appveyor.yml

おそらく、対応が必要。

k-takata added the CI appveyor など CI 関連【ChangeLog除外】 label Jan 18, 2021

berryzplus marked this pull request as draft January 18, 2021 09:36

berryzplus added 2 commits January 18, 2021 18:40

HTMLヘルプのビルドにpowershellを使う

7dda3a5

appveyorの疑似パイプラインを辞める

5cbc57c

berryzplus force-pushed the feature/use_pwsh_to_buildChm branch from 3e59ee3 to 5cbc57c Compare January 18, 2021 09:41

berryzplus marked this pull request as ready for review January 18, 2021 10:13

sanomari approved these changes Jan 19, 2021

View reviewed changes

berryzplus commented Jan 19, 2021

View reviewed changes

berryzplus merged commit 1b893f7 into sakura-editor:master Jan 19, 2021

berryzplus deleted the feature/use_pwsh_to_buildChm branch January 19, 2021 11:15

ghost mentioned this pull request Apr 19, 2021

CI/CDに関係するドキュメントを更新・整理する #1630

Merged

berryzplus mentioned this pull request May 22, 2021

UTF-8で登録されていたpowershellスクリプトを登録し直す #1675

Merged

ghost mentioned this pull request Jan 13, 2022

Installer file update (ChineseTranslation) #1469

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

HTMLヘルプのビルドステップをpowershellに移植してエラー耐性を上げる #1509

HTMLヘルプのビルドステップをpowershellに移植してエラー耐性を上げる #1509

berryzplus commented Jan 17, 2021 •

edited

Loading

AppVeyorBot commented Jan 17, 2021

sanomari commented Jan 18, 2021

k-takata commented Jan 18, 2021

berryzplus commented Jan 18, 2021

k-takata commented Jan 18, 2021

berryzplus commented Jan 18, 2021

sonarcloud bot commented Jan 18, 2021

AppVeyorBot commented Jan 18, 2021

sanomari left a comment

sanomari Jan 19, 2021

sanomari Jan 19, 2021

k-takata Jan 19, 2021

berryzplus Jan 19, 2021

sanomari Jan 19, 2021

berryzplus Jan 19, 2021

sanomari Jan 19, 2021

berryzplus Jan 19, 2021

sanomari Jan 19, 2021

k-takata Jan 19, 2021

berryzplus Jan 19, 2021 •

edited

Loading

berryzplus Jan 19, 2021

k-takata commented Jan 19, 2021

berryzplus Jan 19, 2021

k-takata Jan 19, 2021

berryzplus Jan 19, 2021

berryzplus commented Jan 19, 2021

berryzplus commented Jan 19, 2021

berryzplus commented Jan 22, 2022

HTMLヘルプのビルドステップをpowershellに移植してエラー耐性を上げる #1509

HTMLヘルプのビルドステップをpowershellに移植してエラー耐性を上げる #1509

Conversation

berryzplus commented Jan 17, 2021 • edited Loading

PR の目的

カテゴリ

PR の背景

PR のメリット

PR のデメリット (トレードオフとかあれば)

仕様・動作説明

PR の影響範囲

テスト内容

関連 issue, PR

参考資料

AppVeyorBot commented Jan 17, 2021

sanomari commented Jan 18, 2021

k-takata commented Jan 18, 2021

berryzplus commented Jan 18, 2021

k-takata commented Jan 18, 2021

berryzplus commented Jan 18, 2021

sonarcloud bot commented Jan 18, 2021

AppVeyorBot commented Jan 18, 2021

sanomari left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

berryzplus Jan 19, 2021 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

k-takata commented Jan 19, 2021

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

berryzplus commented Jan 19, 2021

berryzplus commented Jan 19, 2021

berryzplus commented Jan 22, 2022

berryzplus commented Jan 17, 2021 •

edited

Loading

berryzplus Jan 19, 2021 •

edited

Loading