-
Notifications
You must be signed in to change notification settings - Fork 200
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
検知したRecordの全フィールドをCSVに出力する #216
Comments
オプションを付けた際に、検知したレコードの中身(JSON形式)を特定のファイルに出力する |
countルールの仕様確認が必要 |
csvにあたらしくカラムを作ってそこに検知したレコードの情報をすべて追加する。 xmlデータがこんな感じの時に <EventData>
<huga>xxxx</huga>
<hoge atr="aaaa">
<UserData>D</UserData>
</EventData> こういうデータを出す |
XMLを確認しました。少し工夫する必要がありそうです。 パターン1 (
を パターン2 (
を パターン3 (EventDataではなく、UserData):
毎回邪魔なxmlnsのURLがあるので、消したいです。 ロジックとしてはEventDataもしくはUserDataのもっともネストされているフィールドを出力すると良さそうです。 少し稀なパターンでUserDataの中にEventDataがある場合もあります (SMBServer/Operational):
この場合でももっともネストされているフィールドを出力したら 注意点:AccessMask等のフィールドにタブや改行のコントロールコードが入っている場合もあるので、https://github.com/Yamato-Security/hayabusa/pull/396 のように削除する必要があるはずです。 |
やはり、かなり仕様変更が入りそうですね。 |
→ YamatoSecurity のイメージを書いてもらう |
将来的にSigmaルールもHayabusaルールのように必要なフィールドだけ(また、分かりやすいフィールド名など)でdetailsを出力したいのですが、実装するのは時間がかかるので、取り敢えず全情報を出すことでSigmaアラートも確認できるようにしたいです。このissueは間接的にsigmaアラートの中身を確認できるようにしていますが、アナリストが詳細に調査したい場合や、ルール作成する時にいちいちEvent Viewerでevtxの中身を調べなくても良いようにするのが目的です。 パターン 1: detailsが無い場合(Sigmaルール): パターン 2: detailsがある場合(Hayabusaルール):
XML:
Hayabusaのデフォルト出力: -Fを指定した場合: という風に考えていますが、いかがでしょうか? |
details出力に無いフィールドだけ追加するというのは、Sigmaルールで必要なフィールドだけ出力するのと同じ位実装が大変そうな気がするので、とりあえず下記のどちらかにしたいです。
|
了解です。では、「CSVに新しいカラムを追加し、detailsの有無に関わらず全てのルールについて、追加したカラムにSystem以外の全フィールドを出力する。」の方をお願いしたいです。 |
@YamatoSecurity 見難いというか、殆どの値はセルに表示できないです。 |
各手法のメリットとデメリットを比較しました。 CSVのカラムに出力するメリット
デメリット
外部ファイルに1レコードに対して1ファイルずつ出力する。メリット
デメリット
外部ファイルに複数レコードまとめて出力する。
|
会議メモ:
出力されるファイルサイズが3倍近くなっている。hayabusa-sample-evtxの5-6MB位、全データを出したら15MB位 データを集約させるときに余分なデータを送付することを避けたいのでオプションでオンオフをつけれるようにしたい。 |
以下のような出力が出ていて、param1やparam2はないはずだが出力されているという状態になっているとのこと。
|
オプションどうするかについてはissueで話しますか。 バグについては調べます。 |
私の方で調査してみました。
|
コメントありがとうございます。私の確認が不十分で申し訳ないです。@YamatoSecurity から指摘された内容をそのまま転記しておりました。私としてはこのままで問題ないと思います。 前回の打ち合わせでどの形で出力するかは@YamatoSecurity が確認中です @YamatoSecurity ご回答の程よろしくお願いいたします |
はい、問題ありません。 |
CSV値見えない問題については、セル内改行するとある程度見やすくなるかも。デメリットもありますが...。これは他のカラムにも当てはまることです。 |
後はRecordInformationを一番最後のカラムにして、RecordInformationの一フィールドで一つのセルを使うようにするとか。RecordInformationだけカラム数が行毎に可変になりますが、それを許容するために一番最後のカラムにする感じ |
なんか、こういうのがあると、EXCELとかTimelineExplorerとか汎用の表計算ソフトに任せる限界を感じますね。EXCELでやる限りどうやっても見にくいです。 下記のISSUEでもそうですが、EXCELで使うことだけを考えればこういうことをやってもいいですが、pythonとかスクリプトで操作する人からするとこれは余計な処理なので、hayabusa専用のUIを作るのが良いような気がしてきました。 |
お返事が遅くなってすみません。比較とフィードバックありがとうございます。
|
1について |
2について 以下の部分は自分がちょっと前に書いたこと同じだと思いますが、出来ないことはないです。ただ、このように表示すると更に見にくくなる人もいるので、とりあえず今回は実装しません。ただでさえオプションが多いのに、更に多くなってしまいそうという理由もあります。
|
3について UIの外観としてはWindowsのEventViewerのようにテーブルで一覧表示しつつ、詳細は別のタブで表示する感じのものを想定しています。今回の全フィールド出力のように表示内容が多い機能は別タブで表示した方が見やすいです。 pythonでもgoでも全OS/nodependency対応したものが作れないということはないです。dependencyについては、UIフレームワークが何に依存しているかに因る部分もあるので、各言語のUIフレームワークを調査して、動作速度やUIの表現力や記述しやすさ等を元に決めればよいと思います。 |
そうなんですよね。分けたい。 ピボットキーワード処理が2gbのvetch で2分ほどかかっていますが、UIの方に処理を持っていくにしても、表示するのに、時間かかっちゃうと、イライラするかなと思います。 うーん、という気持ちです(ふわふわしてる) |
是非良いUIが作れそうであれば、作りましょう。 |
重複しているフィールドを消しても殆ど意味なかったので、実装しません。この機能は現状の仕様だと使い難いので、作り直すことになります。そのような機能に時間かけても意味ないので、今回はこのままリリースします。 |
@kazuminn 2gbの処理に時間がかかるのはしょうがなくて、それはUIから実行してもterminalから実行しても時間がかかるのは変わらないので、後はUI上で待ち時間中に他の作業ができたりとか、時間がかかる処理であることをUI上で分かるようにするとか、そういう感じだと思います。 |
現状のusageを文字列に指定するやり方ではできませんが、メソッドチェーンの形でサブコマンド設定をすることはできます。Clapの今のバージョンでも可能なので投入すること自体は問題ないと思います。 複雑化するのはあまり好まないという話は処理の面としては @hach1yon のコメントの通りで、モジュールを分ければそれは問題ないと思っています。 複雑になるのは好まないという話を出したのは #393 #412 での話であり、そちらの方では--outputのオプションが -pオプションの有無によって出力されるファイルが異なるという話があり、--outputのオプションの説明が複雑になるので避けたいという意図です。 今回のサブコマンドは指定したらoutput内での特定レコードが追加されるということでオプションに対して一意ではあるので、必須な機能であるかの話は置いといてコマンドの面では複雑にはならないかと思っていました。 |
まぁ、これは今すぐでもないので、次回のミーティングで時間があれば話しましょうか。 |
打ち合わせの結果、v1.2の締切に合わせられそうならばv1.2に戻すとして、暫定的にマイルストーンをv1.2からv1.3に一応変更しておきました。 |
* refactoring * refactoring * under constructing * underconstructing * under construction * underconstructing * fix existing testcase * finish implement * fmt * add option * change name * fix control code bug * fix disp * change format and fix testcase * fix help
* changelog update * Update CHANGELOG.md added contributor in "Fields that are not defined in eventkey_alias.txt will automatically be searched in Event.EventData." ref #442 * Update CHANGELOG-Japanese.md Fields that are not defined in eventkey_alias.txt will automatically be searched in Event.EventData. added contributor in "Fields that are not defined in eventkey_alias.txt will automatically be searched in Event.EventData." ref #442 * Update CHANGELOG.md added bug fixes (#444) and `Performance and. accuracy` add contributor ref(#395) * Update CHANGELOG-Japanese.md * Translated v1.2 change log to Japanese v1.2の内容を日本語に修正 * fixed typo added lacked back quote. * added description added following issue and pr description to readme - #216 / #469 L8 - #390 / #459 L9 - #478 / #482 L19 - #477/ #483 L20 * added description README.md added following issue and pr description to readme - #216 / #469 L8 - #390 / #459 L9 - #478 / #482 L19 - #477/ #483 L20 * changelog update * changelog update * update Co-authored-by: DustInDark <[email protected]>
* Fix/fix clippy warn (#434) - Fixed following Clippy Warnings(previous warning count: 671 -> after: 4) - clippy::needless_return - clippy::println_empty_string - clippy::redundant_field_names - clippy::single_char_pattern - clippy::len_zero - clippy::iter_nth_zero - clippy::bool_comparison - clippy::question_mark - clippy::needless_collect - clippy::unnecessary_unwrap - clippy::ptr_arg - clippy::needless_collect - clippy::needless_borrow - clippy::new_without_default - clippy::assign_op_pattern - clippy::bool_assert_comparison - clippy::into_iter_on_ref - clippy::deref_addrof - clippy::while_let_on_iterator - clippy::match_like_matches_macro - clippy::or_fun_call - clippy::useless_conversion - clippy::let_and_return - clippy::redundant_clone - clippy::redundant_closure - clippy::cmp_owned - clippy::upper_case_acronyms - clippy::map_identity - clippy::unused_io_amount - clippy::assertions_on_constants - clippy::op_ref - clippy::useless_vec - clippy::vec_init_then_push - clippy::useless_format - clippy::bind_instead_of_map - clippy::bool_comparison - clippy::clone_on_copy - clippy::too_many_arguments - clippy::module_inception - fixed clippy::needless_lifetimes - fixed clippy::borrowed_box (Thanks for helping by hach1yon!) * Merge main and output fix#443#444 (#445) * removed tools/sigmac (#441) * removed tools/sigmac - moved tools/sigmac to hayabusa-rules repo * fixed doc link tools/sigmac * fixed submodule track * fixed submodule track from latest to v1.1.0 tag * fixed link * erased enter #444 * erased enter #444 * reverted logo enter * fixed rules submodule target commit #444 Co-authored-by: Yamato Security <[email protected]> * readme update screenshots etc (#448) * Opensslを静的にコンパイルするためにCargo.tomlの設定変更 (#437) * cargo update - openssl static * updated cargo * macos2apple * cargo update * cargo update * aliasキーがない場合もEvent.EventDataを自動で走査する (#442) * add no event key * support not-register-alias search * added checking EventData when key do not match in alias #290 - added checking key in Event.EventData, if key is not exist in eventkey_alias.txt. * cargo fmt * fixed panic when filter files does not exists * fixed errorlog format when filter config files does not exist Co-authored-by: DustInDark <[email protected]> * changed downcast library from mopa to downcast_rs #447 (#450) * Fixed Clippy Warnings (#451) * fixed clippy warn * fixed cargo clippy warnging * fixed clippy warngings in clippy ver 0.1.59 * fixed clippy warnings clippy::unnecessary_to_owned * added temporary blackhat arsenal badge * added rust report card badges #453 * added repository maintenance levels badge #453 * documentation update macOS usage etc * update * added clippy workflow #428 (#429) * added clippy workflow #428 * fixed action yaml to run clippy #428 * fixed indent * fixed workflow * fixed workflow error * fixed indent * changed no annotation #428 * adujusted annotation version * fixed clippy::needless_match * remove if let exception * removed unnecessary permission check #428 * statistics event id update (#457) * Feature/#440 refactoring #395 (#464) * updated submodule * fix degrade for pull req #464 (#468) * fix degrade for pull req #464 * add trim * Fearture/ added output update result#410 (#452) * add git2 crate #391 * added Update option #391 * updated readme #391 * fixed cargo.lock * fixed option if-statement #391 * changed utc short option and rule-update short option #391 * updated readme * updated readme * fixed -u long option & version number update #391 * added fast-forwarding rules repository #391 * updated command line option #391 * moved output logo prev update rule * fixed readme #391 * removed recursive option in readme * changed rules update from clone and pull to submodule update #391 * fixed document * changed unnecessary clone recursively to clone only * English message update. * cargo fmt * English message update. ( 4657c35 cherry-pick) * added create rules folder when rules folder is not exist * fixed gitmodules github-rules url from ssh to https * added output of updated file #420 * fixed error #410 * changed update rule list seq * added test * fixed output #410 * fixed output and fixed output date field when modified field is lacked #410 * fixed compile error * fixed output - added enter after Latest rule update output - added output when no exist new rule - fixed Latest rule update date format - changed output from 'Latest rule update' to 'Latest rules update' * fixed compile error * changed modified date source from rules folder to each yml rule file * formatting use chrono in main.rs * merge develop clippy ci * fixed output when no update rule #410 - removed Latest rule update - no output "Rules update successfully" when No rule changed * Change English Co-authored-by: Tanaka Zakku <[email protected]> * Remove unnecessary code from timeline_event_info and rename files for… (#470) * Remove unnecessary code from timeline_event_info and rename files for issue462 * Remove unnecessary code #462 * add equalsfield pipe (#467) * Enhancement: add config config #456 (#471) * added config option #456 * added process of option to speicifed config folder #456 following files adjust config option. * noisy_rules.txt * exclude_rules.txt * fixed usage in readme * updated rules submodule: * fixed process when yml file exist in .git folder * ignore when yml file exist in .git folder * Add: --level-tuning option's outline * Add: read Rule files * Add: input rule_level.txt files & read rules * cargo fmt * Add: level-tuning function * Reface: split to options file * WIP: Text overwrite failed... * Fix: Text overwrite was failed * Add: Error handlings * Add: id, level validation * mv: IDS_REGEX to configs file * fix: level tuning's file name * Cargo fmt * Pivot Keyword List機能の追加 (#412) * add get_pivot_keyword() func * change function name and call it's function * [WIP] support config file * compilete output * cargo fmt * [WIP] add test * add test * support -o option in pivot * add pivot mod * fix miss * pass test in pivot.rs * add comment * pass all test * add fast return * fix output * add test config file * review * rebase * cargo fmt * test pass * fix clippy in my commit * cargo fmt * little refactor * change file input logic and config format * [WIP] change output * [wip] change deta structure * change output & change data structure * pass test * add config * cargo fmt & clippy & rebase * fix cllipy * delete /rules/ in .gitignore * clean comment * clean * clean * fix rebase miss * fix rebase miss * fix clippy * file name output on -o to stdout * add pivot_keywords.txt to ./config * updated english * Documentation update * cargo fmt and clean * updated translate japanese * readme update * readme update Co-authored-by: DustInDark <[email protected]> Co-authored-by: Tanaka Zakku <[email protected]> * Add: test * Add: README.md * Cargo fmt * Use #[cfg(test)] * Fixed output stop when control char exist in windows terminal (#485) * added control character filter in details #382 * fixed document - removed fixed windows teminal caution in readme * fixed level tuning test and added test files #390 * changed level_tuning.txt header from next_level to new_level * fixed convert miss change to low level * added run args rules path to check test easy #390 * fixed comment out processing in level_tuning.txt * fixed config to show level-tuning option * fixed level-tuning option usage from required to option * reduce output mitre attack detail tachnique No. by config file (#483) * reduced mitre attck tag output by config file #477 * prepared 1.2.0 version toml * added test files and mitre attck strategy tag file #477 * fixed cargo.toml version * updated cargo.lock * output tag english update * cargo fmt Co-authored-by: Tanaka Zakku <[email protected]> * Fix: test file's path was incorrect * Add: add test_files/config/level_tuning.txt * Add: Flush method. * inserted debug data * reverted config usage * fixed test yaml file path * Feature/#216 output allfields csvnewcolumn (#469) * refactoring * refactoring * under constructing * underconstructing * under construction * underconstructing * fix existing testcase * finish implement * fmt * add option * change name * fix control code bug * fix disp * change format and fix testcase * fix help * Fix: show usage when hayabusa has no args * rm: debug line * Enhance/warning architecture#478 (#482) * added enhance of architecture check #478 * changed check architecture process after output logo #478 * English msg update * fixed detect method of os-bit to windows and linux * removed mac and unix architecture and binary and updated its process of windows * fix clippy * added check on Wow64 env #478 * Update contributors.txt Co-authored-by: Tanaka Zakku <[email protected]> * added --level-tuning option to usage * Revert "added --level-tuning option to usage" This reverts commit e6a7409. * readme update * Update README-Japanese.md * readme, version, cargo update * typo fix * typo fix * rm: duplicated test & fix test name * Add: show logo, and some infos * small english fix * twitter link fix (#486) * added feature of tag output reducing to agg condition #477 (#488) * changed level output from informational to info #491 * updated rules submodule * v1.2 changelog update (#473) * changelog update * Update CHANGELOG.md added contributor in "Fields that are not defined in eventkey_alias.txt will automatically be searched in Event.EventData." ref #442 * Update CHANGELOG-Japanese.md Fields that are not defined in eventkey_alias.txt will automatically be searched in Event.EventData. added contributor in "Fields that are not defined in eventkey_alias.txt will automatically be searched in Event.EventData." ref #442 * Update CHANGELOG.md added bug fixes (#444) and `Performance and. accuracy` add contributor ref(#395) * Update CHANGELOG-Japanese.md * Translated v1.2 change log to Japanese v1.2の内容を日本語に修正 * fixed typo added lacked back quote. * added description added following issue and pr description to readme - #216 / #469 L8 - #390 / #459 L9 - #478 / #482 L19 - #477/ #483 L20 * added description README.md added following issue and pr description to readme - #216 / #469 L8 - #390 / #459 L9 - #478 / #482 L19 - #477/ #483 L20 * changelog update * changelog update * update Co-authored-by: DustInDark <[email protected]> * updated rules #493 (#494) * Resolve conflict develop (#496) * removed tools/sigmac (#441) * removed tools/sigmac - moved tools/sigmac to hayabusa-rules repo * fixed doc link tools/sigmac * fixed submodule track * fixed submodule track from latest to v1.1.0 tag * fixed link * fixed rules submodule targe #444 * updated submodule * updated rules submodule Co-authored-by: Yamato Security <[email protected]> Co-authored-by: Yamato Security <[email protected]> Co-authored-by: kazuminn <[email protected]> Co-authored-by: James / hach1yon <[email protected]> Co-authored-by: garigariganzy <[email protected]> Co-authored-by: itiB <[email protected]>
No description provided.
The text was updated successfully, but these errors were encountered: