Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

AI学習用データセットからの除外宣言(noai, noimageai) / Declaration of exclusion from AI datasets #10819

Closed
Nanashia opened this issue May 9, 2023 · 31 comments
Assignees
Labels
✨Feature This adds/improves/enhances a feature

Comments

@Nanashia
Copy link
Contributor

Nanashia commented May 9, 2023

Summary

DeviantArtという英語圏のイラスト・CG・小説投稿サイトが、投稿データをAIの学習データセットに含めないように宣言するmetaタグとHTTPヘッダを提唱しています。

https://www.deviantart.com/team/journal/UPDATE-All-Deviations-Are-Opted-Out-of-AI-Datasets-934500371
image
image

For Developers: Implementing noai or noimageai

Developers can implement these directives in two ways.
Meta Tag
<meta name="robots" content="noimageai">
and/or
<meta name="robots" content="noai">

HTTP Response Header
X-Robots-Tag: noimageai
and/or
X-Robots-Tag: noai

クローラー拒否(noindex)と似た感じの記法で、ユーザーごと or ファイルごと or 投稿ごとに設定できるようになって欲しいです。

この記法はあまり流行っているとはいい難いですし、noindex同様にクローラーへの強制力はありませんが、
文章・静止画・動画・音楽問わず、生成AIに対する関心が高まっているのでこういった選択肢を用意することはMisskeyで活躍するアーティストさんたちの応援になると考えます。

@Nanashia Nanashia added the ✨Feature This adds/improves/enhances a feature label May 9, 2023
@nexryai
Copy link
Contributor

nexryai commented May 9, 2023

もしやるならnoindexとは違って、あくまでもこれはまだ提唱段階にあるということを明示した方がいいと思う。

@Nanashia Nanashia changed the title AI学習用データセットからの除外宣言(noai, noimageai) AI学習用データセットからの除外宣言(noai, noimageai) / Declaration of exclusion from AI datasets May 9, 2023
@syuilo
Copy link
Member

syuilo commented May 9, 2023

やるか

@syuilo syuilo self-assigned this May 9, 2023
@syuilo
Copy link
Member

syuilo commented May 9, 2023

HTTP Response Headerがちょっと面倒そう

@syuilo
Copy link
Member

syuilo commented May 9, 2023

そうでもないか

@syuilo syuilo closed this as completed in ae5a72a May 10, 2023
@syuilo
Copy link
Member

syuilo commented May 10, 2023

HTTP Response Header忘れてた

@Nanashia
Copy link
Contributor Author

早速の実装どうもありがとうございます! 🙏🙏🙏🙏

少し文言について、利用者が誤解してしまう可能性があるのでコメントさせてください。

misskey/locales/ja-JP.yml

Lines 1041 to 1042 in ae5a72a

preventAiLarning: "AIによる学習を防止"
preventAiLarningDescription: "投稿したノート、添付した画像などのコンテンツを学習の対象にしないようAIに要求します。これはnoaiフラグをHTMLレスポンスに含めることによって実現されます。"

このプロトコルは、あくまで学習を望まないという意思を表明するものであって、AIの学習を完全に「防止」するものではありません。画像に加工を施して学習を妨害する、みたいな機能と誤解されるととてもマズいです。

そのうえで、下記のような感じがよいかも、と思いますがいかがでしょうか。
cc @nexryai

  • "AIによる学習を望まない"
  • "投稿したノート、添付した画像などのコンテンツを学習の対象にしないようAIに要求します。これはnoaiフラグをHTMLレスポンスに含めることによって実現されます。この機能は実験的であり、AIによる学習を完全に防止するものではありません"

@nexryai
Copy link
Contributor

nexryai commented May 10, 2023

"投稿したノート、添付した画像などのコンテンツを学習の対象にしないようAIに要求します。これはnoaiフラグをHTMLレスポンスに含めることによって実現されます。この機能は実験的であり、AIによる学習を完全に防止するものではありません"

この文言はとてもいいと思います。誤解を生むことも少なそう。

@syuilo
Copy link
Member

syuilo commented May 10, 2023

投稿したノート、添付した画像などのコンテンツを学習の対象にしないようAIに要求します。

とあるから現状でも問題ないと考えます

@Nanashia
Copy link
Contributor Author

見解どうもありがとうございます!

preventAiLarning: "AIによる学習を防止"
そのうえでのコメントですが、ここの文言だけでも変えられないでしょうか。防止って言っているのにAIに学習された!Misskeyはウソをついている!みたいなクレームに発展しないかを心配しています。
(この辺、ナイーブな人も多いのでちょっと慎重になっています。気にしすぎかもしれませんが。)

@syuilo
Copy link
Member

syuilo commented May 10, 2023

「軽減」にするかしら

@syuilo
Copy link
Member

syuilo commented May 10, 2023

「許可しない」でも良いかも

@Nanashia
Copy link
Contributor Author

候補としてはこんな感じ?
「AIによる学習を軽減」 ← ママ案
「AIによる学習を望まない」 ←意思を強調
「AIへの利用を拒否」 ←インデックス拒否みたいな感じ

@syuilo
Copy link
Member

syuilo commented May 10, 2023

タイトルを「AIによる学習を拒否」にして「この機能は実験的であり、AIによる学習を完全に防止するものではありません」を追加する

@Nanashia
Copy link
Contributor Author

タイトルを「AIによる学習を拒否」にして「この機能は実験的であり、AIによる学習を完全に防止するものではありません」を追加する

個人的にはこちらの方針で問題ございません!

@tamaina
Copy link
Contributor

tamaina commented May 10, 2023

実験的というより尊重されない可能性があることを言ったほうがよさそう

@Nanashia
Copy link
Contributor Author

迅速に実装いただき、また細かい文言の相談まで対応いただきましてありがとうございました 🙏🙏🙏

一点補足ですが、提唱元のサイトはこのオプションをデフォルト"OFF"にしたところ、
利用者から猛反発があってデフォルト"ON"に舵を切った経緯があります。
ですので、残念ながらどちらをデフォルトにしようが反発は起きてしまうでしょう。つらい。

@u1-liquid
Copy link
Contributor

この件、結局尊重してくれるかも分からないフラグでどっちにしても反発が起きるということを事前に知ってたら実装自体反対してたかも

@EbiseLutica
Copy link
Contributor

まあそもそもAIに対する是非って未だ全世界的に結論は出てなくて、話すことそのものが疲れるような段階にあるので、Misskeyにこれを導入した時点でその白熱的な議論に巻き込まれることは覚悟すべきだったかも(この機能が実装されることを追えてなかったので、これをもっと早く言えばよかった)

@kanasaki15
Copy link

横槍失礼します

ひとまずサーバー側のコントロールパネルでデフォルト値を設定できるようにしませんか?

@tamaina
Copy link
Contributor

tamaina commented May 11, 2023

デフォルトで有効にすると反発が起きるとはまったく思っていなかった

@u1-liquid
Copy link
Contributor

デフォルトで有効にすると反発が起きるとはまったく思っていなかった

個人的には

  • 自分のデータの公開範囲が勝手に変わったと思えばあまり好ましくはない、勝手にAI反対って趣旨のタグが付いたのと同じなのでちょっとアレ
  • おいしいBOT、れいじゅぼっとなどが急にグレーになったのも微妙
  • APで連合された場合結局尊重されそうにないフラグなので更に微妙

って感じだった

@tamaina
Copy link
Contributor

tamaina commented May 11, 2023

テキストはあんま考えてなかったけど…グレーになるのは仕方ないかも

ところで、自動NSFWで機械学習使っときながらユーザーのデータを使うのデフォルトでNGというのはちょっと矛盾がある気がする

@acid-chicken
Copy link
Member

ところで、自動NSFWで機械学習使っときながらユーザーのデータを使うのデフォルトでNGというのはちょっと矛盾がある気がする

train じゃないから話は別じゃない?
train じゃない利用を含めると自動翻訳などが使えなくなる

@acid-chicken
Copy link
Member

APで連合された場合結局尊重されそうにないフラグなので更に微妙

とりあえずこれが問題点として大きいのでほぼ効果のない宣言をしているとして差し戻してもいいレベルに感じている

@u1-liquid
Copy link
Contributor

u1-liquid commented May 11, 2023

no-ai-trainじゃなくno-aiで、一番上にリンクされてる記事にもnon-human usageAI datasets prevent to use your contentなど、特に学習に限って制限するニュアンスではないかも

NSFW判定もAIツールにINPUTとして渡すので、AI DatasetがUSEするのでは?といえばUSEしてる

@acid-chicken
Copy link
Member

NSFW判定もAIツールにINPUTとして渡すので、DatasetがUSEするのでは?といえばUSEしてる

ちょっとよく意味が分からないけどモデルデータはオフラインなのになぜここで主語が Dataset になるの?

@tamaina
Copy link
Contributor

tamaina commented May 11, 2023

オフラインでも将来的なデータセット向上に使おうとした場合に使えないのはどうなの(ということになるのではないか)という話

@acid-chicken
Copy link
Member

話がややこしいし続けてもこれからややこしくなるから続きは別で切ることにして本題に戻りたい

@u1-liquid
Copy link
Contributor

u1-liquid commented May 11, 2023

ちょっとよく意味が分からないけどモデルデータはオフラインなのになぜここで主語が Dataset になるの?

一番上のDevianArtsの説明がAI Datasetがなんとかかんとかになってるのでそれです
オンラインオフライン関係なくAIデータ集合ではある

追記
もうちょいまとめるとNSFWプラグもAIでNSFWというプラグ(ラベル)を生成してるので、使われてるといえば使われてるって話です

@acid-chicken
Copy link
Member

話がややこしいし続けてもこれからややこしくなるから続きは別で切ることにして本題に戻りたい

あとこの話の不毛な点として、単なる利用において AI か否かとかどこまでが利用なのかという議論が着地しない
例えばユーザーが iPhone を使っていたとき AI 「利用」禁止のコンテンツに iOS の「翻訳」機能が使えないどころか「Siri からの提案」に含まれるのを阻止するためそもそも閲覧すべきでないとか頓珍漢な話に突入しかねない

@u1-liquid
Copy link
Contributor

結局 noai 自体定義が曖昧で現実的ではないかも

syuilo added a commit that referenced this issue May 12, 2023
* refactor(frontend): use css modules

* feat: 投稿したコンテンツのAIによる学習を軽減するオプションを追加

Resolve #10819

* enhance(backend): publicReactionsをデフォルトtrueに

* 念のためnoimageaiもつける

* add X-Robots-Tag: noai

* Update ja-JP.yml

* fix(frontend): ブラーエフェクトを有効にしている状態で高負荷になる問題を修正

* enhance(backend): graceful shutdown for job queue and refactor

* fix(backend): テスト時は一部のサービスを停止

* fix test

* New Crowdin updates (#10815)

* New translations ja-JP.yml (English)

* New translations ja-JP.yml (German)

* New translations ja-JP.yml (Korean)

* New translations ja-JP.yml (Chinese Traditional)

* New translations ja-JP.yml (Chinese Traditional)

* refactor

* bump

* refactor(frontend): use css module

* refactor(frontend): use css module

* delete unused component

* センシティブワードを正規表現、CWにも適用するように (#10688)

* cwにセンシティブが効いてない

* CWが無いときにTextを見るように

* 比較演算子間違えた

* とりあえずチェック

* 正規表現対応

* /test/giにも対応

* matchでしなくてもいいのでは感

* レビュー修正

* Update packages/backend/src/core/NoteCreateService.ts

Co-authored-by: Acid Chicken (硫酸鶏) <[email protected]>

* Update packages/backend/src/core/NoteCreateService.ts

Co-authored-by: Acid Chicken (硫酸鶏) <[email protected]>

* 修正

* wipかも

* wordsでスペース区切りのものできたかも

* なんか動いたかも

* test作成

* 文言の修正

* 修正

* note参照

---------

Co-authored-by: Acid Chicken (硫酸鶏) <[email protected]>

* Update CHANGELOG.md

* New Crowdin updates (#10823)

* New translations ja-JP.yml (English)

* New translations ja-JP.yml (German)

* ci: fix typo

* fix(frontend): より明確な説明にしたのとtypo修正

* fix typo

* fix(frontend): カラーバーがリプライには表示されないのを修正

* fix(frontend): チャンネル内の検索ボックスが挙動不審な問題を修正

Fix #10793

* enhance(backend): ノートのハッシュタグもMeilisearchに突っ込むように

今後ハッシュタグ検索とか実装するときのため

* feat(frontend): ユーザー指定ノート検索

* fix(frontend): fix retention chart rendering

* Update about-misskey.vue

* meta: Remove @rinsuki from reviewer-lottery (#10830)

* New Crowdin updates (#10824)

* New translations ja-JP.yml (English)

* New translations ja-JP.yml (German)

* New translations ja-JP.yml (Chinese Traditional)

* New translations ja-JP.yml (English)

* New translations ja-JP.yml (Chinese Traditional)

* New translations ja-JP.yml (German)

* New translations ja-JP.yml (English)

* New translations ja-JP.yml (Chinese Traditional)

* New translations ja-JP.yml (French)

* New translations ja-JP.yml (German)

* New translations ja-JP.yml (English)

* New translations ja-JP.yml (Japanese, Kansai)

* New translations ja-JP.yml (Chinese Traditional)

* New translations ja-JP.yml (Spanish)

* New translations ja-JP.yml (German)

* New translations ja-JP.yml (Italian)

* New translations ja-JP.yml (Korean)

* New translations ja-JP.yml (Norwegian)

* New translations ja-JP.yml (Russian)

* New translations ja-JP.yml (Chinese Simplified)

* New translations ja-JP.yml (Indonesian)

* New translations ja-JP.yml (Thai)

* enhance(frontend): アカウント初期設定ウィザードにプライバシー設定を追加

* Update CHANGELOG.md

* fix(backend): ひとつのMeilisearchサーバーを複数のMisskeyサーバーで使えない問題を修正

* fix MkUserSetupDialog.Privacy.vue

* ci: skip non-Japanese locale on TurboSnap

* ci: notify on changes for push events

* ci: fix missing branch

* Update basic.cy.js

* [ci skip] New Crowdin updates (#10834)

* New translations ja-JP.yml (English)

* New translations ja-JP.yml (Arabic)

* New translations ja-JP.yml (German)

* New translations ja-JP.yml (Chinese Simplified)

* New translations ja-JP.yml (Japanese, Kansai)

* New translations ja-JP.yml (Arabic)

* 🎨

* 🎨

* enhance(frontend): add retention line chart

* update deps

* refactor

* fix(frontend): Pageにおいて画像ブロックに画像を設定できない問題を修正

Fix #10837

---------

Co-authored-by: nenohi <[email protected]>
Co-authored-by: Acid Chicken (硫酸鶏) <[email protected]>
Co-authored-by: rinsuki <[email protected]>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
✨Feature This adds/improves/enhances a feature
Projects
None yet
Development

No branches or pull requests

8 participants