Wikipedia:井戸端/subj/管理ボットの導入の是非について

井戸端のタグ：MediaWiki拡張機能 | ツール | 荒らし対策 [編集]

管理ボットの導入の是非について

管理ボットと書いていますがオープンプロキシをブロック(今後作りたいとは思っていますが)したりするものではありません。現在、WMF財団ではAutomoderatorという荒らしだと思われる編集を自動的に差し戻すものを開発しているそうです。Automoderatorを日本語版ウィキペディアに導入さることに関する意見を聞きたいと考えています。 一部の言語版では似たような動作をするボットが走っています。よくは覚えていませんが日本語版でも自動的な差し戻しをしているアカウントが過去にあったことを見た記憶があります。--Chqaz（会話） 2023年9月22日 (金) 09:59 (UTC)

mediawikiのTmvさんの会話ページにwmfの方がAutomoderatorについてjawpに知らせてほしいという内容を書き込んだことをTmvさんに教えていただきました。私がいくつかwmfの方と話しコミュニティの意見をほしいということなのでこのトピックを作成しました。--Chqaz（会話） 2023年9月29日 (金) 09:47 (UTC)

以前管理者だったrxyさんが確かボットによるLTAの自動差し戻しを試みていた記憶があります。導入に賛成反対を問われても与えられた情報が少なく、MediaWikiの文章も技術的な話題に遠い方が翻訳されているため分かりづらく、結果的にコメントしづらい状況になっている印象を受けます。もう少し掘り下げた説明があれば進めようはあると思います。--Marine-Blue^{talk✾contribs✾mail} 2023年9月28日 (木) 15:41 (UTC)

コメント ご紹介いただきありがとうございます。Automoderator/ja（自動モデレーター）は現在概念実証を行っている段階であるという認識です。日本語版ウィキペディアあるいは他のウィキメディア・プロジェクトにおいて、この仕組みが開発された場合に役に立つか、導入する可能性があるか、必要な機能は何かを議論して、フィードバックできれば開発に貢献できるものと思います。さて、本機能は自動で巡回を行い、必要に応じて差し戻しを行うボット様のものを提供するものと理解しています。行われた編集が有意な編集なのか、荒らしであるのかを機械学習によって精度よく自動判断できるようにするための取り組みであり、実現すれば一定の導入効果は見込めるものと考えます。思いつく問題点としては、

1. 機能が日本語に対応できるのか
2. 誤検知（False positive、擬陽性）をコミュニティがどの程度許容するのか（あるいはまったく許容しないのか）
3. 判定基準をカスタマイズ可能なのか（誤検知を是正できるか、LTA編集の傾向を学習させる等の対応が可能かなど）
4. 管理者権限を伴うのか（短時間のブロックを自動で行う機能の予定があるのかなど）
5. 同様の判定機能を編集フィルターに追加することで編集を未然に不許可対応やタグ付けする方がよりよいのではないか（履歴を残すことで誤作動の判断を利用者が行いやすくなる点がメリット？、ただし機能説明に予防できるともある）
6. AIによる検閲とならないか
7. 既存のボットの実績としてどの程度の効果があったのか

などがあります。導入によってかえって手間が増えるような事態も起こりえるものと思います。そのような場合、採用はされないでしょうが、どの程度の効果を見込んでいるのかは気になります。劇的に変わることを想定しているのか、ないよりはあった方がいい程度の想定なのか、試してみないとわからないよといった段階なのか。個人的な感覚では、日本語版のコミュニティは誤検知には不寛容であるように思いますので、よっぽどの効果が見込めないと導入には至らないのではないかと考えます。ウォッチリストや通知などで更新があれば内容を確認するようにも思い、利用者の対応に変化はないかもしれません。多数のページを確認されることもある管理者や巻き戻し者の方の意見はまた違うのかもしれません。--Amayus（会話） 2023年9月30日 (土) 14:11 (UTC)

機械翻訳の直接使用を許していないのに、人の精査しない、条件分岐のよく分からない機械判断に記事をいじらせてはいけない。問題記事にリストアップ、報告に用いるのがいいところ。--シェン,アーナリー,ン,アーバァ.（お気軽に会話ページへご連絡ください） 2023年10月2日 (月) 10:36 (UTC)

コメント 本件と機械翻訳との関連が理解できませんでした。Automoderatorは判定式の生成に大規模言語モデルを活用したベイジアンフィルタのような機能をMediaWikiに追加することの提案であり、差し戻しはしても記事の内容に関する編集を伴うようなものではないでしょう。判断部分はmeta:Machine learning models/Proposed/Multilingual revert riskなど別で提案されており、それを使用して処理を自動化することの是非を聞いていると思います。一応、日本語への対応も予定されているようです。ただ、新規利用者やIP利用者への鋭敏性を持つとのことなので、IP利用者が多いとされる日本語版ウィキペディアではそのような点でも導入は慎重になる必要があるかもしれません。--Amayus（会話） 2023年10月2日 (月) 12:25 (UTC)

@Amayus

遅れて申し訳ありません。財団の方の回答を私が意訳したものです。

1.機能が日本語に対応できるのか

日本語でも動作します。(原文:Automoderator will work on all language Wikipedias, so it is compatible with Japanese.)

2.誤検知（False positive、擬陽性）をコミュニティがどの程度許容するのか（あるいはまったく許容しないのか）

少しずれる回答ですがコミュニティごとに誤検知率を設定可能。また、最新の情報を見る限る5段階に設定できるようです。(原文:We will be building Automoderator to be configurable by each community, so the Japanese Wikipedia can set it to have a low false positive rate. This will just mean that it also reverts less bad edits overall.)私(Chqaz)の意見としては井戸端等で議論していければと思います。

3.判定基準をカスタマイズ可能なのか（誤検知を是正できるか、LTA編集の傾向を学習させる等の対応が可能かなど）

ツールの動作をカスタマイズできるようにする(原文:We will allow customisation of how the tool works, and when false positives are reverted we plan to use this data to train the model, to improve it over time.)

4.管理者権限を伴うのか（短時間のブロックを自動で行う機能の予定があるのかなど）

現時点ではないが将来的には検討。(原文:We do not currently plan to give Automoderator administrator privileges, but this is something we will consider for the future.)

5.同様の判定機能を編集フィルターに追加することで編集を未然に不許可対応やタグ付けする方がよりよいのではないか（履歴を残すことで誤作動の判断を利用者が行いやすくなる点がメリット？、ただし機能説明に予防できるともある）

差し戻しならページの履歴で簡単に確認することができ又、実装も簡単。(原文:We have thought a lot about whether Automoderator should prevent the edit from happening before it is saved, or revert the edit afterwards. We decided to start with reverting because it is easier to implement, and we think it leads to more transparency for the community to easily see what the software is doing. With AbuseFilter, you have to go and look at a different log, as the decisions aren't visible in the page history.)

6.AIによる検閲とならないか

Automoderatorは直接編集した内容を考慮することはない為開発チームは検閲にはあたらないと考えている。(原文:Automoderator will not consider the text of an edit directly, so we do not think it will censor content.)

7.既存のボットの実績としてどの程度の効果があったのか

他のプロジェクトの話ですが破壊行為を差し戻す以外の差し戻しを含めた全体の差し戻しの5～15％がAutomoderatorのようなボットによるものでした(T341857)(原文:We did some data analysis about anti-vandalism bots (T341857) and found that volunteer bots on other projects are responsible for approximately 5-15% of all edit reverts (this includes reverts which are not addressing vandalism).)

--Chqaz（会話） 2023年10月25日 (水) 02:27 (UTC)

代わりにお問い合わせいただきましたようでありがとうございます。大変お手数をおかけし申し訳ありません。担当の方からの返答は参考になります。仕様への要望は思いつくものがまだあるのですが、あまり書きすぎると荒らし行為を行う者への示唆となってしまうので難しいものです。1割程度をボットが対応してくれるということであれば、それは有効だといえるのかもしれません。こういうものはえてして動いているものを見ないと何とも言えないということがあるかと思いますので、下記でご案内頂いたような実際に試してみることができるというのはありがたいことだと思います。あとはやはり実際に差し戻しの対応を行っている方からの意見が集まればよいと思います。私も過去に最近の更新を見ながら目についたものを取り消すような行動をとったこともありましたが、効果的な対応というものは難しかった覚えがあります。--Amayus（会話） 2023年10月25日 (水) 21:02 (UTC)

情報 Automoderatorがテストできるそうです。詳細はmw:Moderator Tools/Automoderator/Testingをご覧ください。--Chqaz（会話） 2023年10月25日 (水) 06:36 (UTC)

コメント Dataset 1だけですが試してみました。提供されているものは、実際に動かしてみるというよりは、あらかじめ開発側で判定させた個別編集について、自分の差し戻し判断とどのように異なるのかを比較してみるといった内容です。5段階中一番弱い設定（VERY CAUTIOUS）であればデータセットでの30件中3件を差し戻しており、これだけを見れば10%の差し戻し率となっています。一番強く行う（NOT CAUTIOS）と30件中14件と半分近くを差し戻す判定になっています。中には現時点で版指定削除済みの編集もあり、妥当性を追確認しづらいものもありますが、そのような取り消し内容がないかどうか、Automoderatorの対応内容についても結局は人目での確認が必要そうです。最も強力なレベル（NOT CAUTIOS）でも、人名の書き換えなどの細かな荒らしには対応しきれておらず、確認を減らすことができるのかは分かりかねるところです。個人的には一番弱い設定（VERY CAUTIOUS）は少し取りこぼしが目立つので、2番目のレベル（CAUTIOS）あたりでの運用はアリなのではないかと感じましたが、その場合に差し戻し判定となったもので疑念を感じる特別:差分/92909324などは、IP利用者さんによる編集だからなのか、純粋に編集内容からの判定となるのか、誤判定とするか微妙なラインに感じます。他のデータセットも試すとまた違う感想になるかもしれません。--Amayus（会話） 2023年11月13日 (月) 08:22 (UTC)

情報 Wikipedia:お知らせ#荒らし対策のツール登場（オートモデレータ_-_Automoderator（特別:差分/99162136）が掲示されています。--Amayus（会話） 2024年2月7日 (水) 22:19 (UTC)