Wikipedia:井戸端/subj/Help for Non-Japanese Speakersに投降された英語版ウィキペディアのイタズラ編集自動検出システムの紹介
 |
|
Help for Non-Japanese Speakersに投降された英語版ウィキペディアのイタズラ編集自動検出システムの紹介
[編集]日本語以外用の井戸端にとある白い猫さんが表題のシステムについて、日本でも導入されてはどうかとの提案を投稿されています。
その投稿を和訳しました。興味がある人は協力されるとよいと思います。私はこのシステムの関係者ではなく、単に訳しただけですので、質問や返答などがあればとある白い猫さんに直接お願いします。
コンピューターは計算がとても得意ですが、計算以外のことになると最悪です。ちょっとしたプログラムでも非常に難しくなります。そこで人工知能の登場です。プログラミングをせずに人工知能へ問題の解き方を教えることができます。私たちは今まさにそれをやっています。
私たちはm:Research:Revision scoring as a service(リビジョン評価サービス)と呼ばれるプロジェクトをしており、MediawikiやWikimediaの人工知能システムの品質管理をしようとしています。既にシステムは実装済みで、複数の言語のウィキペディアで稼働しており、さらにほかの言語ほかの言語へ広めようとしています。しかも英語版、ポルトガル語版、ペルシャ語版、トルコ語版ではアルゴリズムの改善活動が広まっています。
私たちは現在、(m:ORES)というAPIでいたずら行為を検出することに力を入れています。システムを安定させるために頑張りました。
ここに提供する例は2万件のリバート例を用いて人工知能に学習させた結果に基づいたものです。このモデルには2つの問題があります。1つは新規ユーザーなどによるミスをリバートする編集があり、これはいたずら行為ではないため、人工知能が間違った学習をしてしまうというものです。もう1つは悪意のある人と善意の人を見分ける力が無いということです。私たちのシステムを説明するために英語版から3つの例を挙げます。これらの例はほぼランダムに選びました。
- Score of 90% diff en:Moncef Mezghanni
- 差分を見て分かるように、これは明らかに英語版ウィキペディアで歓迎されない編集です。人工知能と人間の判断が一致しています。
- Score of 75% diff en:Monin
- 私が差分を見ても直ちにはリバートすべきかどうか判断できません。詳しく見ると、以前の版が自然な内容であったのに対し、新しい版ではスパムっぽいにも関わらず、一目見て明らかにいたずらだと分かるものではありません。人工知能も人間も判断が鈍ります。
- Score of 19% diff en:Curiosity killed the cat, but satisfaction brought it back
- 差分を観ると記事が明らかに改善しています。人工知能によるスコアは急落し、この編集はリバートされるべきではないことを示しています。
また私たちは別途作られた品質評価基準en:Wikipedia:Version 1.0 Editorial Teamに基づいて記事の品質を自動評価するシステムにも取り組んでいます。今のところ英語版だけに実装されていますが、他の言語にも普及するとよいと思います。日本のウィキペディアで同様の品質評価基準があるかどうかわかりません。これを示すために適当に5つの記事を選びました。
- Predicted: Start class (十分に査読されていない) Perm link en:Maidenhead Advertiser
- Predicted: Stub class (スタブ認定) Perm link en:Joel Turrill
- Predicted: C class (スタブ認定) Perm link en:Kajaanin Haka
- Predicted: C class (Cクラス認定) Perm link en:Castell Arnallt
- Predicted: Featured class (優秀な記事認定) Perm link en:Hurricane Diane
記事の査読や再査読をしないということはよくあることです。私たちはこれを自動化しています。日本版でもこれを採用してもらえればと思っています。これには次のものが必要になります。
- m:Wiki labels/Interface translationとm:Wiki labels/Interface translation/Edit qualityの翻訳。
- en:Wikipedia:Labelsのローカライゼーション。
- 信頼できるユーザーグループのリスト。botやsysopの他に、どのユーザーグループが信用できるのか？ abusefilter、bot、bureaucrat、checkuser、eliminator、flow-bot、 interface-editor、ipblock-exempt、oversight、rollbacker、sysopなどがあるようです。
- bad words, informal words and stop wordsのような言語データ。
人間がチェックできるようにリストを自動生成中です。生成しました(下記参照)。これらが完成しましたら、最大2000件の編集に、生産的か破壊的か、善意か悪意かというラベルを張る品質改善キャンペーンを開催して欲しいと思います。en:Wikipedia:Labels/Edit qualityは英語版で行われた同様のキャンペーンです。
これが終わると編集の評価基準を生成でき、ScoredRevisionsといったガジェットやhuggleのようなツールで使えるようになります。もしコミュニティが望むのであれば、自動的にいたずらをリバートするbotにも利用可能です。
要するに私たちのアルゴリズムはコミュニティの協力に依存しています。どんな質問でも遠慮なくどうぞ。metaか、IRCの#wikimedia-aiにも出没していますので、そのどちらかで。またhttps://github.com/wiki-aiからも連絡できます。
追記:リバートされる編集によく含まれる特徴的な言葉の一覧がありますgenerated the list of suspected bad words。各言語のネイティブスピーカで信頼できる人の目によるチェックが必要です。呪いの言葉など、ウィキペディアではどこでも通常受け入れられないような汚い言葉であるかどうか、またこんにちわや(笑)など会話ページでは問題ないけれども記事では問題があるような口語であるかどうかを決めるためのリストですのでご覧ください。汚い言葉や口語を追加したければ遠慮なくどうぞ。
--Uiweo（会話） 2015年11月9日 (月) 09:23 (UTC)
コメント 投降ではなく投稿ですよね？--ブックカバー（会話） 2015年11月9日 (月) 10:35 (UTC)
