利用者:Kanbun/作業空間/執筆コンテスト評価 (第6回)

Wikipedia:執筆コンテスト/第六回執筆コンテスト/選考にあたっての、具体的な評価内容をここに記します。

採点主旨

「執筆コンテストは秀逸な記事の選考ではない」というのが、私のポリシーです。「新規記事」としての評価をするということは、おのずと新規記事のその後も、そしてウィキペディアのその後も射程に入ってきます。したがって、むしろこのコンテストは秀逸より審査は厳しいのです。そして難しいのです。新規記事としての総合的な評価をどう下すか、審査員にも課題が課せられていると言えるでしょう。

今回も審査員として審査に当たる上での評価基準を明確にしたいと思います。前回のコンテストでの審査を通して、またその後のほかの審査員・執筆者の方々のコメントを読み、私なりに反省点があり、今回はよりよい評価方針を目指して、以下のように評価することとします。

Kanbunの採点方式

採点は以下の各基準に基づいて行い、併せて100点満点としました。

スタイル（減点方式、20点満点）：主に記事の書式に関して。ただKanbunがよいと思う書式に基づいているので、必ずしもウィキペディア標準を満たしていれば減点しないというわけではないです。
網羅性（減点方式、10点満点）：主に記事の表題にふさわしい記事内容を備えているか。
量（5点満点）：単純に量が多いものを高く評価します。分野内で一番量が多いものを5点、以下4点、3点……となります。
技術点(5点満点)：技術点は記事の種類に合わせて以下のように評価内容が分かれます。
1. 翻訳点（加点方式、5点満点、翻訳記事のみ）：難度の高いと思われる翻訳記事に加点します。
2. 信頼点（加点方式、5点満点、翻訳記事以外）：検証可能性の高い参考文献を用いている記事に加点します。
発展性（加点方式、10点満点）：記事を発展させることを考えた時の潜在的可能性。
内容点（加点方式、15点満点）：記事内容の秀逸性。秀逸な記事として見た場合の評価。
嗜好点（加点方式、10点満点）：記事内容の面白さ。内容点とは異なり、Kanbunが個人的に読み物として面白さを感じた場合に加点します。
芸術点（加点方式、10点満点）：画像や図表などの面白み。
印象点（加点方式、5点満点）：記事全体の印象に関して、あくまでKanbunが個人的によいと思う記事に加点します。
特筆点（加点方式、5点満点）：記事として特筆すべき評価ポイントがあるとKanbunが判断した場合、加点されます。
注意点（減点方式、5点満点）：記事として改善して欲しいポイントがある場合に減点します。

採点方式の特徴

前回の評価基準に対する、今回の評価基準の特徴を説明します。

記事内容の「量・質」を重点化。前回の評価基準では、内容点の評価が「おもしろみ」も含むものであったため、記事内容が量・質において秀逸な記事に匹敵するものであっても、内容点で満点をとることは難しくなっていました。それに対し、今回は記事内容の「おもしろみ」については嗜好点という形で分離させ、さらに単純量による評価点を加えました。
翻訳記事への配慮。前回の評価基準においては、たとえば翻訳記事など、参考文献に直接依拠していないような記事はスタイルで一律4点以上減点したために、翻訳記事が相対的に不利な評価基準でした。今回は参考文献については技術点として分離し、スタイルの評価点は単純に記事としての書式に注目したものに一本化します。参考文献については翻訳記事と書き下ろし記事で評価を分けることとし、とくに問題点を感じる場合は注意点で特筆します。基本的にレベルの高い翻訳記事であれば、問題点の減点を相殺することが可能ですし、そのような記事は特筆点での加点が期待できます。
記事印象評価の配分を低めに。前回の評価基準では芸術点と印象点が合わせて全体の1/4の配点がなされていたために、画像を使っていない記事にはおそろしく不利な評価になりました。また印象点ではKanbunの好みが大きく影響するため、結局印象点が記事の最終的な評価に大きな影響を及ぼしていました。今回はそれを見直し、印象点を5点とし、芸術点と印象点を合わせても全体の1/5を下回る配点となっています。

審査の主眼は公平性

前回のコンテストにおいては、審査員の評価姿勢について執筆者の方々から多くのご指摘を頂きました。その内容は多岐にわたるものでしたが、その主眼は記事の評価方針に偏りがあって、審査にバイアスがかかり、一部の記事は必要以上に低評価となっているのではないかという点に尽きると思います。ただ、審査員は個人として責任を持って記事を選ぶのですから、そこに審査員個人の嗜好というか、選好が働くのはやむを得ないことです。さらに審査は差をつけるということに集中するので、ときに求めすぎるくらい辛い評価で想像以上に差がつく、ということもあるわけです。そのため審査方針というのが非常に大切になってきます。前回の審査に対して投げかけられた疑問への答えとして、今回の審査基準では項目を細分化し、配点を調整しました。今回の採点方式では、一般的に記事に求められる「質・量」と審査員個人の「嗜好・選好」が別々に項目化されており、基本的に前者に傾斜したかたちで配点しました。さらに翻訳記事と書き下ろし記事の有利不利をなるべく小さくする工夫も施しました。

採点方針の各項目の主眼

スタイル、網羅性、量、技術点、内容点、芸術点は一般的な記事の要求水準に関わる項目です。（配点65）
発展性はその記事の将来性です。したがって、網羅性の高い記事は低めに評価されることもあります。この項目は未完成であったり、さまざまな不足が考えられる記事であっても、その記事の必要価値がしっかり示されている記事や、目次構造などで執筆意図が明確である記事を救済するために設けています。（配点10）
嗜好点、印象点はKanbun個人の嗜好・選好を反映させる点です。ここで点数が高い場合は私の好みの記事であり、低い場合は好みではないところがあったということになります。（配点15）
特筆点は、とくにめざましい特筆すべきポイントがある記事に評価を加えるもので、基本的にボーナスポイントです。ほとんどの記事にはつきません。(配点5)
注意点は、Kanbunが新記事に求める水準から見て、改善してほしいところがある場合に減点が加えられます。ここでの減点理由は非常に辛いものが多く、記事によっては実現しがたく、理不尽に思われることもあると思いますが、改善すべき余地あるいは将来の課題とお考え下さい。（配点5）

採点の例

日本のアウトサイダー・アート

旧方式

-2（参考文献）
0
6
14
6（もっと画像がほしいというのが正直な感想）
6

合計：60/80 (75%)

新方式

-2 (参考文献書式)
-0
2 (分野内4位)
5
6
12
9
6 (もっと画像がほしいというのが正直な感想)
3
3 (外部リンクによる画像の補完)
-0

合計1：79/100 (79%)

ハイデルベルク城

旧方式

-4（参考文献、記事内容で議論する時を考えると……）
0
4（発展性を考えると、少し障害が多い気がします）
18（内容は文句なくすばらしいです。抜群でしょう）
8
4

合計：60/80 (75%)

新方式

-0
-0
5 (分野内1位)
5
4 (発展性を考えると、少し障害が多い気がします)
15
8
8
2
5 (圧倒的な記事内容)
-5 (検証可能性の問題、邦文参考文献なし)

合計：82/100 (82%)

知っておいてもらいたいこと（コメント期間中に私はコメントをしません。なぜならコメンテーターではないから）

私は審査員として、コメント期間中にコメントはしません。ほかの審査員やコメンテーターのコメントは参考にはしますが、その期間にコメントをすることは私の評価方法にとって致命的な問題になりかねないので、しません。理由は単純です。

審査員は審査以前に特定の記事に愛着を持つべきではない

一つ、コメント期間にコメントをすることで、その記事が改善されてしまうこと。何を馬鹿な、改善することはいいことだし、そもそもこのコンテストの主旨はウィキペディアの改善にあるのではないかとおっしゃられる方もいるでしょう。至極ごもっとも。ただ、私は審査員ですから、事前に改善点や良い点・悪い点を指摘して審査前に公平性を乱すのは客観的な審査をおこなうという責任に悖る。記事がコメント通りに改善されると、その記事を多少なりとも好ましく思ってしまいますし、改善点をクリアした記事に不足を感じていても、辛い評価はしづらい。それから、コメントをした記事は当然愛着がわきます。また各記事につけるコメントには自然長短ができてしまって、長くコメントをよせた記事に思い入れを抱くのも人としての道理。審査に手心が加わってしまうでしょう。私は審査するときには無垢な心でしたいので、事前に自分がコメントをすることはしません。それに記事の改善点をその都度指摘するシステムは、ウィキペディアのほかの場所に用意されていますから、私はむしろ審査員としての責任を果たすために審査に注力すべきですし、私が事前コメントをすることは客観性を損なうという意味で、私の審査の妨げにしかなりません。むしろ私が主観的な審査方針を示し、客観的な審査方法で審査をすることが、ウィキペディアの改善には貢献できるはずです。繰り返しますが、ここでしか記事の改善点にコメントがもらえないのなら、そうしますが、そうではありませんので、しません。それは客観的な審査をするためで、より大局的なウィキペディア全体の改善にはそのほうがよいと思うからです。

審査員の事前コメントは自由な記事発展にはマイナス

二つ、審査員の事前コメントは記事の自由なあり方を阻害する。コンテストは勝負事ですから、ついつい勝とうと思ってしまう。負けるよりは勝つ方が良いに決まっていますから、当然です。そうすると審査員の意向を気にしてしまう。それに審査員というのはウィキペディアの記事の読み方に自信を持っている人が多く、当然記事のあり方も心得ている。記事内容にも詳しかったりする。私も恥ずかしながら、一流の記事読みとはいかないまでも、二流の上くらいの自信は持っています。そうするとどうなるかというと、どっこい記事につけるコメントは自分の見地から、どちらかというと模範的なウィキペディア記事としての視点からおこなってしまう。もちろん最終的な審査の段階でウィキペディア的に模範的か逸脱しているかは大きな評価対象の一つですが、私が審査で見たい一番のポイントはそこではありません。私が一番見たいのはウィキペディアの今後の指針となるような、革新的な方向性です。だからウィキペディアのスタイルを守っているからといって、見にくい記事は見にくいと言いますし、スタイルを守っていないとしても、よい工夫が有れば評価を高めます。伝統的なウィキペディアのスタイルにのっかるのなら、別に「秀逸な記事の選考」というウィキペディアのよい子ちゃんの代名詞みたいな場があるので、そちらにいけばいいだけのこと。むしろこのコンテストがなぜ「新規記事」を対象とするのか、そのメリットは何かを考えるべきです。模範性の高い記事に、私は悪い評価はしないと思いますが、とびっきりの評価もたぶんしないでしょう。そして、模範的な記事はほかのところでもやっていけると思うので、私はこのコンテストの審査では、あくまで私の評価方針を可能な限り続けていく所存です。一人くらい、こういうのが審査していても問題ないでしょう。私は新規記事は若くあるべきと思います。未熟でも良いから、創意工夫が見たい。それが明日のウィキペディアのスタンダードを切り拓いていくでしょう。

審査員はコメンテーターではないし、コメンテーターは審査員でもない。両者は別物であるべき

コメント期間はむしろコメンテーターのひとが積極的にコメントしてもらいたい。審査に関わらないからこそ、コメンテーターのコメントが求められているのであって、審査に関わる者はその性質上、迂闊にコメントはできません。むしろコメンテーターと審査員ではやることが違うはずです。また記事の細かい改善点をその都度示す方法は、ウィキペディア内でほかにもあります。本コンテストはそれらと差別化されるべきですし、そうじゃないと意味がない。審査基準を示しているのですから、私がコメントをしないといって、怠慢だと思う執筆者はいないでしょうが、審査は厳しくやらせてもらいますので、覚悟して下さい。私も優劣をつけるので、それなりの責任は覚悟してやっているのです。皆さんの記事への思い入れは痛いほどわかりますから。それに差をつけるのは実に心苦しいのです。

審査員にコメントを求める気持ちとそのマイナス点

コメントを入れることによって、記事の執筆者もコメントをくれた人に愛着を持ちます。当然コメントを入れない人よりは、コメントを入れてくれる人を信頼するでしょう。前回の反省会を見ていて、そう思いました。だからコメントをたくさんしている人の審査のほうがより信頼できると思うのでしょう。でも、私はそれは客観的な評価を貫くという姿勢からは遠いと思います。私の評価基準は主観的ですが、評価方法は客観的におこないたいのです。私のコメントで審査の直前まで成長段階の記事を変に歪曲させたくはない。審査の後に記事を矯正する方法はいくつもあるので、むしろ私は素直な驚きをもって審査に当たる方がこのコンテストらしいと思うのです。またそれは参加したすべての記事に対して物理的な時間をほぼ等価値に割くという意味からも、偏向性から免れることができるでしょう。

もちろん審査のコメントはします

もちろん審査員ですから、審査時はコメントします。

選考

以下個別選考にあてる。

分野B

福富ダム

-6 新聞記事の出典情報について。朝日新聞は広島地方面とされているが、中国新聞は朝刊のみでどの面に情報が記載されているのか不明。また注は「。」で閉じるべき。
-0 とくに不足は感じない。標準的なダム記事のレベルは満たしている。
+0 分野内8位。
+0 新聞記事出典は悪くないが、弱いので、加点無し。また『広島町村会五十年史』のような地方史の情報はさらなる出典元があるはず。そこまで確認しないと情報源としてはやや難。
+6 ダムの景観や自然環境への影響、政治的問題など書こうと思えば書けそうではある。もちろん情報源があればの話だが。できたばかりのダムであるし、今後情報が増えることは見込め、したがって発展性において一定程度の成長が見込める。
+5 あくまで秀逸レベルとして見た場合、上から目線になるが、内容が薄い。秀逸選考にこの記事をかけようという人はいないのではないかと思う。
+5 コンパクトによくまとまっている印象が○。ただ内容自体はさして興味を引かなかった。
+10 コンパクトな記事によく写真がまとまっており、印象はよい。
+5 記事自体は非常に簡潔によくまとめられていて、よいと思う。知りたいことがとりあえず載っていて、十分用をなすという印象を受けた。
+5 どうしても執筆コンテストでは、短めの記事は低評価になりがちだが、逆に門戸を広げるという意味でも、こういう記事を専門に取り上げてもいい気がする。不足点はとくに感じない上、記事全体の印象も無難によくまとめたという感じで、こういう堅実さを評価しても良いと思う。
-5 出典。

合計点

14+10+0+0+6+5+5+10+5+5+0=60

個人的にはコンパクトにまとまっていて、押したい記事でもありますが、今回の採点方針から見ると、思ったより低評価になってしまいました。しかし、私自身は出典以外は大きな難を感じませんし、日本語の表現もこなれていたと思います。細かい改善点としては、冒頭部がもうちょっと練り込めたかもと思います。どういうことかというと、「福富ダム（ふくとみだむ）とは、広島県東広島市福富町久芳、二級河川・沼田川本川上流部に建設された多目的ダムである。沼田川総合開発の一環をなすもので、ダムは2008年に完成したが、竣工式は2009年10月に行われた。ダムによって形成された人造湖は2005年まで独立した自治体だった福富町の町の花であったシャクナゲを採って「しゃくなげ湖」と命名されている。広島県が所管する8つの都道府県営ダムでは最大である。」というのが、現在の冒頭部なのですが、これを「福富ダム（ふくとみだむ）とは、広島県東広島市福富町久芳、二級河川・沼田川本川上流部に建設された多目的ダムである。広島県が所管する8つの都道府県営ダムでは最大であり、沼田川総合開発の一環をなすものとして建設された。ダムによって形成された人造湖は2005年まで独立した自治体だった福富町の町の花であったシャクナゲを採って「しゃくなげ湖」と命名されている。」のようにするのがよいというのが私の意見です。竣工の時期などは概要節があるので、そこで述べればいいと思いますし、実際に他のダム記事をいくつか見てみると「沿革」などの節で述べられているようです。またこのダムの意義はまず広島県が管轄するダムでは最大ということにあるように個人的には思うので、それを情報としては早めに提示すべきと思います。別名はいわば余談ですから、最後に持ってきても良いでしょう。冒頭部は最初に読者の目に触れるところですから、要を得た記述が大切と思います。もし印象だけで選ぶとすれば、とても品良く感じた記事で好みですが、今回の採点方式では高評価にはできませんでした。惜しむべきであります。

カジランガ国立公園

-4 一部アルファベット混じりなのが大変気になる。端的に言って、読みづらい。
-0 とくに不足を感じない。
+3 分野内3位。
+4 日本語版記事にないリンク先も多く、固有名詞の把握については苦労されたと思われる。
+2 記述すべき余地はまだありそうに思う。とくに保護運動について。ただ、邦文文献については期待できなさそうであるし、困難を感じる。
+5 秀逸という面から見ると、訳の面ですこし難を感じる。「その断片は、この地方に散在しているカルビ人のルールで見受けられる。」「chaporiesと呼ばれる洪水の間の動物たちの一時的なシェルターである。」「冬の間はジールスや洪水によって形成されるnallahsと呼ばれる溝は乾ききってしまう。」などなど、一部に日本語化されていない言葉が目立つ。
+8 インドの国立公園という題材は興味を引いた。インドではさまざまな自然保護運動が試みられているらしいという認識があったので。また密猟がテロ集団の資金源につながっているという記述は参考になった。
+10 画像のサイズのバランスも良く、配列も考えられている。
+5 記事の雰囲気自体はよい。読みたいと思わせる魅力がある。
+2 翻訳の労を感じる。
-5 日本語参考文献なし。

合計点

16+10+3+4+2+5+8+10+5+2+0=65

英語版の元記事を読むと、難度の高さを感じさせられます。よく挑戦されましたというのが率直な感想です。元記事は秀逸ですが、これは英語版にはリンク先などが整備されていて、この内容でも十分用をなすからでしょう。逆に日本語版としてみた場合、関係記事の未整備などの面から秀逸にするには内容の薄さを感じます。記事全体の雰囲気はよいものを感じます。元記事の持っているよさをよく日本語版にもってきていると言えます。一方で、訳文がこなれていないように感じます。とくにアルファベットはカタカナに直して、必要であればいちいちアルファベット表記を併記する方が、記事としては読みやすいと思います。のちのリンク作成の際のことを考えても、そのほうがよいでしょう。またカタカナ語が多いのも気になりました。「ルール」は「規則」とか「規範」とか「掟」とか訳語が思いつきますし、「シェルター」も「避難所」などとすべきでしょう。邦文文献がないにしても、英語の文献だけでも直接参照されるとよかったかなと思います。求めすぎなのですが、やはり出典を読んでいるのと読んでいないのとでは訳文の正確性にも差が出ますから。理想論としてお受け止め下さい。

専有部分

-8 出典情報の書式が不統一。また「:」を多用したレイアウトは推奨されない。
-0 不足は感じず。
+1 分野内5位。
+5 広く参照されている感がある。
+6 海外の事情への発展性が見込める。
+8 レイアウト・図表の出典の示し方など細かい点で難を感じる。
+6 占有面積について興味深かった。
+8 個人的に一部画像はthumbを使った方がよいと思う。
+5 目次構成は素晴らしく良い。何が書かれているか一目瞭然。
+5 目次構成のよさ。また法律記事のもつ難度の高さ。
-5 出典情報の書式。レイアウトでのインデントの多用。

合計点

12+10+1+5+6+8+6+8+5+5+0=66

率直に、読むのが大変でした。法律記事は読んでいると、どうしても肩が凝ってきますね。しかし、読みやすくする工夫は感じられて、目次構造もしっかりしており、情報へのアクセシビリティにおいて優れたものを感じました。どうしても気になったのはレイアウト面での問題。インデントが多用されているのは、個人的に好みでない上、ウィキペディアでも推奨されていないので、そこで大きく評価を下げて採点しました。そこがかなり辛く思われるかもしれません。

大西洋横断電信ケーブル

-4 脚注を「。」で閉じていない。参考文献の書式の一部が海外の論文の書誌情報形式となっている。
-6 大西洋横断ケーブル自体の記述の充実の必要性。歴史に偏りすぎている。設備や維持管理などの運用面での記述が少ない。
+0 分野内6位。
+3 参考文献が全般的に歴史に偏っている印象。
+8 ケーブルの運用面、性能などの加筆が見込める。
+8 全体的に歴史に偏りすぎており、不足感が否めない。
+10 個人的に内容は興味を引き、おおいに面白い。ただ現状だとむしろ分野Aに相当する記事内容になっているような気がする。
+8 図表は興味を引く。画像につけられたキャプションも適度に関心を引く。
+5 目次構造などもしっかりしており、印象はよい。
+0 特になし。
-5 まず内容は明らかに歴史記事。したがって、歴史記事であるならば、冒頭文でその旨を記した方がよい。また現状では記事の分野として分野Bは適当ではないと考える。内容的に工学的説明はあまりなく、歴史記事的性格が強いため。

合計点

16+6+0+3+8+8+10+8+5+0+0=64

読んだ感想は、歴史記事であるなの一言でした。難しいのですが、分野Bの記事として出すならば、もう少し工学的説明が必要と思います。文献も歴史関係のものが多いように見受けられますし、分野A相当の記事との印象です。歴史記事としてみたならば、内容面に不足は感じませんが、大西洋横断電信ケーブルの記事としてみた場合、現在の利用状況であるとかメンテナンスの問題であるとか、技術的な問題など必要な情報は多々残っていると思われます。現在も利用中なのかどうかも不明ですが、利用されているのであれば、やはりそういった情報は不可欠でしょう。電話ケーブルとの競合が示唆されて、歴史的な記述は終わるわけですが。全体的に見て、好みな記事である反面、分野B記事としては高い評価はしづらく感じました。点数が比較的高めですが、これは採点方式によるものです。

冬季作業車両

-8 参考文献と注の書式。とくに基本的と思われる参考文献は別して羅列しておくべきであろう。
-0 とくに不足は感じず。
+5 分野内1位。
+5 長く、専門用語も多い記事。翻訳の労がうかがえる。
+2 参考文献がしっかり書き出されていないため、記事全体の基本的文献が分かりづらく、しかも外国語。発展に困難を感じる。
+12 内容面ではかなり詳しく網羅されている印象。しかし、訳文が直訳調でこなれていない。とくに原文が受動態の部分は、必要に応じて表現を考えると良いと思う。「圧雪車は20世紀を通してほとんど変化せず、ほとんどはトラクターや雪上車に取り付けられた重いローラーを持ち、圧雪を要する場所で牽引される。」「冬季作業車両の多くは、深い雪に閉ざされた道路を通行可能とするため、スノープラウ（snowplow、除雪板）を装着することができる。」「除雪用プラウは液圧式駆動アームに装着され、雪を移動させるために上げ下げされたり折り曲げたりされる。」など。ただこれは求めすぎな面もあるので、マイナスとは考えず、内容点の評価には含めない。
+6 端的に画像が面白く、興味を引く。日本語がややこなれていないが、内容は面白い。
+8 画像は魅力的に配置されている。左右に分かれているのが気になるが、画像の大きさが配慮されているので見やすい。ただ環境によっては大きくレイアウトが崩れることもあるかもしれない。
+5 記事の印象自体は非常によい。
+5 画像の美しさ、翻訳の労。
-5 日本語参考文献なし。

合計点

12+10+5+5+2+12+6+8+5+5=70

画像の美しさがまず目を引く記事です。しかし左右に分かれて配置されているので、記事本文がでこぼこした印象なのが気になります。画像サイズなどは配慮されているので、私のPC環境ではレイアウトの崩れなどはありませんが、携帯電話環境などではもしかするとレイアウトの大きな乱れがあるかもしれません。参考文献節を設けていないのも気になります。事典である以上、その事柄の基本的な文献を提示して、読者がより深い内容を知りたいと思った時の欲求に応えられるようにするのも大切なことでしょう。