本稿はBS氏が「石、投げられますか」（閉鎖）において発表された考察を、許可を得て転載したものです。
相互批評型Webサイトランキング「一字」というものがある。
このランキングの最大の特徴は相互批評型であるという点で、そこが長所でありまた問題点でもある。
批評というのは結局評価者の質が全てなのだ。しかしながらこのランキングにおいてはどうもその点が失敗しているように見える。原因は色々だろう。
まず一つ目に、批評したくて登録しているのではない、批評されたいから登録しているのだけれども批評しなければ批評されないので仕方なくやっている人が少なからずいると予想されるという点が挙げられるだろう（僕だってしなくていいなら批評したくない）。これではろくに読み込まず、適当な印象で短いコメントを付けて批評するというスタイルが横行しても仕方がない。批評家の自覚が足りない参加者が多いのだ。
二点目。匿名である点。客観性は増すのかもしれないけれども、それよりも無責任な批評を生み出してしまっている気がする。しかし匿名でなくすの非現実的なので仕方がない。（ただ、仕方がない、つまり改善の方法がなかなか見つからないからこそ根本的な問題であるともいえる）
三点目。基準の統一が徹底していない。これは仕方のないことだろう。同じように感じても付ける点数は人によって違う。だからどうしても偏りが出る。３０評価くらいまでいけばある程度は平均化されるかもしれないが、とてもそこまでは望めない現状において、あのランキングは参考程度になっているかさえ怪しい。
四点目に、自分自身も参加している以上、自分のランキングを上げたいと思うのは当然で、そうするとどうしても他人への評価が低めになってしまうという点も挙げられるだろう。しかしこれは全てにおいてそうなのであるから平均化される。大した問題ではないだろう。
五点目。宣伝効果が少ない。たとえばアクセス解析を見ても（僕のサイトは長らく二位だったにも関わらず）ほとんど飛んでこなかった。また、「一字」のカウンタを見てもそれは明らかだ。そのために結局登録したい人が増えず、活性化されていない。そのために宣伝効果が少ない、という悪循環…。
さて、では参加者はどのようにこの問題点の多い「一字」を利用しているのか見てみよう。
駱駝mildさんと憂無さんの二つのサイトは、ともに自サイトのコメントに対してコメントを付け、改善に結び付けようというコンテンツを設けている。
まず駱駝mildさんの評価から修正へ。
駱駝mildさん、なぜか常に怒っているようである。
引用７なんかかなりまともなことが書かれている気がするのだがどうなのだろう。確かに文章に対する言及は細かすぎるかもしれないけれどもそれはおそらく具体例としてあげられているものに見える。そこまで怒らなくても…。引用７の最後の段落なんか僕も共感できる。
しかし彼が、自分の文章についてとやかく言われたくないのはよくわかる。だってそこを変えてしまったら自分のサイトではなくなってしまうのだから。では何をこのランキングに求めているのだろう。
そこなのだ、どうもそこが見えてこない。コメントには全て反論して我を通す。それ自体は全然悪くない。だって人の言うことばかり聞いていたらキリがないから。しかし見ていると、これならコメントなんかいらないんじゃないかと思う。彼にとってこのランキングに参加する意義は、果たして何なのか。
憂無さんのいちあざ奮闘記も見てみよう。
彼のいちあざ奮闘記はコンテンツとして非常によくまとまっている。これはちゃんとしたコメントが多くつけられているという理由もあるだろう。そしてまた、非常に素直であるのがポイントだ。更に、受け入れるアドバイスを表示に関するものに絞っているように見える。文章に関しては無駄に反論していない。ここに駱駝mildさんとの違いが明確に見える。どちらがいい、とは特に思わないけれども、相互批評ランキングに参加するにはこういう性格のほうが適していると思う。彼にとって、この批評は有効に活用されているようである。
こうして見て来ると、どうやら重要なのはそのサイトがランキングに対してどのようなスタンスでのぞんでいるか、だということになる。
冒頭で述べたように、ランキングの点数はほとんど当てにならない。批評コメントも無責任なものが多い。しかしそこに目をつぶって、有益なコメントに耳を傾ける、あるいはそれによって自分のサイトが他人からどう見えているかを確認するのであればランキングもそんなに無駄ではない。
けれども、無責任なコメントに腹を立てなければならないようであれば、やっぱり脱退したほうがいいのではないか、というのが哀しい結論である。それに対して怒りを感じなければならないほどには、この相互批評ランキングは有用ではないのである。
そもそも僕がこの文章を書くに至ったのは、everything is goneさんの文章を読んだからだ。
【総計】23 【表示】5 【情報】7 【面白】1【再来】3【他】7
（点はそれぞれ２０点満点・合計１００点）
とても分かりにくく、どこをクリックすれば何が見られるのか全く分からない。整頓する必要があるだろう。
もっと速く更新すれば、しょっちゅう訪ねるようになるかもしれないが、今の状態だととても…。新聞を見るよりも、テレビのニュースを見るよりも、他のニュースサイトを見るよりも、自分のサイトを見た方が詳しく、分かりやすい、というようにするひつようがあるでしょう。
-----------------------------------------------
下線ばっかりで見づらい、という意見に対応してみたら、更に低い点つけられちゃった（´ー｀;）いや怒ってませんよ。そりゃー、具体的な改善案も出せないくせによくこんな思い切った点数をつけられるな、と最初に思いましたけど。冷静に考えてみると得点のつけ方にも人それぞれあって、同じランキングの線上にいる相手に点数をつけるわけで、しかも匿名という、いかにもなタイプの人間がいかにもな事を平気でできるシステムではあるから仕方がないよなと。だから得点が全てのこのランキング形式では、どうしても日の目をみないサイトが出てくる予感がしたので今回は身をひかせて頂きます。（『一字』に関して言えばこれからもどんどん発展してく要素はあるし、して行って欲しいと思うし、自分がこのランキングで得るものが無い、と言っているわけではない。）もうちょっと成熟して、匿名性が悪い方向に出なくなったらもう一度登録させていただきます。自分は２回しか評価してないのに評価されまくり、という奇妙な状態になってたりもするんでもう少し頑張って欲しいなぁと思いました。でも登録抹消メニューがまだ出来てないみたい（週末にはできるらすぃ）なんで、出来たら登録消したいと思ってます。評価以外の部分では結構勉強させてもらいました。大事なのは「ツボ刺激ニュース収集サイト」であって「ニュースサイト」じゃないって事。一番上に書いてあるよね？書いてなかったっけ？沢山の見出しが見たければRSSで拾うなりニュー速＋行って下さい。自分とツボが合わない人にとってはダメサイトだろうし、そう思ってもらってもいいけどね。最近色々あってちょっと体温上げてみた管理人でした。普段が温厚過ぎるからなぁ俺w
そう、彼の言っている通り得るものがないわけではない。しかしいくらむかつくコメントは受け流して有益なところだけ吸収しようといっても無理があって、こういうサイトが多く出てくるのは目に見えている。僕は結構神経図太い方だし、批判するからには理不尽な批判を受けてしまうのもやむを得ないと思っているからわりとあっさりと流せるけれども、そんな人ばかりではない。世の中では僕のように図太くない繊細な人のほうが普通なのだ。そういう人たちが耐えられないのでは、やはり「一字」に未来はない。
だから最後に大胆な改革案を提示する。
批評しなくても批評してもらえるシステムに変更してはどうか。被批評サイトは批評回数と関係なく被批評回数の少ないほうからランダムで提示される。こうすれば批評したい人だけが批評するようになり、批評の質が上がるのではないか。
更に、批評しなくてもいいから面倒が減り、登録サイトが増えて活性化につながる。活性化に成功すれば改革前と批評者の数を同程度に保つことが可能だろう。そのため、改革による弊害として心配される批評の偏りも解決される。
批評を強制するシステムは実は必要ないように思えてならない。これが確かに当初のコンセプトを根本から覆してしまうのはよく承知している。しかしながら、僕に思いつく改革案はこれしかない。無益有害なコメントが減り、かつ活性化につながる可能性がある限り、思い切って試してみるのもいいのではないだろうか。
人には得意不得意があり、作るのはできても批評が上手くできない人やまたその反対の人もいる。それを生かすには、この改革案がいいのではないか。そしてそれこそある意味では本当の「相互」だと思うのだ。
といってもこの案も理想論の域を脱し切れていないし、何とも難しいところなのだけれども。とにかくアイデアは斬新で良いのだから、なんとかそれを生かして欲しいと思う所存である。
追記。この文章を書いている間は脱退する気なんかさらさらなかったのですが、書き終わって色々考えた結果、一字から脱退してしまいました。理由は、自分の好みとランキングの順位が比例していないランキングに登録し続けることに疑念を抱いてしまったからです。
文章自体は真剣に「一字」のことを考えているのですが…いや、申し訳ない。本末転倒とはこのことか。
今更「相互批評型Webサイトランキング一字に関する私的論」なんかに徳保さんにリンクを貼られてびっくりした。掲示板に行ったら本当に話題になっているのでまた驚いた。実のところもう何を書いたか、なぜ書いたかなんて覚えていない。
いまのシステムは当時とは結構違っていて、僕はいまのシステムは好きだ。このまま頑張って１００サイトくらい登録されるようになればいいと思う。もう正直「私的論」で述べた改善案に対する思い入れはあまりない。いまのままでいい。
でも徳保さんに言いたいのだけれど、おかしなたとえや論理を使うのだけはやめてほしいと思った。
SB（BS注：一字に関する私的論はSB名義で書かれていました）さんは点数が参考にならないとおっしゃいますが、クイズ・ミリオネラのライフラインで圧倒的に有効なのがオーディエンスであるように、素人集団の意見もたくさん集めれば相当な価値を持ちます。
ミリオネアの観客はクイズ好きばかり集めているのであって、素人集団ではない。オーディエンスは正解して当たり前だ。これは素人集団の信頼性に根拠を与えうる事例では全くない。
そしてまた、その素人集団の評価に信頼を与えるのは数であるのに、いまの一字は（ましてや当時の一字は）とてもじゃないけれどその条件を満たしているとは思えない。
「一字」のランキングの信頼性はほとんどない、という僕の主張に対しての反論であるとすればこれはあまりにお粗末だ。僕に守るべき主張があるわけではないからこんなことを言うのは卑怯だけれど、ロジックにみせかけたロジックで人を論破しようとするのは間違っている。一字について、というわけではなく、一般的な議論の姿勢に対して再考を促したい。
あと、もう一つ徳保さんへ。むちゃくちゃな要求だけれど、私的にも公的にも（公的、というのはこのサイトのことです、ちなみに）色々と事情があるので、もし次回このサイトに言及することがあればテキコン地方予選決勝の結果発表が終わってからにしてください。単なるわがままなお願いだけれど聞き入れてくれると助かります。あと、もちろん別に言及しなくてもいいですよ。
ミリオネアの観客は、「クイズ番組を見るのが好きな一般人」ではないのですか。オーディエンスの票の割れ方を見ていて、常識的な線を突いている（とくべつ賢い人が集まっているわけではない）と思うわけですが。あるいは、サイト持ちの人で他サイトを全然見ない人というのはふつうありえないわけだから、「一字に登録するサイト持ち＝サイト好きの一般人」とみなしておかしくない。とすれば、ミリオネアの例え話はどんぴしゃりです。少なくとも、全くないというのは勇み足。
いやああれはクイズ番組を見るのが好きな一般人
とは言い切れないのですよ。クイズが得意な人をテレビ局側が一所懸命に集めているのです。票が割れるのはもちろん一般人も多いからなのですが、最終的に一番多い回答を選べばほとんどの確率で正解するのは、あの中に「プロ（＝サイト評価でいえば徳保さんみたいな人）」の団体がまぎれこんでいるからなんですね。たとえば、上から二番目の書き込みを見てみてください（ちょっとぐぐっちゃいました）。
それと、クイズは答えがたった一つだけれどサイトの場合そうではないというのも問題な気がします。あとどうでもいいけれど、個人的には50-50の方が使えると思う。いらないサイトを半分消してくれるシステムがあったら便利なのになあ（←本当にどうでもいい）。
ただ、登録サイトが増えた＝評価者の絶対数が増えた現状では、かつては見えていた上限が事実上消えたという点だけが異なります。かつての評価数不足は登録サイト数の不足が原因だったのであって、BSさんがかつて述べたようなシステム上の問題ではなかった（むしろ一字のシステムは有効だった）のではありませんか。
論旨を整理します。僕の論点は二つです。一つは、一字のシステムは無責任な評価、悪意ある評価を防ぐことが出来ない。もう一つは、一字のランキングはあまり当てにならない。
一つ目についてですが、僕は確か、悪意ある評価を問題に思ってあの文章を書いたのであり、評価数の不足を問題にしたのではない気がします。そしていまのシステムもなお、悪意ある評価を防ぐと言う観点から見れば改善されていないと僕は考えています。
二つ目についてですが、僕はいまでもあのランキングをあまり認めていません（但し、以前と違って被評価側がジャンルを選べるようになったことによってランキングとしての価値は上昇はしていると思います）。評価の質が低いことと、点数基準の不徹底（辛口か甘口か人によって異なる）がその主な原因です。そしてこれは、評価件数の全体的な上昇によってのみ解決されうる問題です。しかしながら、現状を見るにほとんどのサイトの評価件数が一桁、しかも五件以下が圧倒的に過半数を占めています。素人の意見も30集まればまずまず信頼できるだろう
と徳保さんは述べておられますが、そうであるなら全てのサイトの評価件数が30に達しなければ信頼できないわけです。そういう意味であのランキングは信頼を得るには程遠い。また疑問なのは、かつての評価数不足は登録サイト数の不足が原因だった
と述べておられるように、登録サイトが増えれば評価件数が増えると考えられている節があることです。しかしそんなことはないでしょう。評価者＝被評価者であるからには、平均の評価数は変わらない。関係あるのは、時間の長さだけです。だからただ傍観して時間が経てばランキングは有効になる可能性はあります。ただ「リセット」システムと、登録サイトが流動的であることを考慮するとその可能性も結構低いものかもしれません。
また蛇足ながら、当時と現在で違う点は、参加サイト数ではなくて、被評価側が評価分野を選ぶことができるシステムが導入された点だと考えています。そしてこのシステムの導入によって一気に登録サイトが増えたと僕は認識しています（実際僕も入ってみたくなったくらいです。他サイト評価する暇がないので無理ですが）。
サイトをちょっと改善するたびに3〜5人から意見を伺うことができる一字はいいサイトだと思います。
僕もそう思います。特に無責任な評価とか悪意ある評価なんかあまり気にしない僕のような人にとってはいいサイトなのです。ただ、そういうものをを気にしてしまう人にはあまりいい場所ではないし、目玉っぽく見えるランキングが機能していない（ように僕からは見える）のが残念だな、と思うわけなのです（でも僕はもはやあのランキングを有効に機能させる必要なんかないとも思っている。人の意見がもらえればそれでいいのではないか、と。まあそれなら批評サイトに批評してもらえば済むという話もあるのだけれど）。
追記。いや、大まじめ
なのは分かっているんですがその…。むう。結局僕の文章が論理的でないから反論もうまくできない、と。そういうことなのかなあ。つまり僕は素人がちょっとしか集まっていないから点数が当てにならないと言っていたはずだったのに、徳保さんは素人もたくさん集まれば大丈夫、よって点数は当てになる、とおっしゃる。これでは何が何だかわからないわけです。要するに、一字には十分な数の素人が集まっている、ということなのだろうか…ううむ。