古い話題なのですが、一字の掲示板で今頃になってまた話題となっているようなので、反論を書きます。
SBさんのおっしゃるようなシステムは事実上、すでにたくさんあるサイト批評掲示板で実現しているものです。その実情はどうかといえば、皆さんもちょっと調べていただければおわかりになるかと思いますが、1サイトにつき1〜5評価がふつうです。評価なしの場合さえあります。しかもその評価はほとんどの場合、じつに程度が低いといわざるをえないのです。
評価してもらうためには、まず自分が他人を評価しなければならないというシステムを実用レベルで実際に構築した例を、私は一字以外に知りません。「評価しなくてもいい」システムがどのような結果を生むか? 各所のサイト批評掲示板の実情から明らかなことは、匿名でないにもかかわらず評価の質は悪いままで、そして評価数が激減するということです。SBさんの意見は机上の空論であって、評価を強制するシステムなしに一字は存続できないと思います。
一字は自分が他者を評価し続ける限りどんどん被評価件数が増えます。これは他のシステムにない特徴です。SBさんは点数が参考にならないとおっしゃいますが、クイズ・ミリオネアのライフラインで圧倒的に有効なのがオーディエンスであるように、素人集団の意見もたくさん集めれば相当な価値を持ちます。一字の上位サイトと下位サイトを比較したとき、なるほどと納得のいく方が多いのではないでしょうか。被評価数を稼ぐことで、評価の信頼性を向上できるシステムは、一般のサイト批評掲示板には真似できないものです。
SBさんは万人受けを狙おうとして様々な工夫を元の木阿弥としかねない提案をしているわけで、私はまったく賛同できません。
もし私が「改善」を行うとするならば、評価を匿名・記名の選択制とします。そして記名で評価した場合には、匿名評価よりも高いポイントを与えることにします。これは実現しうる話だと思います。そして、少しは評価の質の向上にもつながるか、あるいはおそらくひどい評価は匿名で行われるでしょうから、それを安心して無視する、あるいは軽視することもできるようになるでしょう。
でも徳保さんに言いたいのだけれど、おかしなたとえや論理を使うのだけはやめてほしいと思った。
SB（BS注：一字に関する私的論はSB名義で書かれていました）さんは点数が参考にならないとおっしゃいますが、クイズ・ミリオネアのライフラインで圧倒的に有効なのがオーディエンスであるように、素人集団の意見もたくさん集めれば相当な価値を持ちます。
ミリオネアの観客はクイズ好きばかり集めているのであって、素人集団ではない。オーディエンスは正解して当たり前だ。これは素人集団の信頼性に根拠を与えうる事例では全くない。
そしてまた、その素人集団の評価に信頼を与えるのは数であるのに、いまの一字は（ましてや当時の一字は）とてもじゃないけれどその条件を満たしているとは思えない。
「一字」のランキングの信頼性はほとんどない、という僕の主張に対しての反論であるとすればこれはあまりにお粗末だ。僕に守るべき主張があるわけではないからこんなことを言うのは卑怯だけれど、ロジックにみせかけたロジックで人を論破しようとするのは間違っている。一字について、というわけではなく、一般的な議論の姿勢に対して再考を促したい。
ミリオネアの観客は、「クイズ番組を見るのが好きな一般人」ではないのですか。オーディエンスの票の割れ方を見ていて、常識的な線を突いている（とくべつ賢い人が集まっているわけではない）と思うわけですが。あるいは、サイト持ちの人で他サイトを全然見ない人というのはふつうありえないわけだから、「一字に登録するサイト持ち＝サイト好きの一般人」とみなしておかしくない。とすれば、ミリオネアの例え話はどんぴしゃりです。少なくとも、全くない
というのは勇み足。
素人集団の評価に信頼を与えるのは数である
とのことですが、一字のいいところは、自分が評価を続ける限り被評価数が増えていくことにあります。数の不足が気になるなら、自分の努力で増やすことができるわけです。だから数が問題ならば、一字はその点を克服した素晴らしいシステムだといえます。このあたりのシステムは、当時
から変わっていません。ただ、登録サイトが増えた＝評価者の絶対数が増えた現状では、かつては見えていた上限が事実上消えたという点だけが異なります。かつての評価数不足は登録サイト数の不足が原因だったのであって、BSさんがかつて述べたようなシステム上の問題ではなかった（むしろ一字のシステムは有効だった）のではありませんか。
ユーザビリティーテストの被験者は予備知識のない3〜5人がベストという話もありますし、サイトをちょっと改善するたびに3〜5人から意見を伺うことができる一字はいいサイトだと思います。それにSBさんが信頼しないとおっしゃるランキングですが、私から見るとなんだかんだいってそれなりにうまく機能していると思います。30〜50票で争われるテキコンの結果のようなもので、素晴らしいサイトが中位にとどまることはあっても、さすがに下位にはなりません。どう見てもダメっぽいサイトが上位にくることもありません。素人の意見も30集まればまずまず信頼できるだろう、というのが私の思うところ。
ところで、ロジックにみせかけたロジック
というのはほとんどの場合、私の意図せざるところです。どうか、その都度ご指摘ください。私はたいてい、大まじめに書いています。
ミリオネアの件はおかげ様で勉強になりました。というわけで、懲りずにこんな例を出してみます。「さんまのスーパーからくりテレビ」でご長寿クイズの優勝者を当てる（3人中1人を選ぶ）というお遊びがあります。まず芸能人が1人を選び、残りのどちらかを会場のお客さんが選びます。拍手の多少で決めるのですが、じつはこの優勝者当て、会場が圧倒的に強いんです。3人寄れば文殊の知恵というけれど……と私はいつも感心するわけです。（寮にきてからは日曜日にテレビを見なくなったので、最近1年半くらいのことは知りません）
要するに、一字には十分な数の素人が集まっている、ということなのだろうか…
そういうことです。私は、現在のランキングを見ていて、まあこんなものかな、と思っています。概ね順当だと思いますよ。評価数があんまり少ないケースは、それなりに割り引いて見ればいいのであって、そんなにムチャクチャはないです。一人でも凄くいい評価をつけるサイトというのは、少なくとも最下位レベルには落ちません。1位と2位の差はどこにあるか、みたいな微視的な話をすれば無意味なランキングでしょうが、大局的に見れば参考になると思います。
悪意ある評価という問題も、私から見ると悪意なんだか、単に無神経なんだか判断がつきかねるというものが多いわけですが、いずれにせよ大した割合ではないので、5つくらい評価が集まれば無視できます。20％くらいは大した問題ではない。誰でも自由に評価できる（逆に被評価者は何もしないでいい）ふつうのサイト評価掲示板を見ると、ダメ評価者はむしろ一字より多いように見えます。ダメ評価者のために精神的に参ってしまうということであれば、管理人だけが評価するタイプのサイト批評サイト（のうち信頼できるところ）に依頼するしかない。
ところで、評価者＝被評価者であるからには、平均の評価数は変わらない。
という意見には、ちょっと異論があります。私の場合、評価しやすいサイト、しにくいサイトがあります。そういう人が他にも多いとすれば、総サイト数が増えることで、評価しやすいサイトが増えることになりますよね。30人の集団と80人の集団から仲良し2人組をたくさん作りましょう、という場合に、仲良しが見つからない子の現れる割合は、前者の方が高いだろう、と思うわけです。どっちも偶数なんだから過不足なく2人組が作れると思ったら大間違いである、と。これを過疎地の悲劇理論という。（ウソ）
当時と現在で違う点は、参加サイト数ではなくて、被評価側が評価分野を選ぶことができるシステムが導入された点だと考えています。そしてこのシステムの導入によって一気に登録サイトが増えたと僕は認識しています（実際僕も入ってみたくなったくらいです。他サイト評価する暇がないので無理ですが）。
そうかなー、という気もするけれども、私はただ単に、一字が知られだしたというだけの話かもしれないと思っています。一字周辺みたいなサイト群が出来上がりつつあるような気運も一部にありますし。一字は幸せな企画で、参加サイトに熱心に一字を盛り上げようとしてくれたところがいくつもありました。結局、影響力が強いのは口コミです。派手な紹介リンクが一段落した今になって、じわじわきているのかな、と。
でまあこの調子でどこまでも行くのかっていうと、決してそんなことはないと思いますね。実力相応の参加者数に達したら、一進一退になるでしょう。
余談。
ところでサイト本体から「さようなら『テキストサイト』」へはどうやって行くのだろう。リンクが見つからない。
ないものを見つけようとしても（以下略）。
最近、Xezと蕭蕭亭が相次いでサーバから消え、お勧めのサイト批評サイトが立て続けに2つも失われてしまった。しかし、相互評価型Webランキングが残っている。最低限、ここさえ続けば私は安心できるというものだ。ところがここしばらく、ちょっと停滞気味といった感じで気になっていた。先月末に再び登録数が増えてきたのだけれど、何だかんだいってかつて見たサイトの再登録が目立つ。もうちょっと、どうにかして広まっていかないものだろうか?
最近の興味深い参加サイトをひとつご紹介したい。
実際には、HTML文書がひとつある。カウンターもある。しかし、いわゆるコンテンツは何もない。
今度「一字」さんで、ひとつの実験を初めてみましたので、ご連絡致します。
名づけて「何もないページはどう評価されるのか？」です。
ご存知の通り、相互評価というシステムでは、自分に評価をもらうのに、他人を評価しなくてはいけません。評価対象のサイトは常に5つほど提示されますが、いろいろな意味において「評価しやすいサイト」が選ばれているというのが現状だと思います。また、BS氏の指摘にもある通り、評価の基準がまだ定まっていないというのが現状です。
という実験なのだという。
私はあまり、うまい試みだとは思わない。もし私が一字で「評価されること」に興味を持っているのなら、これ幸いとばかりに「よくわかりませんでした」みたいな一言評価を書き捨てるのではないか。評価1回分を楽に消化できる、またとない機会だと考えるからだ。私のような不真面目なことを思いつく参加者は少ないだろうけれど、まじめにこのサイトの評価に頭を悩ますおめでたい人はそれほどいないような気がする。仮に、いたらいたで困るかもしれない。ネタにマジレスされても。
けれど、冗談を許せない人はけっこう多そうだから、「ふざけるのはおよしなさい」みたいな脊髄反射系の忠告が並ぶとみた。これが私の本命予想。「マジレス」が次点。押さえは、「体よく利用される」パターン。「誰も評価しない」が大穴。全部同じだけ賭けると、どれが勝っても総額で負け。
ふつう、サイトは開始後3ヶ月で実力に見合ったアクセス数になります。人の出入りが平衡状態となるわけです。相互評価型Webランキング一字が登録サイト数100前後からほとんど変化しないのは、要するに現在の一字がその程度の実力であることを示しています。
さて、（その必要があるかどうかはともかく）現状を脱するためには、実力を増進しなければならないわけです。でまあ、一字の掲示板や、あるいは参加者有志のサイトではこれまでに様々な一字論が展開されてきました。私はそれらのほとんどに懐疑的で、「そんなこといっても、ないものねだりでしょ」もしくは「それは先人が失敗した悪手筋なんだけどなあ」と思うばかりでした。
掲示板を眺めていて面白いのは、自サイトが酷評されることについて不満を持つ人は、「ランキングで他者の足を引っ張ろうとしている人がいる」と考える傾向があるということ。私は一般のサイト批評掲示板の惨状をよく知っているから、一字の参加者はかなり紳士的という印象を持っています。けれども、そういうことを知らない人は、ランキングに目が向いて、理由付けを誤ってしまう。実際にはランキングなんかあってもなくても関係なく酷評されるはずです。でも、そうだとは認めたくないのでしょう。
今回ご紹介した意見も、現在は登録サイトがお互いに敵同士と認識しているからうまくいかないのだ、という前提で意見を進めているのだけれども、そうなんでしょうかね? 私は、そうは思いません。評価の下手な人は、自分でも申し訳ないと思っているだろうし、酷評する人だって、相手を凹ませてやろうと思って書いているわけではないでしょう。「ライバルを蹴落としてやる」と思っている人が皆無とは申しませんが、例外的存在には違いない。
よかれ悪しかれ一字は素人の互助会であり、基本的には評価の出来不出来にムラがあるのは当然で、そこに悪意を感じるのは筋違い。そういうものだ、と思って参加する……それでいいんじゃないのかな。何も改善しなくていい、というか、改善なんて出来やしないので、期待値を低くしておくといいよ、という解決策。それをいっちゃあお仕舞いよ、って感じではあるけれど。
仮に私が一字を改善するなら、一字を相互評価方式を中心とした総合的なサイト評価サイトにするかもしれない。一般的なサイト批評掲示板と、とくていの誰かがアドバイスする評価依頼コーナを併設するわけです。そうすれば、結局のところ相互評価がいかに優れているかが明らかになってくるのではないかな。
私は一字をたいへん素晴らしいと思っていて、それなのに参加者が満足しないので苦笑するというのが基本的な構図。よそがどれほどひどいかご存じないのではないかなあ、というのが根底にあるので、一字の中に「よそ様」を取り込んでしまえばどうか、と思ってみたりするわけです。まあそれも無茶な話ではあるので、現実的には、他のサイト批評サイトを表紙で紹介するような形になるのだろうか。いわゆるタグ屋はその手のことをよくやっています。逆リンク集つながりで大きなネットワークになっているんですね。あれはWebリングの発展的形態だと思う。