システムの評価

トップページ研究分野と周辺

システムを開発した場合(卒業研究の作品も含む)は、その有用性を客観的・定量的に評価実験する必要がある。様々な実験結果のデータは、統計処理を行なう必要もある。また、人間にしか出来ない評価の場合、主観が入る得るため、アンケート調査等は或る程度の人数の被験者に行う必要もある。

調査票の作成

アンケート用紙は、調査票と呼ばれる。回答方法には、数字や文章等を自由に記述させる自由回答と選択肢を選ばせる選択回答、選択肢に順位付けさせる順位回答等がある。選択回答には、一つだけ選ばせる単一回答と複数選択を認める複数回答がある。順位回答には、全ての選択肢を順位付けさせる完全順位付け順位回答と、上位いくつ迄を決めて順位付けさせる部分順位付け順位回答がある。

選択肢には、例えば血液型を並べる等の順位のないもの(名義尺度による選択肢)と、満足の度合い等の順位のあるもの(間隔尺度による選択肢)がある。アンケートの目的は、現状把握型と仮説検証型に大別される。前者は現状を知って、そのデータを何に役立てるかを考えれば質問項目が決まってくる。後者は、確かめたい仮説により質問が決まる。どのようなシステムが求められているか等を探るニーズ調査は、現状把握型である。

質問文の注意点は、①回答を確定出来るように書く(多義語、曖昧な語、前提条件により回答が変わる文章を使用しない)、②一つの質問文では一つの事だけ聞く、③「ではないですか?」というややこしい否定疑問文は使用しない、④誘導尋問(価値観を含む言葉を入れ、回答者を釣る等)をしない、等が挙げられる。

選択肢設定の注意点は、①相互排他的である事(選択肢の意味が全て互いに異なる事)、②網羅的である事(選択される可能性のある全ての肢がある)が重要とされる。間隔尺度による選択肢は、例えば5段階評価で、3が中間点で4、5を「よい」、1、2を「悪い」と考える人と、1~5の全てを「よい」と考えて良さの程度で答える人が混在すると意味の無い調査になる。中間点の位置を明示する必要がある。

例えば、或る機能に満足したか否かを質問する選択肢は、1.とても満足、2.やや満足、3.やや不満、4.とても不満、等となる。人が受けた感覚等を測る感性評価にもアンケートはよく使われる。

統計の基本事項

システムの評価に於いては、被験者試験等で得られたデータを統計解析する必要がある。例えば何らかの学習支援システムの場合、使用前後の成績を比較する。「何となく平均点が上昇している」というレベルではなく、統計解析によって「有意差」が検出出来れば、説得力のある結果となる。有意差はあくまで数学的に、「単純な誤差とは言い難い、発生するのが珍しい差が見られた」事を示すもので、絶対に差がある事を保証するものではない。また、その差をもたらす理由(意味)が何かは別途、考察する必要がある。

不偏分散

相関係数

母比率

以下のツールは、標本数2~31までのt検定が簡単に行なえる。データを入力してボタンを押すと、T値と有意水準5%と1%の其々における両側検定と片側検定の棄却域が表示され、有意差の有無を判定出来る。これは、同じ個体(同じ被験者)の二条件(例えばダイエット前後の体重等)における二つのデータ群(関連二群)の有意差を調べる一標本t検定(対応のあるt検定)を行うものであり、異なる個体の二つのデータ群(独立二群)の有意差を調べる二標本t検定(対応の無いt検定)には使用出来ない。

ワンタッチt検定(一標本t検定)

多変量解析の例

単回帰分析

重回帰分析

主成分分析

判別分析(マハラノビス)