VisEx: Interactive Visual Exploration Task (j)

　　　　　　　　　　　　　　情報可視化を用いた対話的探索タスク

VisExは，対話的・探索的な情報アクセス環境の評価方法を検討するための予備的なタスクです．情報可視化技術を利用したアクセス結果表示とそれへの対話的な操作，質問の言い換えや適合性フィードバック等を通じて，アクセス結果や情報要求の精錬と，それを通じた適合情報の蓄積的な取得を行うという環境を評価します．

オーガナイザが情報アクセス環境の一般的な枠組みと具体的なタスクを用意し，参加者が情報アクセス環境（の核部）を提出します．オーガナイザを中心に（利用方法の説明等，参加者にもご協力頂きます）被験者実験を行い，提出された情報アクセス環境の効率性や利用者の満足度等に関連する指標を測定します．

今回の実施ではいわゆる被験者実験に留まっていますが，VisExの本来の目的は，対話的・探索的な情報アクセス環境をより客観的かつ安価に評価する方法論を構築することにあります．構成要素と環境全体の評価の関係，被験者実験における利用者の振る舞い等，情報アクセス行動やその環境をモデル化する参考となるデータが今回の実施で集まることが期待できます．どのようなデータを集めていくべきか，そこからどのような評価手法を構築するかを参加者とオーガナイザで考えていきたいと思います．

構成図のような構成を持つ情報アクセス環境を想定します．利用者はブラウザを介して，情報アクセス環境核部とエディタを操作し，タスクを実施します（情報アクセス環境核部を用いて必要な情報を収集し，得られた結果をエディタを使ってまとめていきます）．情報アクセス環境核部は定められたI/Fで検索エンジンやその周辺機能（スニペット作成等）にアクセスし，利用者の要求を伝え，結果（文書，スニペット，文書内容）を取得し，利用者に提示します．このようなやりとりが対話的に繰り返されます．

オーガナイザはこのような情報アクセス環境（情報アクセス環境核部のサンプルと検索エンジン等それ以外の枠組み部分）を提供し，（内部モジュール間の）I/Fを定めます（I/Fの議論は参加者を含めて行います）．提供する情報アクセス環境核部は，いわゆる普通の検索エンジンのインタフェースに見られるような結果のスニペットをリスト形式で表示し，そこから文書全体にアクセスするものです．これを対照システム（ベースラインシステム）とします．参加者は，この情報アクセス環境に組み込むのことのできる（定められたI/Fに従った）情報アクセス環境核部を提出し，それを組み込むことで情報アクセス環境を構築します．この環境を被験者実験を通じて評価します．

２種類のタスクを行います．両方のタスクに共通的に用いることのできる情報アクセス環境核部を用意するのではなく，それぞれのタスクに特化した情報アクセス環境核部とすることもできます．一方のタスクのみに参加することもできます．

イベント収集タスク

NTCIR-7高度多言語質問応答 ACLIAにおけるEvent-List Typeの質問セットを利用し，その質問の回答となるnugget（情報要求に適合する出来事（の発生時点と発生場所等））を所定時間内にできるだけ多く快適に獲得することを達成すべき目的とします．文書セットは毎日新聞記事1998-2001年分です．「NATO軍が自ら認めた誤爆（にはどんなものがあるか知りたい）」「アジアでの航空機墜落事故（を列挙せよ）」等が利用者に与えられる質問（情報要求）となります．

トレンド要約タスク

NTCIR-5,6,7 MuSTが対象とした時系列統計情報について，一定期間の変化とその原因や影響（動向）の要約を作成します．適切な要約を構成する基本情報をnuggetと考え，所定時間内にできるだけ多く快適に収集することを達成すべき目的とします．文書セットは毎日新聞記事1998-1999年分です．「98年から99年まで（とその背景となる時期について）のガソリン価格の動きを知りたい」「98年から99年まで（とその背景となる時期について）の内閣支持率の変化を知りたい」等が利用者に与えられる質問（情報要求）となります．

備考

• これらはともに，TREC Interactive Trackで実施されたのと同じ，所定時間内に高いaspect/instance再現率を得るというタイプの課題と考えられます．
• 被験者実験での被験者（利用者役）にとって課題（与えられる質問や要約を要求される統計量等）が初見となることで充分と考え，参加者（システム設計者）には，開発時から課題（の候補）を与えることを考えています（一般の評価ワークショップとは異なります）．

被験者実験は，適当な場所に被験者を集めて行うことを考えています．基本的なマネージメントはオーガナイザが行いますが，被験者へのシステムの説明等で参加者に協力していただきます．複数の被験者が複数のシステムを用いて複数の課題を行うような構成を考えます（参加者数見合いで構成を考えていきます）．実施の実時間（制限時間内に終了した場合），再現率（時間の関数として計測することが可能と思います），インタラクション数（構成図にあるように，各所にログ取得機能を設けます．そこを通った処理数を計測します）等の物理量(?)を測定することに加えて，事後に利用者の感想，満足度，ストレス等の主観評価を実施します．

対話的・探索的な情報アクセス環境の評価で重要なのは，いうまでもなく，参加者が提出する情報アクセス環境核部内部の詳細な動きです．そこでは，利用者のQuerying, Browsing, Scanning, Navigating, Selecting等の活動に対応する形で様々なやりとりが行われているはずです．課題の解決において利用者がどのようなやりとりを行うか，それらのやりとりの中でシステムがどう振る舞っているかというようなミクロな側面と，再現率や満足度等のマクロの評価を結び付けることが必要です．このことは，研究室でのベンチマークテストから実際の現場での性能を予測するモデルの構築や，シミュレーションを用いた性能評価への糸口を与えます．VisExの本来の目的はこのような方法論の構築にあります．そのために，参加者の情報アクセス環境核部内部の動きについて，共通の基盤に基づいた議論ができるよう，そのtaxonomy/ontologyの共有に向けて議論するとともに，内部の動きを明らかにできるログの取得機能を埋め込んで，実験に臨んでいただきたいと考えています．

このような対話的・探索的な情報アクセス環境の評価の枠組みの構築を目指してのコミュニティベースドなワークショップ的な議論も活発に進めたいと思います．議論の内容は，これに加えて，情報アクセス環境のI/F設計や被験者実験の設計も含みます．参加者とオーガナイザが一体となって，進めていければと考えています．

イベント収集タスクでの質問（NTCIR-7 ACLIAにおけるEvent-List Typeの質問セットの10問）について，正解nuggetとそれを含んだ新聞記事に固有表現抽出（日付，地名，人名等）を行い，それら固有表現に対象となるイベントへの意味関係を註釈づけしたコーパス．検索結果の正解セットであると共に，検索結果の可視化システム設計の参考としても利用可能と考えます．（2010年10月末提供）

トレンド要約タスクで課題となる統計量に関する記述を含んだ新聞記事を抜き出し，そのうち，関連する部分，そこに現れる統計情報や日付情報を註釈づけしたコーパス（MuSTコーパス）．検索結果の正解セットであると共に，要約に含めるべき情報の例であり，更それらの可視化システム設計の参考としても利用可能と考えます．（2010年10月末提供）

トレンド要約タスクの正解セットとなるような人手作成による要約例．（2011年3月頃提供）

• 2010年10月末　　参加者募集一次締切
• 2010年12月末　　参加者募集最終締切
• 2010年12月末　　情報アクセス環境I/F公開　　　
• 2011年３月後半　 参照システムの提供
• 2011年７月後半　 被験者実験の実施
• 2011年８月後半　 実験結果データの提供
• 2011年10月　　　レポート提出締切　　　
• 2011年12月　　　NTCIR-9 Workshop Meeting　　　

• まずは，オーガナイザにご連絡下さい．
• NTCIR-9 申し込みサイトにてご登録下さい．

加藤 恒昭　東京大学大学院総合文化研究科

松下 光範　関西大学総合情報学部

上保 秀夫　筑波大学大学院図書館メディア研究科