当研究室では毎週月〜木曜日の朝9:00-10:00は，研究室のメンバーで集まって英語の論文を読んで紹介するというイベントを行っています．

今週の朝活では，下記論文を紹介しました．

• The Creation and Analysis of a Website Privacy Policy Corpus (from ACL 2016)
• “I Wanted to See How Bad it Was”: Online Self-screening as a Critical Transition Point Among Young Adults with Common Mental Health Conditions (from CHI 2022)
• ArchivalQA: A Large-scale Benchmark Dataset for Open Domain Question Answering over Historical News Collections (from SIGIR 2022)
• The UX Factor: Using Comparative Peer Review to Evaluate Designs through User Preferences (from CSCW 2021)
• Sound Forest - Evaluation of an Accessible Multisensory Music Installation (from CHI 2019)
• Documentation Matters: Human-Centered AI System to Assist Data Science Code Documentation in Computational Notebooks (from TOCHI 2022)
• Knowledge-Context in Search Systems: Toward Information-Literate Actions (from CHIIR2019)

The Creation and Analysis of a Website Privacy Policy Corpus (from ACL 2016)

書誌情報

Wilson, S., Schaub, F., Dara, A.A., Liu, F., Cherivirala, S., Leon, P.G., Andersen, M.S., Zimmeck, S., Sathyendra, K.M., Russell, N.C., Norton, T.B., Hovy, E.H., Reidenberg, J.R., & Sadeh, N.M. (2016). The Creation and Analysis of a Website Privacy Policy Corpus. ACL.

140字概要

115のウェブページのプライバシーポリシーのどの部分が何に言及しているか10種類のラベルを加えたデータセットを作成した．データを用いてラベルに該当する部分を抽出するモデルはデータの使用用途や「Do Not Track」といった専門的な用語が含まれる部分について高い性能を発揮した．

まとめスライド

感想

• プライバシーポリシーは長く複雑であるため，一般の利用ユーザが解釈するのも困難だが，解釈の自動化を実装するためのデータを作るという段階から困難であることが考えられる．その文脈で，この研究は他の研究に与える影響がとても大きいと感じた．
• 法的な文書は数が多い一方で，参照したい時に迅速にアクセスできることが望ましい．そのため，ラベリングなどによって整理することは重要である．この研究では，アノテーションの一部を自動化することに成功した．今後全てのプロセスが自動化されることが期待される．

“I Wanted to See How Bad it Was”: Online Self-screening as a Critical Transition Point Among Young Adults with Common Mental Health Conditions (from CHI 2022)

書誌情報

Kaylee Payne Kruzan, Jonah Meyerhoff, Theresa Nguyen, Madhu Reddy, David C. Mohr, and Rachel Kornfield.: “I Wanted to See How Bad it Was”: Online Self-screening as a Critical Transition Point Among Young Adults with Common Mental Health Conditions. In CHI Conference on Human Factors in Computing Systems (CHI ‘22), Article 328, 1–16. 2022.

140字概要

精神疾患用の自己スクリーニング利用した若者を対象にした調査を行った．通院等ではなくオンラインでの自己スクリーニングが若年層のメンタルヘルスにおいて重要な役割を担っていることが示唆された．また，スクリーニングをきっかけにして，さらなる処置へ導くためのデザインについても議論した．

まとめスライド

感想

• 米国では年間数百万人が自己スクリーニングを利用しているらしく，おそらく日本と比べると患者(予備軍含む)当りの利用率は高いのだろう．それでもスクリーニング結果を活用できない人がいることも調査から分かり，特に若者は結果に一喜一憂するだろうから，この研究で分かった次につなげるための設計が実装されることを願う．

ArchivalQA: A Large-scale Benchmark Dataset for Open Domain Question Answering over Historical News Collections (from SIGIR2022)

書誌情報

Wang, J., Jatowt, A., & Yoshikawa, M. (2021). ArchivalQA: A Large-scale Benchmark Dataset for Open Domain Question Answering over Archival News Collections. arXiv preprint arXiv:2109.03438.

140字概要

ニュースQA向けの大規模質問応答データセット（ArchivalQA）を作成．加えて，その作成のためのフレームワークを提案．自動質問生成や質の低いデータ除去などの5つのフィルタリングステップによって，安価に良質なQAデータセットを作成できることを示した．

まとめスライド

感想

• Wikipediaよりもより信頼性の高い情報源（今回で言えばニュース記事）をもとにしたデータセットが増えることは，質問応答モデルを作成するにも有用であることは論文に述べられている通りだと思うので，提案された手法が使われていくとよいと考える．

The UX Factor: Using Comparative Peer Review to Evaluate Designs through User Preferences (from CSCW 2021)

書誌情報

Sarah Bawabe, Laura Wilson, Tongyu Zhou, Ezra Marks, and Jeff Huang. 2021. The UX Factor: Using Comparative Peer Review to Evaluate Designs through User Preferences. Proc. ACM Hum.-Comput. Interact. 5, CSCW2, Article 476 (October 2021), 23 pages. https://doi.org/10.1145/3479863

140字概要

アートやデザインなどの提出物に対するピアレビュー時にレビューの一貫性を高める”UXファクター”を開発し効果を検証した。絶対評価ではなく、レビュワーに2つの提出物を複数の観点で相対評価させ、ランキングすることで品質の高いフィードバックができることを実証した。

まとめスライド

感想

• ピアレビューは講義の中で簡易的にユーザ実験によるABテストのようなものを行っていると捉えることもでき、講義自体で得られる学びがより実践的になるだろうと感じた。

Sound Forest - Evaluation of an Accessible Multisensory Music Installation (from CHI 2019)

書誌情報

Emma Frid, Hans Lindetorp, Kjetil Falkenberg Hansen, Ludvig Elblaus, and Roberto Bresin. 2019. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (CHI ‘19). Association for Computing Machinery, New York, NY, USA, Paper 677, 1–12.

140字概要

教育や音楽制作・共創を目的とした、年齢や障害の有無など関係なく、誰でも同じ音楽体験をできるインスタレーションを用いた実験を行った。部屋に設置されたインタラクティブな弦や地面が、音や光、振動を発する。それをどのように知覚するか、作曲家の意図を認識できるか評価を行った。

まとめスライド

感想

• 音楽体験にとって重要な要素は、意図を考察したり、共有することだと考える。実験参加者は2歳児や視覚障害を持つ方など様々だったが、インスタレーションにより身体的な能力を問わず、共有や共感が自然に起きていて、マルチモーダル化による可能性の広がりを感じられた。

Documentation Matters: Human-Centered AI System to Assist Data Science Code Documentation in Computational Notebooks (from TOCHI 2022)

書誌情報

April Yi Wang, Dakuo Wang, Jaimie Drozdal, Michael Muller, Soya Park, Justin D. Weisz, Xuye Liu, Lingfei Wu, and Casey Dugan. 2022. Documentation Matters: Human-Centered AI System to Assist Data Science Code Documentation in Computational Notebooks. ACM Trans. Comput.-Hum. Interact. 29, 2, Article 17 (April 2022), 33 pages. https://doi.org/10.1145/3489465

140字概要

分析時に，読みやすい構成のJupyter Notebookを書くための自動ドキュメント生成システム Themistoを開発した．Themistoでは，Notebookのセルに対して①コードの要約，説明 ②外部のドキュメントの表示 ③出力に対応した文書の生成 を行う．被験者内実験を行った結果，Themistoを使用したユーザはタスク完了時間を短縮し，満足度が向上した．また，ノートブックの読みやすさも向上した．

まとめスライド

感想

• 実際に自身も分析をする際に，Themistoを使用してみたいと感じた．個人的にノートブックが長くなると，最初は読みやすさを意識していても途中から乱雑になるため，このようなアシストがあるとクオリティを保つことができるのは魅力的だと持った．
• 感想2
• 感想3

Knowledge-Context in Search Systems: Toward Information-Literate Actions (from CHIIR 2019)

書誌情報

Smith, C. L., & Rieh, S. Y. (2019, March). Knowledge-context in search systems: toward information-literate actions. In Proceedings of the 2019 Conference on Human Information Interaction and Retrieval (pp. 55-62).

140字概要

知識コンテキスト（検索者がSERPに表示された情報を理解する際に利用するメタ情報）と情報リテラル行動（ILA）（情報源間の比較、評価、区別など）ついて既存論文をもとに評価した．また，ユーザのILAを促進するための知識コンテキストに関する今後の研究ビジョンを提示した．

まとめスライド

感想

• ユーザのILAを促進させるために必要な知識コンテキストが分類・整理されており，自身の研究の参考になるような論文であった．自身の研究でも，ウェブ検索中のユーザが知識コンテキストへ容易にアクセスできる仕組みを検討したいと感じた．