酒井哲也 Sakai Tetsuya

研究者番号	80723519
その他のID
所属 (現在)	2025年度: 早稲田大学, 理工学術院, 教授
所属 (過去の研究課題情報に基づく) *注記	2016年度 – 2021年度: 早稲田大学, 理工学術院, 教授
審査区分/研究分野	研究代表者図書館情報学・人文社会情報学研究代表者以外図書館情報学・人文社会情報学
キーワード	研究代表者人工知能 / 情報検索 / 情報アクセス / 自然言語 / 評価 / 評価指標 / データセット / ordinal quantification / ナゲット / ヘルプデスク / 対話 … もっと見る研究代表者以外 … もっと見る検索実験の妥当性 / 多段階要約 / マルチファセット検索 / クエリ推薦 / 検索結果の多様化 / タスク / クエリマイニング / デジタル空間探索と実空間探索 / 評価実験用データセットの品質 / パーソナライズド検索 / Ostensive Search / 博物館鑑賞体験 / 気づき / 提示型検索 / 対話 / ユーザビヘイビア / ファセット検索 / ユーザの状況 / 探索的検索隠す

ナゲットに基づくタスク指向対話の自動評価に関する研究研究代表者
- 研究代表者
  
  酒井哲也
- 研究期間 (年度)
  2017 – 2020
- 研究種目
  
  基盤研究(B)
- 研究分野
  
  図書館情報学・人文社会情報学
- 研究機関
  早稲田大学
利用者の状況を考慮する探索的検索の技術
- 研究代表者
  
  神門典子
- 研究期間 (年度)
  2016 – 2019
- 研究種目
  
  基盤研究(A)
- 研究分野
  
  図書館情報学・人文社会情報学
- 研究機関
  国立情報学研究所

すべて 2022 2021 2020 2019 2018 2017 2016

すべて雑誌論文学会発表

[雑誌論文] Relevance Assessments for Web Search Evaluation: Should We Randomise or Prioritise the Pooled Documents?2022
- 著者名/発表者名
  Tetsuya Sakai, Sijie Tao, and Zhaohao Zeng
- 雑誌名
  
  ACM Transactions on Information Systems (TOIS)
  
  巻: 40(4) 号: 4 ページ: 1-35
- DOI
  10.1145/3494833
- 査読あり / オープンアクセス
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] On the Two-Sample Randomisation Test for IR Evaluation2021
- 著者名/発表者名
  Tetsuya Sakai
- 雑誌名
  
  Proceedings of SIGIR '21: Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2021)
  
  巻: - ページ: 1980-1984
- DOI
  10.1145/3404835.3463002
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] WWW3E8: 259,000 Relevance Labels for Studying the Effect of Document Presentation Order for Relevance Assessors2021
- 著者名/発表者名
  Tetsuya Sakai, Sijie Tao and Zhaohao Zeng
- 雑誌名
  
  Proceedings of SIGIR '21: The 44th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2021)
  
  巻: - ページ: 2376-2382
- DOI
  10.1145/3404835.3463236
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] A Closer Look at Evaluation Measures for Ordinal Quantification2021
- 著者名/発表者名
  Tetsuya Sakai
- 雑誌名
  
  Proceedings of the CIKM 2021 Workshops co-located with 30th ACM International Conference on Information and Knowledge Management (CIKM 2021)
  
  巻: -
- 査読あり / オープンアクセス
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] On the Instability of Diminishing Return IR Measures2021
- 著者名/発表者名
  Tetsuya Sakai
- 雑誌名
  
  Proceedings of 43rd European Conference on IR Research, ECIR 2021 Part I (LNCS 12656)
  
  巻: - ページ: 572-586
- DOI
  10.1007/978-3-030-72113-8_38
- ISBN
  9783030721121, 9783030721138
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Retrieval Evaluation Measures that Agree with Users’ SERP Preferences: Traditional, Preference-based, and Diversity Measures2020
- 著者名/発表者名
  Tetsuya Sakai and Zhaohao Zeng
- 雑誌名
  
  ACM Transactions on Information Systems (ACM TOIS)
  
  巻: 39(2) 号: 2 ページ: 1-35
- DOI
  10.1145/3431813
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Good Evaluation Measures based on Document Preferences2020
- 著者名/発表者名
  Tetsuya Sakai and Zhaohao Zeng
- 雑誌名
  
  Proceedings of SIGIR '20: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2020)
  
  巻: - ページ: 359-368
- DOI
  10.1145/3397271.3401115
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Randomised vs. Prioritised Pools for Relevance Assessments: Sample Size Considerations2020
- 著者名/発表者名
  Tetsuya Sakai and Peng Xiao
- 雑誌名
  
  Proceedings of Asia Information Retrieval Symposium2019, AIRS2019 (LNCS 12004)
  
  巻: - ページ: 94-105
- DOI
  10.1007/978-3-030-42835-8_9
- ISBN
  9783030428341, 9783030428358
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] ユーザの感覚に近い多様化検索評価指標2020
- 著者名/発表者名
  酒井哲也, Zhaohao Zeng
- 雑誌名
  
  FIT2020講演論文集
  
  巻: CD-002
- 査読あり / オープンアクセス
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Which Diversity Evaluation Measures Are “Good”?2019
- 著者名/発表者名
  Tetsuya Sakai and Zhaohao Zeng
- 雑誌名
  
  Proceedings of SIGIR'19: Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2019)
  
  巻: - ページ: 595-604
- DOI
  10.1145/3331184.3331215
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Comparing Two Binned Probability Distributions for Information Access Evaluation2018
- 著者名/発表者名
  Sakai Tetsuya
- 雑誌名
  
  Proceedings of the 41st International ACM SIGIR Conference on Research & Development in Information Retrieval (SIGIR 2018)
  
  巻: 41 ページ: 1073-1076
- DOI
  10.1145/3209978.3210073
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Topic Set Size Design for Paired and Unpaired Data2018
- 著者名/発表者名
  Sakai Tetsuya
- 雑誌名
  
  Proceedings of the 2018 ACM SIGIR International Conference on Theory of Information Retrieval (ICTIR 2018)
  
  巻: 8 ページ: 199-202
- DOI
  10.1145/3234944.3234971
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Towards Automatic Evaluation of Customer-Helpdesk Dialogues2018
- 著者名/発表者名
  Zhaohao Zeng, Cheng Luo, Lifeng Shang, Hang Li, Tetsuya Sakai
- 雑誌名
  
  Journal of Information Processing
  
  巻: 26 号: 0 ページ: 768-778
- DOI
  10.2197/ipsjjip.26.768
- NAID
  130007511649
- ISSN
  1882-6652
- 言語
  英語
- 査読あり / オープンアクセス / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-17H01830
[雑誌論文] Towards Automatic Evaluation of Multi-Turn Dialogues: A Task Design that Leverages Inherently Subjective Annotations2017
- 著者名/発表者名
  Tetsuya Sakai
- 雑誌名
  
  Proceedings of the 8th International Workshop on Evaluating Information Access (EVIA 2017)
  
  巻: 8 ページ: 24-30
- 査読あり / オープンアクセス / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] LSTM vs. BM25 for Open-domain QA: A Hands-on Comparison of Effectiveness and Efficiency2017
- 著者名/発表者名
  Sosuke Kato, Riku Togashi, Hideyuki Maeda, Sumio Fujita, and Tetsuya Sakai
- 雑誌名
  
  Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '17)
  
  巻: 40 ページ: 1309-1312
- DOI
  10.1145/3077136.3084147
- 査読あり / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Investigating Users' Time Perception during Web Search2017
- 著者名/発表者名
  Luo Cheng、Li Xue、Liu Yiqun、Sakai Tetsuya、Zhang Fan、Zhang Min、Ma Shaoping
- 雑誌名
  
  Proceedings of the 2017 Conference on Conference Human Information Interaction and Retrieval (CHIIR '17)
  
  巻: 2 ページ: 127-136
- DOI
  10.1145/3020165.3020184
- 査読あり / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Ranking Rich Mobile Verticals based on Clicks and Abandonment2017
- 著者名/発表者名
  Mami Kawasaki, Inho Kang, and Tetsuya Sakai.
- 雑誌名
  
  Proceedings of the 2017 ACM on Conference on Information and Knowledge Management (CIKM '17)
  
  巻: 2017 ページ: 2127-2130
- DOI
  10.1145/3132847.3133059
- 査読あり / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Mobile Vertical Ranking based on Preference Graphs2017
- 著者名/発表者名
  Yuta Kadotami, Yasuaki Yoshida, Sumio Fujita, and Tetsuya Sakai
- 雑誌名
  
  Proceedings of the ACM SIGIR International Conference on Theory of Information Retrieval (ICTIR '17).
  
  巻: 2017 ページ: 225-228
- DOI
  10.1145/3121050.3121082
- 査読あり / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Evaluating Mobile Search with Height-Biased Gain2017
- 著者名/発表者名
  Cheng Luo, Yiqun Liu, Tetsuya Sakai, Fan Zhang, Min Zhang, and Shaoping Ma
- 雑誌名
  
  Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '17)
  
  巻: 40 ページ: 435-444
- DOI
  10.1145/3077136.3080795
- 査読あり / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] The Probability that Your Hypothesis Is Correct, Credible Intervals, and Effect Sizes for IR Evaluation2017
- 著者名/発表者名
  Tetsuya Sakai
- 雑誌名
  
  Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '17)
  
  巻: 40 ページ: 25-34
- DOI
  10.1145/3077136.3080766
- 査読あり / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] he Effect of Inter-Assessor Disagreement on IR System Evaluation: A Case Study with Lancers and Students2017
- 著者名/発表者名
  Tetsuya Sakai
- 雑誌名
  
  Proceedings of the 8th International Workshop on Evaluating Information Access (EVIA 2017)
  
  巻: 8 ページ: 31-38
- 査読あり / オープンアクセス / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Does Document Relevance Affect the Searcher's Perception of Time?2017
- 著者名/発表者名
  Luo Cheng、Liu Yiqun、Sakai Tetsuya、Zhou Ke、Zhang Fan、Li Xue、Ma Shaoping
- 雑誌名
  
  Proceedings of the Tenth ACM International Conference on Web Search and Data Mining (WSDM '17)
  
  巻: 10 ページ: 141-150
- DOI
  10.1145/3018661.3018694
- 査読あり / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Two Sample T-tests for IR Evaluation2016
- 著者名/発表者名
  Sakai Tetsuya
- 雑誌名
  
  Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval (SIGIR '16)
  
  巻: 39 ページ: 1045-1048
- DOI
  10.1145/2911451.2914684
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Statistical Significance, Power, and Sample Sizes2016
- 著者名/発表者名
  Sakai Tetsuya
- 雑誌名
  
  Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval (SIGIR '16)
  
  巻: 39 ページ: 5-14
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Evaluating Search Result Diversity using Intent Hierarchies2016
- 著者名/発表者名
  Wang Xiaojie、Dou Zhicheng、Sakai Tetsuya、Wen Ji-Rong
- 雑誌名
  
  Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval (SIGIR '16)
  
  巻: 39 ページ: 415-424
- DOI
  10.1145/2911451.2911497
- 査読あり / 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] A Simple and Effective Approach to Score Standardisation2016
- 著者名/発表者名
  Sakai Tetsuya
- 雑誌名
  
  Proceedings of the 2016 ACM International Conference on the Theory of Information Retrieval (ICTIR '16)
  
  巻: 2 ページ: 95-104
- DOI
  10.1145/2970398.2970399
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] Topic set size design2016
- 著者名/発表者名
  Sakai Tetsuya
- 雑誌名
  
  Information Retrieval Journal (June 2016)
  
  巻: 19 号: 3 ページ: 256-283
- DOI
  10.1007/s10791-015-9273-z
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[雑誌論文] The Effect of Score Standardisation on Topic Set Size Design2016
- 著者名/発表者名
  Sakai Tetsuya
- 雑誌名
  
  Ma S. et al. (eds) Information Retrieval Technology. AIRS 2016. (Lecture Notes in Computer Science, vol 9994)
  
  巻: 12 ページ: 16-28
- DOI
  10.1007/978-3-319-48051-0_2
- ISBN
  9783319480503, 9783319480510
- 査読あり
- データソース
  KAKENHI-PROJECT-16H01756
[学会発表] RSLNV at the NTCIR-15 Dialogue Evaluation (DialEval-1) Task2020
- 著者名/発表者名
  Ting Cao, Fan Zhang, Haoxiang Shi, Zhaohao Zeng, Sosuke Kato, Tetsuya Sakai, Injae Lee, Kyungduk Kim, and Inho Kang
- 学会等名
  NTCIR-15
- 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-17H01830
[学会発表] Overview of the NTCIR-15 Dialogue Evaluation (DialEval-1) Task2020
- 著者名/発表者名
  Zhaohao Zeng, Sosuke Kato, Tetsuya Sakai, and Inho Kang
- 学会等名
  NTCIR-15
- 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-17H01830
[学会発表] SKYMN at the NTCIR-15 DialEval-1 Task2020
- 著者名/発表者名
  Junjie Wang, Yuxiang Zhang, Tetsuya Sakai, and Hayato Yamana
- 学会等名
  NTCIR-15
- 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-17H01830
[学会発表] Overview of the NTCIR-14 Short Text Conversation Task: Dialogue Quality and Nugget Detection Subtasks2019
- 著者名/発表者名
  Zhaohao Zeng and Sosuke Kato and Tetsuya Sakai
- 学会等名
  NTCIR-15
- 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-17H01830
[学会発表] SLSTC at the NTCIR-14 STC-3 Dialogue Quality and Nugget Detection Subtasks2019
- 著者名/発表者名
  Sosuke Kato and Rikiya Suzuki and Zhaohao Zeng and Tetsuya Sakai
- 学会等名
  NTCIR-15
- 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-17H01830
[学会発表] Comparing Two BinnedProbability Distributions for Information Access Evaluation2018
- 著者名/発表者名
  Tetsuya Sakai
- 学会等名
  ACM SIGIR 2018
- 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-17H01830
[学会発表] Towards Automatic Evaluation of Multi-Turn Dialogues: A Task Design that Leverages Inherently Subjective Annotations2017
- 著者名/発表者名
  Sakai, T.
- 学会等名
  The 8th International Workshop on Evaluating Information Access (EVIA 2017)
- 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-17H01830
[学会発表] Test Collections and Measures for Evaluating Customer-Helpdesk Dialogues2017
- 著者名/発表者名
  Zeng, Z., Luo, C., Shang, L., Li, H., and Sakai, T.
- 学会等名
  The 8th International Workshop on Evaluating Information Access (EVIA 2017)
- 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-17H01830
[学会発表] On Estimating Variances for Topic Set Size Design2016
- 著者名/発表者名
  Tetsuya Sakai*, Lifeng Shang
- 学会等名
  Proceedings of the Seventh International Workshop on Evaluating Information Access (EVIA 2016), June 7, 2016 Tokyo Japan　pp.9-12 【査読あり】
- 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756
[学会発表] Two-layered Summaries for Mobile Search: Does the Evaluation Measure Reflect User Preferences?2016
- 著者名/発表者名
  Makoto P. Kato*, Virgil Pavlu, Tetsuya Sakai, Takehiro Yamamoto, Hajime Morita
- 学会等名
  Proceedings of the Seventh International Workshop on Evaluating Information Access (EVIA 2016), June 7, 2016 Tokyo Japan　pp.29-32 【査読あり】
- 国際共著/国際学会である
- データソース
  KAKENHI-PROJECT-16H01756

1. 神門典子 (80270445)

共同の研究課題数: 1件

共同の研究成果数: 0件
2. 吉岡真治 (40290879)

共同の研究課題数: 1件

共同の研究成果数: 0件
3. 山本岳洋 (70717636)

共同の研究課題数: 1件

共同の研究成果数: 1件
4. 相澤彰子 (90222447)

共同の研究課題数: 1件

共同の研究成果数: 0件
5. 大島裕明 (90452317)

共同の研究課題数: 1件

共同の研究成果数: 0件

酒井 哲也 Sakai Tetsuya

研究課題

研究成果

共同研究者

ナゲットに基づくタスク指向対話の自動評価に関する研究研究代表者

研究代表者

研究期間 (年度)

研究種目

研究分野

研究機関

利用者の状況を考慮する探索的検索の技術

研究代表者

研究期間 (年度)

研究種目

研究分野

研究機関

[雑誌論文] Relevance Assessments for Web Search Evaluation: Should We Randomise or Prioritise the Pooled Documents?2022

著者名/発表者名

雑誌名

DOI

データソース

[雑誌論文] On the Two-Sample Randomisation Test for IR Evaluation2021

著者名/発表者名

雑誌名

DOI

データソース

[雑誌論文] WWW3E8: 259,000 Relevance Labels for Studying the Effect of Document Presentation Order for Relevance Assessors2021

著者名/発表者名

雑誌名

DOI

データソース

[雑誌論文] A Closer Look at Evaluation Measures for Ordinal Quantification2021

著者名/発表者名

雑誌名

データソース

[雑誌論文] On the Instability of Diminishing Return IR Measures2021

著者名/発表者名

雑誌名

DOI

ISBN

データソース

[雑誌論文] Retrieval Evaluation Measures that Agree with Users’ SERP Preferences: Traditional, Preference-based, and Diversity Measures2020

著者名/発表者名

雑誌名

DOI

データソース

[雑誌論文] Good Evaluation Measures based on Document Preferences2020

著者名/発表者名

雑誌名

DOI

データソース

[雑誌論文] Randomised vs. Prioritised Pools for Relevance Assessments: Sample Size Considerations2020

著者名/発表者名

雑誌名

DOI

ISBN

データソース

[雑誌論文] ユーザの感覚に近い多様化検索評価指標2020

著者名/発表者名

雑誌名

データソース

[雑誌論文] Which Diversity Evaluation Measures Are “Good”?2019

著者名/発表者名

雑誌名

DOI

データソース

[雑誌論文] Comparing Two Binned Probability Distributions for Information Access Evaluation2018

著者名/発表者名

雑誌名

DOI

データソース

[雑誌論文] Topic Set Size Design for Paired and Unpaired Data2018

著者名/発表者名

雑誌名

DOI

データソース

[雑誌論文] Towards Automatic Evaluation of Customer-Helpdesk Dialogues2018

著者名/発表者名

雑誌名

DOI

酒井哲也 Sakai Tetsuya