May the Neural Networks be with you

ニューラルネットワークと共にあらんことを

2021年の振り返り

1年の振り返り

こんにちは。@shunk031 です。クリスマスにニューラルネットワーク "力" をお願いしましたが、何も貰えませんでした。 サンタさんは Hinton 先生ではないみたいです。 毎年同じお願いをしている気がします。 2021 年をツイートベースで振り返ります。

f:id:shunk031:20220104185219j:plain
あしかがフラワーパークの藤イルミネーション、幻想的すぎました

各月の活動

1 月

やっていく気持ちを表明していました。

M1 Macbook Pro を購入

4 年ほど使った Intel Macbook Pro から乗り換え。充電の持ちが非常によく、外で論文を書くぐらいならば 2 日ぐらい充電しなくても大丈夫です。電源のあるカフェを探すことはほとんどなくなりました。

言語処理学会全国大会 論文投稿

今年は主著 x1、共著 x1 でした。去年の主著 x1、共著 x3（うち留学生 x1）で並行して執筆していたときはかなりしんどかったです。

博士課程コースワーク 取り組み

弊研究科の博士課程の学生はコースワークなる科目があり、学科内の任意の先生にお願いして課題を出してもらいます。今回の課題は「くずし字に関するサーベイ」と「グラフ構造 x 自然言語処理」という 2 つの課題が与えられ、締切ギリギリのこの時期にやっていました。

くずし字に関するサーベイは以下に記事としてまとめ、公開しております。講義の課題もこのように公開すること前提ですすめると、自然と緊張感のあるものになると思いました。

shunk031.hatenablog.com

NAACL 2021 first decision の通知 & Rebuttal

前年に投稿していた NAACL 2021 投稿論文の first decision が通知された時期でした。

指導教員の先生と密に連携して author response を作成し、結果的に全体的なレビュースコアを向上させることができましたが、reject でした（後述）。

KDD2021 論文投稿

KDD2019 から投稿し始め、毎年の恒例行事になりつつあります。

IEEE Access 論文投稿

学振 DC2 補欠採用

今年一番の嬉しいイベントだったような気がします。

学振 DC2 申請書 公開

補欠で採用されるようなギリギリボーダーな人の申請書って実は貴重なのでは？ということで、公開しました。

申請書を執筆する上でよく見ていた科研費.com さまにも掲載していただきました。

これはいわゆる学振焼肉です。

3 月

人工知能学会全国大会 論文投稿

学振 DC2 採用の話が大学広報にて掲載

NAACL2021 結果通知

不採択通知をいただきました。

We are sorry to inform you that the following submission was not selected by the program committee to appear at NAACL-HLT 2021: XXX The selection process was very competitive and unfortunately there were many quality papers that we could not accept. We considered a range of factors including the reviewers' assessment and scores, reviewer discussions, and careful assessment by the area chairs and senior area chairs.

言語処理学会 2021 発表

カルタゴ大セミナー登壇

GoTo 箱根

IEEE Access 不採録通知

不採録通知をいただきました。

4 月

学振 DC2 採用の話が学科広報にて掲載

AppBrew テックブログへ記事寄稿

5 月

CyberAgent AI Lab 博士インターン開始

母の日に母親に iPhone 11 をプレゼントしたいい話

令和 2 年度博士課程進学に伴う採用時返還免除内定者の決定

D1 のときに借りていた日本学生支援機構の第一種奨学金がこの時点で免除確定になりました。ありがとうございます。

KDD2021 結果通知

不採択通知をいただきました。

We regret to inform that your paper: Paper ID: XXX Paper title: YYY has not been accepted for presentation at SIGKDD 2021.

IEEE Access 論文投稿

新垣結衣、星野源と結婚

CIKM2021 論文投稿

6 月

人工知能学会 2021 発表

IEEE Access 論文採録

採録通知をいただきました。

21-Jun-2021 Dear Mr. Kitada: Your manuscript entitled "Attention Meets Perturbations: Robust and Interpretable Attention with Adversarial Training" has been accepted for publication in IEEE Access. The comments of the reviewers who reviewed your manuscript are included at the foot of this letter. We ask that you make changes to your manuscript based on those comments, before uploading final files.

CyberAgent AI Lab 博士インターン最終出社

7 月

CyberAgent AI Lab 協働研究員 開始

小倉唯 ライブ

www.ogurayui.jp

GoTo 軽井沢

8 月

NTT 人間情報研 インターン開始

CIKM2021 結果通知

不採択通知をいただきました。

Dear Shunsuke, Thank you for your submission to the CIKM 2021 Applied Research Track. Unfortunately, we did not accept your paper for presentation at the conference: XXX: YYY

YANS 2021 発表

9 月

IEEE Access 論文投稿

以下の論文に関する拡張についての論文を投稿しました。

arxiv.org

AAAI2022 論文投稿

IEEE Access 論文投稿

KDD2020 から投稿を続けているネタを IEEE Access へ投稿することに。

花粉症の舌下療法を開始

10 月

IEEE Access 不採録通知

再投稿が許されるタイプの major revision 相当の不採録通知でした。

06-Oct-2021 Dear Mr. Kitada: I am writing to you in regards to manuscript # Access-XXXX-YYYY entitled "ZZZZ" which you submitted to IEEE Access. Please note that IEEE Access has a binary peer review process. Therefore, in order to uphold quality to IEEE standards, an article is rejected even if it requires minor edits.

GoTo 金沢

GoTo 白川郷

AAAI2022 結果通知

不採択通知をいただきました。

Dear Shunsuke KITADA, We regret to inform you that your AAAI-22 submission XXXX did not advance to the second phase of the 2-phase review process and hence has been rejected. There were over 8000 submissions to AAAI this year. In light of the fact that the acceptance rate for AAAI is typically around 25%, only about 56% of the papers advanced to Phase 2 of the review process based on the Phase 1 reviews. During Phase 1, each submission was initially assigned to 2 reviewers. Every effort was made, using the most uptodate information available to us, to avoid conflicts of interest throughout the entire review and decision process.

WWW2022 論文投稿

AAAI2022 不採択だった原稿を更新して The Web Conference (通称 WWW) へ投稿しました。

IEEE Access 不採録通知

再投稿もだめなパターンでした。他のジャーナルを探さないと。

Dear Mr. Kitada: I am writing to you in regards to manuscript # Access-XXXX-YYYY entitled "ZZZZ" which you submitted to IEEE Access. In view of the criticisms of the reviewer (s) found at the bottom of this letter, your manuscript has not been recommended for publication in IEEE Access. Unfortunately, we will not accept resubmissions of this article.

11 月

ジャーナル投稿に向けて準備

ツイートからは何もやっていなかったような雰囲気を感じるのですが、slack 等を見返すとジャーナル投稿に向けて原稿を準備していたようです。

GoTo 栃木足利

12 月

論文全然通らないなぁ、みたいな気持ちになっています。

WWW 2022 first decision の通知 & Rebuttal

AAAI 2022 では比較的ポジティブなコメントを貰っていたのですが、WWW 2022 のレビューでは厳し目のコメントが多かったです。

アドベントカレンダー 記事執筆

小倉唯ライブ

昼公演夜公演どちらも参加する疲れるようになってきました。年かな…？

関内二郎、いきたかった。

IEEE Access 論文投稿

Major revision 相当だった原稿を再投稿しました。

論文投稿

今年のカンファレンス・ジャーナルそれぞれの投稿結果をまとめます。

カンファレンス論文

NAACL2021

  • レビュー結果
    • [R] 2.5, 3, 3 -> (after rebuttal) -> 2.5, 3.5, 3.5
  • お気持ち
    • Rebuttal 前はボーダーラインだった reviewer #2 と #3 をポジティブな方向に持っていけたのは良かったです 一方で reviewer #1 のネガティブな気持ちをひっくり返すことはできませんでした

KDD2021

  • レビュー結果
    • [R] WA, SR, WR, WA
  • お気持ち
    • KDD2020 -> WSDM2021 と投稿してきて、WSDM2021 のレビュー結果 がそれなりに positive だったため、今年の KDD は通るかなぁと思っていたのですがだめでした。難しいですね

CIKM2021

  • レビュー結果
    • [R] R, WR
  • お気持ち
    • 上記 KDD2021 の再投稿だったのですが、深みにハマってしまったらしくどんどんレビュー内容が悪くなっていきました
    • このままカンファレンスに投稿し続けるのは良くないと考え、指摘内容を更新した後にジャーナルに投稿することにしました

AAAI2022

  • レビュー結果
    • [R] BA, BA
  • お気持ち
    • CyberAgent AI Lab での成果を投稿しました。3 ヶ月で仕上げた内容でしたが比較的ポジティブなコメントが多かったです。
    • 一方で採択へ後押しする決め手がなかったために Phase 1 で reject になってしまいました。
    • こちらは現在 WWW へ再投稿しています。

ジャーナル論文

卒業要件として先生曰くジャーナル 3 本程度が必要だとおっしゃっていたので、個人的にはカンファレンスに投稿したかった気持ちを抑えてジャーナルに投稿していくことにしました。投稿先は査読が早いと噂の IEEE Access を選択し、手元にある原稿を投稿していく方針で進めました。 IEEE Access は binary decision *1 を採用しており、minor/major revision 相当であっても一旦 reject になり、再投稿が許されます。ある程度のボーダーを下回ると再投稿が許されない不採録の決定もあります。

IEEE Access (1)

  • レビュー結果
    • [R (major revision 相当)] R (updates required before resubmission), R (updates required before resubmission), A (minor edits)
    • -> [A] Accept (minor edits), Accept (minor edits)
  • お気持ち
    • 採録された論文は「Attention Meets Perturbations: Robust and Interpretable Attention with Adversarial Training」*2 です。
    • ACL2020 に不採択だった内容をブラッシュアップしたのですが、最初は不採録（major revision 相当）でした。レビュアーのコメントをもとに原稿を更新したことで、無事採録されました。

IEEE Access (2)

  • レビュー結果
    • [R (major revision 相当)] R (updates required before resubmission), R (updates required before resubmission) i
  • お気持ち
    • Gunosy のリサーチインターンでやっている話で、KDD2020 -> WSDM2021 -> KDD2021 -> CIKM2021 と投稿してきた原稿です。
    • 昨年の終わりに原稿を再投稿したので、今年こそは良い結果が帰ってくることを期待しています。

IEEE Access (3)

  • レビュー結果
    • [R] R (do not encourage resubmit), R (do not encourage resubmit)
  • お気持ち
    • 不採録となった論文は「Making Attention Mechanisms More Robust and Interpretable with Virtual Adversarial Training for Semi-Supervised Text Classification」*3 を拡張した論文です。
    • NAACL 2021 不採択だった原稿を更新して臨んだのですが、かなり厳しい結果になりました。

まとめ

  • D2 が終わりました。折返し地点の気がしません。
  • 論文はたくさん書けるようになってきましたが、クオリティの面はまだまだでした。
  • D3 も頑張りたいです。シューカツをやらなくてはならない気がしています。企業で研究できそうなポジションがありましたらお声がけください。
    • 少しずつお声がけ頂いております。ありがとうございます。

*1:Rapid Peer Review – IEEE Access https://ieeeaccess.ieee.org/about-ieee-access/rapid-peer-review/

*2:Attention Meets Perturbations: Robust and Interpretable Attention With Adversarial Training | IEEE Journals & Magazine | IEEE Xplore https://ieeexplore.ieee.org/document/9467291

*3:[2104.08763] Making Attention Mechanisms More Robust and Interpretable with Virtual Adversarial Training for Semi-Supervised Text Classification https://arxiv.org/abs/2104.08763