May the Neural Networks be with you

ニューラルネットワークと共にあらんことを

2019年の振り返り

1年の振り返り

こんにちは。@shunk031です。クリスマスにニューラルネットワーク"力"をお願いしましたが、何も貰えませんでした。サンタさんはHinton先生ではないみたいです。毎年同じお願いをしている気がします。

f:id:shunk031:20191231202921j:plain
メイドさんに書いてもらった「論文採択」です

驚くべきことに2019年も今日で終わりみたいです。 この1年何をやってきたか振り返りも兼ねて、思い出せるイベントについてその時のツイートと共に残しておこうと思います。

自己紹介

法政大学理工学研究科応用情報工学専攻2年です。深層学習を主とした自然言語処理を研究しています。Gunosyで研究にフォーカスしたリサーチインターンをやっています。

1月

1月は主に1月中に締め切りがある国内学会用の論文2本と、2月頭に締め切りがある国際学会用の論文1本を書くハードスケジュールをこなしていました。これらは自然言語処理と医用画像処理、そして計算機広告というそれぞれ異分野の論文を並行で執筆していました。その途中に逆求人イベントや機械学習のコンペに参加していたりと、2019年始まった最初の月が今年で一番大変だった月だったと記憶しています。

情報処理学会 論文締め切り

1月11日締切の情報処理学会全国大会用の論文を書いていました。こちらは以前書いたSkin lesion classification with ensemble of squeeze-and-excitation networks and semi-supervised learningという論文の追加実験を行った結果をメインに執筆を行なっていました。

www.ipsj.or.jp

言語処理学会 論文締め切り

1月16日締切の言語処理学会全国大会用の論文を書いていました。こちらはGunosyでのリサーチインターンの成果をメインに執筆を行なっていました。

www.anlp.jp

アカリクITイベント in 東京

2020年卒だったので、一応就活を意識していました。まずは自分の現在持っている技術や経験がどれくらい企業の方に評価していただけるのかを知るために、以下の逆求人イベントに参加しました。

acaric.jp

参加されている方々は素晴らしい実績を持っている方々ばかりだったようで、Twitter等でもよくお見かけする方々とも交流できたのでとても良い経験になりました。

この逆求人イベントで声を掛けていただいた企業様を中心に就活を進めたので、とても有意義だったと考えています。

DeNAデータ解析コンペイベント

もともと交流があり、Kaggler軍団を有するDeNAさんが機械学習コンペをやるということで、怖いもの知らずでしたが参加してきました。

dena-ai.connpass.com

イベント開催中のPublic LBがあまり芳しくなく、ぜんぜんスコア上がらないと落ち込んでいたのですが、なぜかPrivate LBで1位でした。優勝者として名前が呼ばれたことにとても驚いたことを覚えています。

2月

2月はKDDの締め切りがあったあと少しゆっくりしていました。その間にChainerハンズオンのチューターに参加したり、機械学習のコンペを後輩たちと一緒にチームを組んでやっていたりしました。

KDD 論文締め切り

2月3日締切のKDD2019用の論文を書いていました。初めてのロングペーパーで、初めてのACMフォーマットで9ページ書ききるのがとても辛かったです。データマイニングのトップカンファレンスで採択率も低いこともあり、このときはKDDに採択されると思っておらず、リジェクトされたらCIKM2019に再度提出してみようという戦略でした。

www.kdd.org

Chainer Beginner's Hands-on Course チューター参加

突然ですが私はChainerが大好きです。研究でも使っていましたし、再現実装等もそれなりに多く公開してきました。しかしこれまでChainer本体に何もコントリビュートできていませんでした。 ちょうどChainerのハンズオンが開催されるタイミングがあり、そこでチューターとして参加させていただきました。

chainer.connpass.com

コードでコントリビュートしろと言われればそれまでですが、実際使っている方や使っている中で困っている方を助けることが出来たと考えており、コミュニティに対してコントリビュートできたのかな、と当時思っていました*1。

FDC締め切り

忙しかった1月の中旬頃から、こちらも機械学習コンペであるFintech Data Championship (FDC) に参加していました。こちらは株価を予測するコンペであり初手で闇コンペみを感じていましたが、コンペ運営も少しガバめであったこともあり闇x闇という素晴らしいコンペでした。

prtimes.jp

AIを専攻していないので分かりませんが、何かのバグを踏んでしまい3000億稼ぐエーアイを爆誕させて大喜びしていたのを覚えています。

3月

3月、それとなく就活ムーブをしてみたり、学会をはしごして発表したりしていました。移動距離が結構長くて移動している感を感じました。

就活

何の苦しみもなく就活をしていた気がします。応募するときも人事の方がいい感じにやってくれていたり、面接に行くとだいたいお知り合いだったのも気持ちが楽でした。ESは特に書いた記憶がなく、それっぽいCVを送るだけで良かったです。よく聞く就活辛い話は特になく、運の良い学生だったかなと今は思います。

言語処理学会2019 in 名古屋

名古屋大学で開催された言語処理学会2019全国大会にて、以下の発表を行いました。

  • 北田俊輔, 彌冨仁, 関喜史, "広告クリエイティブ自動生成にむけたマルチタスク学習と Conditional Attention による CVR 予測", 言語処理学会第 25 回年次大会, 2019.

言語処理学会での発表の様子は以下のブログに譲ります。

data.gunosy.io

情報処理学会2019 in 福岡

福岡大学で開催された情報処理学会2019全国大会にて、以下の発表を行いました。

  • 北田俊輔, 彌冨仁, "頑健な皮膚腫瘍診断支援のための body hair augmentation", 情報処理学第 81 回会全国大会, 2019.

言語処理学会での発表を終えて次の日には福岡に移動しました。新幹線の中で某社の採用課題をやって提出しました。その時はモデルのチューニングを考えたくなかったのでoptuna*2でハイパラ探索をさせていたのを記憶しています。

ありがたいことに学生奨励賞をいただくこともできました。

大学のホームページに乗ると、実家の家族も驚いてくれるので*3ありがたいです。

www.hosei.ac.jp

Gunosy DM 発表

私のインターン先であるGunosyでは毎週論文読み会を開催しています。私自身も発表に参加させていただいています。ちょうどWSDM2019の論文を読む週だったので、以下の論文をチョイスして紹介しました。

scrapbox.io

卒業式

お世話になった先輩方や、お世話をした後輩たちが卒業していきました。みなさん社会で活躍しているので弊研出身者凄いなという気持ちです。

FDC 結果発表

株価予測は運。

4月

3月に引き続き就活っぽいことをしつつ、推し事をやるために全国を飛び回っていました。 採用インターンでDe社さんにお世話になっており、とても楽しくインターンさせていただきました。

小倉唯ライブ

推し事をやりました。

www.ogurayui.jp

全通しました。大阪、滋賀、愛知、新潟、仙台、幕張2daysを1ヶ月でやりました。

KDD論文採択

4月28日にKDDの論文採択通知が来ました。ちょうどゴールデンウィークで実家に帰省していたのと、あまり期待していなかったため適当な生活をしていたのですが、共著者の関さんから連絡が来てメールを確認したら採択されてました。今でもあの嬉しさは忘れられないです。何も理解がない実家で一人ありえん喜んでいたので、とうとう息子は壊れてしまったのかと心配されました。

論文採択までのいろいろは以下のブログでまとめています。

shunk031.hatenablog.com

5月

5月はKDDに採択された論文のカメラレディを用意したり、プロモーションビデオを用意したりしていました。これが微妙に大変で忙しかったです。

KDD camera ready 締め切り

こちらがcamera ready版の論文です。いい感じに仕上がりました。

https://dl.acm.org/doi/10.1145/3292500.3330789dl.acm.org

研究室運動会

弊研恒例の研究室運動会でした。このときは3年間参加してきた運動会もラストか〜と個人的にエモい感じになっていました。

iyatomi-lab.info

6月

6月は比較的のんびりしていた気がします。ぽつぽつと就活案件も入っていたようです。

Cpaw LTで登壇

所属サークルであるCpawでLTをしました。

cpaw.connpass.com

私はPyTorchのC++フロントエンドであるlibtorchとgolangのwebアプリフレームワークであるginを組み合わせた高速な深層学習APIサーバの構築について話しました*4。

実装は以下に公開しています。

github.com

ICML/KDD 2019 Pre-conference sessionで登壇

KDDの採択を受けて、同時期にICMLに採択されたLAPRASさんからお声がけいただき、以下の勉強会で発表してきました。

lapras.connpass.com

クローズドな勉強会で登壇

Gunosy社内で複数社合同のクローズドな勉強会が開催されたときにKDDに採択された内容を発表させていただきました。ちょうどこのときガウス過程と機械学習 の著者の大羽先生の講演も聞くことができ、とても刺激を受けました。

エムスリーインターン

ある勉強会でエムスリーの西場さんのお話を聞く機会があり、かねてより気になっていたのでインターンに応募させていただきました。エムスリー社内で私のことを知ってくださっている方も多く、次に連絡をもらったときにはもうインターンとして採用決定している旨を聞き、スピード感に驚きました。

エムスリーでは主に医療論文のレコメンドサービスをイチから立ち上げる経験をしました。アルゴリズム部分は私自身が選定し、実装しました。インターンが終わった後も私が実装したものをベースに改善されていっているようです*5。

speakerdeck.com

ちなみに西場さんの エムスリーにおけるAI・機械学習チームの立ち上げと機械学習プロダクト開発 がとても良かったです。医療論文のレコメンドサービス Pauli についても言及されています。

speakerdeck.com

同時期にご一緒させていただいていたインターン生がありえないぐらい強かったです。

7月

8月頭のKDDへの発表に向けて準備していたり、8月終わりのYANSにむけたネタ集めをしていた時期でした。

Gunosy DM 発表

ちょうどWWW2019の論文を読む週だったので、以下の論文をチョイスして紹介しました。

scrapbox.io

フロリダ大学からの来客

指導教員の友人がフロリダ大学からいらっしゃいました。以下は彼が当時研究していたものです。 \beta-VAEにおける \beta はチューニングするのが難しいですが、以下ではそうした問題を克服するための手法を提案しています。

arxiv.org

リサーチインターンに対するインタビュー

Gunosyでのリサーチインターンの成果について、メンターである関さんとインタビューを受けました。いつも面倒を見てくださっている関さんからとても嬉しい言葉をいただけたので、ここに引用しておきます。

頭で考えてから実装までのスピードがとても速いです。これはとても重要な能力だと思います。我々が取り組んでいるような機械学習の応用に関する研究ではどれだけ頭で考えていても、実装の結果を見ないと分からないことが多いです。北田君は考察しながら手を動かし、限られた時間で目覚ましい成果を出しているので、素晴らしいと感じています。 あとは、コミュニケーションを容易に取れる所も助かっています。僕が言った内容を理解し、それ以上の情報を返してくれる優秀さに驚いています。研究チームに北田君を誘ったのも、僕がメディアの研究や推薦システムの部分を行い、広告の研究を北田君に一任したいと考えていたからです。実際、広告技術部にいた彼だからこそ得意な分野を活かして良い研究に仕上げられたと感じています。

研究職インターンが活躍する環境とは～論文がトップカンファレンスに採択されるまでの軌跡 - Gunosiru(グノシル) | はたらくを知り、 Gunosyを知る。

gunosiru.gunosy.co.jp

特別賞受賞

リサーチインターンの成果が評価され、Gunosyでの締め会でCEO特別賞をいただくことができました。社員以外での受賞はこれが初めてのようです。たくさんの社員さんに協力して論文を書かせていただいたので、受賞できて嬉しかったです。

gunosiru.gunosy.co.jp

CEO特別賞（多大な業績に貢献した社員のみに贈られる賞） こちらの賞は従来の賞とは別に、多大な業績に貢献した社員が居る場合のみ贈られます。今回は、データマイニングに関する国際会議「KDD2019」に論文が採択された関さんと北田さんの2名が受賞しました。

飛躍に向けた全力助走～『Gunosy 第7期 下半期締会』の様子をレポート - Gunosiru(グノシル) | はたらくを知り、 Gunosyを知る。

8月

8月はKDDでアラスカ、お盆の帰省で長野、YANSで北海道と移動し、比較的涼しいところで過ごした夏でした。1年の中でも特に充実した1ヶ月でした。

KDD2019 in アラスカ

アラスカで開催されたKDD2019にて、以下の発表を行いました。

  • Shunsuke Kitada, Hitoshi Iyatomi, Yoshifumi Seki. "Conversion Prediction Using Multi-task Conditional Attention Networks to Support the Creation of Effective Ad Creatives." Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 2019.

初めての本会議で初めてのトップカンファレンスということもあり、学会の規模の大きさに驚きました。ポスター発表では名だたるテック企業の方々がポスター発表を聞きに来てくださり、とても刺激的なディスカッションをすることができました。

Gunosy DM 発表

SIGIR2019の論文を読む週だったので、以下の論文をチョイスして紹介しました。

scrapbox.io

オープンキャンパス

夏といえばオープンキャンパスです。今年は弊研究室が公開されました。私たちが普段研究している内容についての展示や説明を行いました。

iyatomi-lab.info

YANS2019

北海道札幌市で開催されたYANS2019にて、以下の発表を行いました。今回は初めて弊研から複数人参加であり、共著としての発表も増えました。

  • 北田俊輔，彌冨仁, "解釈性向上のための注意機構と損失勾配に対する関連損失の導入"，NLP 若手の会 (YANS) 第 14 回シンポジウム, 2019.
  • 長澤駿太，北田俊輔，彌冨仁, "日本語の文字体系を考慮した文書分類モデルの提案"，NLP 若手の会 (YANS) 第 14 回シンポジウム, 2019.
  • Daif Mahmoud, Shunsuke Kitada, Hitoshi Iyatomi, "Image Based Character Embeddings for Arabic Document Classification"，NLP 若手の会 (YANS) 第 14 回シンポジウム, 2019.

以下はKDD2019でもらったTシャツを来てYANSで発表した様子です。

ありがたいことに奨励賞をいただくことができました。投票していただいたみなさんのおかげで受賞できたので、これを励みにまた頑張ろうという気持ちが強かったです。

繰り返しになりますが、大学のホームページに乗ると、実家の家族も驚いてくれるので*6ありがたいです。

www.hosei.ac.jp

9月

8月は出ずっぱりで発表しまくり月間でしたが、9月も引き続き発表する機会に恵まれました。研究室合宿でゆっくりしたかったですが、ありえん遊んでしまいました。

研究室合宿

毎年恒例弊研の合宿です。B4の子たちの中間発表に向けた発表練習が中心で、その後はいい感じに遊びました。

iyatomi-lab.info

法政大学 科学技術フォーラム

弊学の理系学部の研究・技術の内容・成果を展示などで披露するフォーラムに弊研が選ばれました。弊研究室が行っている研究をポスターにまとめ、来場者の方に説明を行ったり、デモを披露したりしました。

iyatomi-lab.info

PyConJP 2019

PyConJPは私がB3の頃から参加しています。当時はM2の先輩と一緒に参加し、とても楽しかった記憶があります。今年は私がM2で、B3, B4, M1の後輩たちと発表を聞きました。機械学習を中心とした発表が多く、Pythonのカンファレンスではなく機械学習のカンファレンスでは？という感想を抱きました。機械学習のカンファレンスでも私は聞いていて楽しいのでよいですが。

pyconjp.connpass.com

テキストアナリティクスシンポジウム 依頼講演

KDDの採択を受けて、テキストアナリティクスシンポジウムでリサーチインターンはどういうものなのか講演していただきたいというとてもありがたい依頼を受けまして、発表させていただきました。海外では一般的になりつつあるリサーチインターンですが、国内ではまだまだ発展途上であり、私がリサーチインターンをやっていく中でどのように論文採択までに至ったかについて発表しました。パネルディスカッションタイムでは、CyberAgentの方々や共著者でメンターの関さんと白熱したディスカッションができました。

speakerdeck.com

10月

10月はそれなりにゆっくりしていた1ヶ月だった気がします。あまり記憶がないです。

Gunosy DM 発表

KDD2019の論文を読む週だったので、以下の論文をチョイスして紹介しました。この発表は私たちがKDDでポスター発表していたちょうど目の前で同じくポスター発表していたもので、論文の内容もそうですが、とても親近感が湧きました。

scrapbox.io

京都旅行

なぜか京都に行きたくなったので行ってきました。適当に京都に行くの普通に最高ですね。

11月

11月は論文執筆がメインの1ヶ月でした。

論文執筆

12月初旬に締め切りのある学会に向けて論文を書いていました。今回の今までキツキツだった執筆スケジュールと異なり、それなりに余裕のあるスケジュールで執筆をすすめることができました。

12月

12月は引き続き論文執筆をしていました。後半は温泉に行ったりアドベントカレンダーを書いたりしました。

論文締め切り

それなりに余裕があるなと思いながら執筆していましたが、直前はやっぱり色々ドタバタしますよね。なんとかサブミット出来ました。

Gunosy DM 発表

RecSys2019の論文を読む週だったので、以下の論文をチョイスして紹介しました。

scrapbox.io

草津旅行

後輩がcall for 草津温泉をやっていたので乗りました。

アドベントカレンダー執筆

実は密かに研究室アドベントカレンダーをやりたいと夢見ていました。

今年はアウトプットできる人材も増えてきたので、みんなを巻き込んでアドベントカレンダーをやりました。弊学の学部1年生から4年生、修士1,2年やOBOGを巻き込みました。隣の研究室の子も巻き込んだりして壮絶な感じになりましたが、無事完走したので良かったです。嬉しかったです。夢を叶えました。

adventar.org

ちなみに私が書いた記事は以下の4つです。なんだかんだアウトプットするのって大変なので強制的にアウトプットできるこの機会はありがたいです。

shunk031.hatenablog.com

shunk031.hatenablog.com

shunk031.hatenablog.com

shunk031.hatenablog.com

番外編

番外編として美味しいご飯や飲んだタピオカミルクティー、綺麗な景色のツイートを貼ります。

美味しいごはん

KDD執筆に向けてメンターさんが連れて行ってくださった馬刺しや寿司です。美味すぎて馬になりました。

タピオカミルクティー

タピオカミルクティーにどハマリした一年でした。飲んだタピオカミルクティーを順不同で適当に貼ります。

綺麗な景色

綺麗な景色は綺麗でした。初めて六本木ヒルズの頂上に行きました。

まとめ

トップカンファレンスに論文が採択されたことにより、半ば人生が変わってしまいました。楽しさが単調増加していた1年でした。素晴らしい人たちとコラボして研究をしたりインターンをしたりできたので、より幸せだったと思います。

ありがたいことに来年も色んな方々とコラボできる話が進んでおり、とても楽しみです。「こいつと組んでみたい」と思ってもらえるように研鑽を積んでいきます。そのほかコラボしていただける方や企業さま、@shunk031にご連絡いただければと思います。では良いお年を。

*1:Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 | 株式会社Preferred Networks https://preferred.jp/ja/news/pr20191205/

*2:optuna/optuna: A hyperparameter optimization framework https://github.com/optuna/optuna

*3:実家に帰るとエーアイとかいうわけわからん研究してないで早く就職してくれとよく言われます。

*4:こちら資料は公開していません。もしもご興味がありましたらご連絡いただければ…

*5:Content-Based Citation Recommendation - ACL Anthology https://www.aclweb.org/anthology/N18-1022/

*6:勉学にあまり理解のない家族の人たちにも、流石に複数回受賞していると遊んでいるんじゃなくてちゃんと研究してる感が伝わるようです。