2021年4月20日

昨夜は、日記を書いた後にYouTubeで海部陽介先生と松岡正剛さんの対談「<a href="https://www.youtube.com/watch?v=qTxWFAh_paA">ツッカム正剛 0025夜 「海部陽介①"３万年前の人類はどうやって海を渡ったのか？"」【松岡正剛の千夜千雑】</a>」（この動画はシリーズの1本目）や2B Channelの「<a href="https://www.youtube.com/watch?v=M9593mFHNjE&#x26;t=1569s">なぜプリントを買うのは楽しいのか？</a>」を観ていた。海部先生は、ほんとすごいなあ。
夕食前に『<a href="https://amzn.to/2P4l1gE">深層学習の原理に迫る: 数学の挑戦</a>』が届いたのでさっと読む。深層学習において、なぜ（1）多層であることがうまくいくのか、（2）パラメタ数が膨大なのに過学習しにくいのか、（3）損失関数が非凸関数であるのにうまくパラメタ学習できるのかという3点について伝統的な数学的とは相反する結果が得られていることについて、わかりやく説明を試みる本。わかりやすさのためにあまり詳細に説明しているわけではないが、イメージはつかめる。
研究計画をうまく進めるためにはなんとか報告を出しておきたい研究会が今年も7月に開催されるということでアナウンスされたので、いよいよやっていかないとなあと思って、しばらく放っておいていたコードを取り出して、先日考えたアイディアの実装を試みる。まだできてはいないけど、やれそうな感じはする。しかし、これやって何が解決するんだろうかみたいな気持ちにはやっぱりなるなあ。そこんところをちゃんと考えないと。

2021年4月19日