_underfitting's profile picture. CEO of product company / deep learning /

K2

@_underfitting

CEO of product company / deep learning /

K2 reposted

Just finished an experiment on an Imagenet-scale problem (several mil images, 5K classes), and as a drop-in replacement, Swish underperforms ReLU by a relative 5% and underperforms PReLU by a relative 10%.


Pytorch v0.2.0、grad(grad(x))みたいのができるようになってる! WGAN-GPの実装とかが簡単にできそう


Discriminatorの中間層の出力を用いてRealとFakeを近づけるPerceptual Loss、今追実験してるんですが思ってたより効果がある というかGANっぽいボヤけ方がほぼ無くなりますね arxiv.org/abs/1706.09138

_underfitting's tweet image. Discriminatorの中間層の出力を用いてRealとFakeを近づけるPerceptual Loss、今追実験してるんですが思ってたより効果がある というかGANっぽいボヤけ方がほぼ無くなりますね arxiv.org/abs/1706.09138
_underfitting's tweet image. Discriminatorの中間層の出力を用いてRealとFakeを近づけるPerceptual Loss、今追実験してるんですが思ってたより効果がある というかGANっぽいボヤけ方がほぼ無くなりますね arxiv.org/abs/1706.09138

(7/15 13:00- 本郷付近で、Pytorch勉強会をします。今回はStyle Transferの実装をします。 残り数席しかないですが、興味ある方、DMください🙏🙏🙏)


Karpathy本人登場! redd.it/6iib9r


Rethinking Generalizationでのラベルをランダムに変えても過学習できちゃうっていう話と、ワンショット学習でMANNとかLSTMを用いて訓練事例をメモリに直接記憶させるっていう話がうまく整理できなくてモヤモヤ🤔 過学習=メモリに記憶させるではないのか


1024x1024のBEGAN、やっとうまくいきつつある😵

_underfitting's tweet image. 1024x1024のBEGAN、やっとうまくいきつつある😵

“An Adversarial Review of ‘Adversarial Generation of Natural Language’” by Yoav Goldberg medium.com/@yoav.goldberg…


3日前にDeepMindが出したRelation Networks(arxiv.org/abs/1706.01427)のPyTorch実装が早くもあった github.com/kimhc6028/rela… すごいスピード

_underfitting's tweet image. 3日前にDeepMindが出したRelation Networks(arxiv.org/abs/1706.01427)のPyTorch実装が早くもあった github.com/kimhc6028/rela… すごいスピード

アイテムを生成→アイテムの一覧を生成


情報検索とかレコメンドもGANっぽくできるよな〜って思ってたら、SIGIR2017の論文にあった arxiv.org/abs/1705.10513 Gで関連度の高いアイテムを生成し、Dで関連度を計算する感じですね


動画の外れ値検出ですが、PredNetで次フレームを予測し、そのフレームと実際のフレームとのReconstruction Errorを取るというやり方もあるんですね youtube.com/watch?v=a966CT… launchpad.ai/blog/video-ano…

_underfitting's tweet card. result

youtube.com

YouTube

result


動画中の外れ値検出(犯罪検出とか)って、現状だとどうやるのがベストなんでしょう? 学習済みの行動認識モデルの隠れ層の出力を使うのが一番良いんだろうか


Loading...

Something went wrong.


Something went wrong.