compass19's profile picture. Researcher at NTT, a leading Japanese telecommunications company. Currently focused on distributed machine learning systems. http://github.com/nariaki3551

Nariaki Tateiwa

@compass19

Researcher at NTT, a leading Japanese telecommunications company. Currently focused on distributed machine learning systems. http://github.com/nariaki3551

github.com/pytorch/pytorc… PytorchでNCCL Float8e4m3 と Float8e5m2 型がサポートされました。以前は "Float8 dtypes are not currenlty supported for NCCL reductions" なるエラーが吐かれてましたが。ちなみに訓練済みモデルは(意外と)低精度にキャストしても性能が落ちないことが知られています。


Nariaki Tateiwa reposted

昨年9月の講演「なぜオープンソースソフトウェアにコントリビュートすべきなのか」を、今更ですがブログにまとめました #wakate2024 medium.com/nttlabs/why-yo…

昨日の講演 "なぜオープンソースソフトウェアにコントリビュートすべきなのか" のスライドです #wakate2024 github.com/AkihiroSuda/Ak…



Nariaki Tateiwa reposted

NTT研究所冬期インターンシップのテーマ「Linux/ELF を WebAssembly に変換するバイナリトランスレータの実装と評価」の実施報告です. medium.com/nttlabs/%E3%82…


正月三が日は災害用伝言ダイヤルが体験できます....

/ 災害発生時の安否確認方法をご存知ですか? \ 毎月1日・15日は #災害用伝言ダイヤル (171)/伝言板(web171)の体験利用日です。 災害時には電話がつながりにくくなる場合があります。ご家族や知人の方と利用方法を確認しておきましょう。 ▽災害の備え・対策サイト ntt-west.co.jp/corporate/disa…



去年の年始に99個のその年にやりたいことを挙げ、そのうち47未達成、46達成、6進行中でした


はてなブログに投稿しました 論文紹介: Congestion control in machine learning clusters (2022, Hot Topics in Networks) - Sabrou-mal サブロウ丸 inarizuuuushi.hatenablog.com/entry/2024/11/… #はてなブログ


Nariaki Tateiwa reposted

学会ポスターについて調べていたら見つけた海外の #betterposter というポスターのデザイン法。 メインの結論を真ん中に大胆に配置して、両側に補足のグラフなどを。ポスター会場で大量のポスターを見るときにはこういうポスターは閲覧する方も凄く効率いいよね。 cochrane.org/news/betterpos…


NCCLのAllGatherってbfloat16で実行するとき、datatype int8(要素数は2倍にする) で送るんだな ReduceScatterはbfloat16のまま実行しているのに、


Loading...

Something went wrong.


Something went wrong.