のぶ さんがリポスト
LLM がなぜ外挿に成功するのか、その謎を解明するべく、我々調査隊はアテンションの奥地へと向かった……。 joisino.hatenablog.com/entry/heads
joisino.hatenablog.com
LLM のアテンションと外挿 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
LLM の注意機構には色んな機能があることが分かっています。注意機構を分析することで、なぜ LLM は文脈内学習や思考の連鎖に成功し、ひいてはなぜ LLM が外挿に成功することがあるのかについての理解が得られます。本稿ではさまざまな種類の注意機構を観察することでこの問題をひも解きたいと思います。 目次 目次 基本的な考…
東京戻ります！ 帰省すると毎回おそらく猫アレルギー？が暴れて顔が腫れたり呑気症発症したりでハードウェアがボコボコにやられるが、沖縄Kaggler会楽しかったし帰れてよかった🐈
United States トレンド
- 1. Halloween 5.45M posts
- 2. Mookie 9,603 posts
- 3. Gausman 7,060 posts
- 4. #SmackDown 14.5K posts
- 5. #OPLive N/A
- 6. #DoorDashTradeorTreat 2,588 posts
- 7. Drummond 3,202 posts
- 8. #sweepstakes 3,670 posts
- 9. Hugo Gonzalez N/A
- 10. #Dateline N/A
- 11. Ted Noffey 1,140 posts
- 12. Josh Giddey N/A
- 13. Syracuse 3,544 posts
- 14. Ilja 2,881 posts
- 15. Trick or Treat 460K posts
- 16. Nathan Frazer N/A
- 17. End 1Q N/A
- 18. End of 1 21.7K posts
- 19. 3-0 Dodgers N/A
- 20. Game 6 48.6K posts
Loading...
Something went wrong.
Something went wrong.