Tiếng Việt
English Indonesia Türkçe Deutsch Español Português Pусский Français Italiano Nederlands Polski العربية ไทย Tiếng Việt 繁體中文 简体中文 日本語 한국어

#tensorrt_llm kết quả tìm kiếm

BlueJay87476298's profile picture. BASM ：哪家公司將成長，進而創造高報酬：經營模式(Business Model)、假設 (Assumptions)、策略 (Strategy)和管理(Management)
BlueJay
@BlueJay87476298
12 thg 12, 2023

#AI $NVDA #TensorRT_LLM (v0.7 和 v0.8) - 提升 Llama 2 70B - Falcon-180B 效能 $META Llama 2 70B LLM #H200 + TensorRT-LLM (改進 GQA)，#推論 速度比 A100 提高 6.7 倍

BlueJay87476298's tweet image. #AI $NVDA #TensorRT_LLM (v0.7 和 v0.8) - 提升 Llama 2 70B - Falcon-180B 效能 $META Llama 2 70B LLM #H200 + TensorRT-LLM (改進 GQA)，#推論 速度比 A100 提高 6.7 倍
1
2
18
1
3K
BlueJay87476298's profile picture. BASM ：哪家公司將成長，進而創造高報酬：經營模式(Business Model)、假設 (Assumptions)、策略 (Strategy)和管理(Management)
BlueJay
@BlueJay87476298
16 thg 12, 2023

偷吃步有哪些： 1. 192GB vs 80G ( 2 倍的記憶體，不該有2倍的效能嗎？） 2. 使用 pre-release 版本的ROCm 6.0 和 PyTorch 2.2.0 3. 如果用 pre-release ，那是不是應把 #TensorRT_LLM v.0.6.1 改為 v.0.8? 4. 2024 年的競爭對象應是 #H200 吧？

1
0
2
0
335
BlueJay87476298's profile picture. BASM ：哪家公司將成長，進而創造高報酬：經營模式(Business Model)、假設 (Assumptions)、策略 (Strategy)和管理(Management)
BlueJay
@BlueJay87476298
16 thg 12, 2023

$NVDA #TensorRT_LLM 一代比一代強 $AMD 也有喔

BlueJay87476298's profile picture. BASM ：哪家公司將成長，進而創造高報酬：經營模式(Business Model)、假設 (Assumptions)、策略 (Strategy)和管理(Management)
BlueJay
@BlueJay87476298
24 thg 10, 2023

#AI #讓更多企業接觸AI #就會有更多需求跟應用 #就會有更多用戶 2023 年 9 月， $NVDA 先推出 #TensorRT-LLM 來強化資料中心專用的 #H100 的 #推論 能力後； 10 月宣布即將支援使用 GeForce RTX GPU (RTX 3060和RTX 4090) 的 Windows #PC，可讓 Llama 2 和 Code Llama 等最新 LLM 運行速度提高四倍

BlueJay87476298's tweet image. #AI #讓更多企業接觸AI #就會有更多需求跟應用 #就會有更多用戶 2023 年 9 月， $NVDA 先推出 #TensorRT-LLM 來強化資料中心專用的 #H100 的 #推論 能力後； 10 月宣布即將支援使用 GeForce RTX GPU (RTX 3060和RTX 4090) 的 Windows #PC，可讓 Llama 2 和 Code Llama 等最新 LLM 運行速度提高四倍
1
2
37
1
8K
0
0
5
0
1K
BlueJay87476298's profile picture. BASM ：哪家公司將成長，進而創造高報酬：經營模式(Business Model)、假設 (Assumptions)、策略 (Strategy)和管理(Management)
BlueJay
@BlueJay87476298
16 thg 12, 2023

所以用 #TensorRT_LLM 推論軟體可以大勝 $AMD

BlueJay87476298's profile picture. BASM ：哪家公司將成長，進而創造高報酬：經營模式(Business Model)、假設 (Assumptions)、策略 (Strategy)和管理(Management)
BlueJay
@BlueJay87476298
14 thg 12, 2023

#AI $NVDA #TensorRT_LLM #教主77 $AMD 發表會 #沒用適當的最佳化軟體；否則 #H100會快二倍 - 使用 $AMD 推理軟體 vLLM v.02.2.2 處理 1 Batch ，#MI300X 僅需 2.5s，#H100 卻需 3.6s - 若搭 $NVDA 推理軟體 - #TensorRT_LLM v0.5.0 只需 1.7s (v0.8 已推出) #最右邊贏太多 #台灣人不為難台灣人

BlueJay87476298's tweet image. #AI $NVDA #TensorRT_LLM #教主77 $AMD 發表會 #沒用適當的最佳化軟體；否則 #H100會快二倍 - 使用 $AMD 推理軟體 vLLM v.02.2.2 處理 1 Batch ，#MI300X 僅需 2.5s，#H100 卻需 3.6s - 若搭 $NVDA 推理軟體 - #TensorRT_LLM v0.5.0 只需 1.7s (v0.8 已推出) #最右邊贏太多 #台灣人不為難台灣人
BlueJay87476298's tweet image. #AI $NVDA #TensorRT_LLM #教主77 $AMD 發表會 #沒用適當的最佳化軟體；否則 #H100會快二倍 - 使用 $AMD 推理軟體 vLLM v.02.2.2 處理 1 Batch ，#MI300X 僅需 2.5s，#H100 卻需 3.6s - 若搭 $NVDA 推理軟體 - #TensorRT_LLM v0.5.0 只需 1.7s (v0.8 已推出) #最右邊贏太多 #台灣人不為難台灣人
BlueJay87476298's tweet image. #AI $NVDA #TensorRT_LLM #教主77 $AMD 發表會 #沒用適當的最佳化軟體；否則 #H100會快二倍 - 使用 $AMD 推理軟體 vLLM v.02.2.2 處理 1 Batch ，#MI300X 僅需 2.5s，#H100 卻需 3.6s - 若搭 $NVDA 推理軟體 - #TensorRT_LLM v0.5.0 只需 1.7s (v0.8 已推出) #最右邊贏太多 #台灣人不為難台灣人
1
3
38
2
4K
1
0
1
0
229
BlueJay87476298's profile picture. BASM ：哪家公司將成長，進而創造高報酬：經營模式(Business Model)、假設 (Assumptions)、策略 (Strategy)和管理(Management)
BlueJay
@BlueJay87476298
14 thg 12, 2023

#TensorRT_LLM v0.8👇

BlueJay87476298's profile picture. BASM ：哪家公司將成長，進而創造高報酬：經營模式(Business Model)、假設 (Assumptions)、策略 (Strategy)和管理(Management)
BlueJay
@BlueJay87476298
12 thg 12, 2023

#AI $NVDA #TensorRT_LLM (v0.7 和 v0.8) - 提升 Llama 2 70B - Falcon-180B 效能 $META Llama 2 70B LLM #H200 + TensorRT-LLM (改進 GQA)，#推論 速度比 A100 提高 6.7 倍

BlueJay87476298's tweet image. #AI $NVDA #TensorRT_LLM (v0.7 和 v0.8) - 提升 Llama 2 70B - Falcon-180B 效能 $META Llama 2 70B LLM #H200 + TensorRT-LLM (改進 GQA)，#推論 速度比 A100 提高 6.7 倍
1
2
18
1
3K
0
0
7
0
1K
Không có kết quả nào cho "#tensorrt_llm"
Không có kết quả nào cho "#tensorrt_llm"
BlueJay87476298's profile picture. BASM ：哪家公司將成長，進而創造高報酬：經營模式(Business Model)、假設 (Assumptions)、策略 (Strategy)和管理(Management)
BlueJay
@BlueJay87476298
12 thg 12, 2023

#AI $NVDA #TensorRT_LLM (v0.7 和 v0.8) - 提升 Llama 2 70B - Falcon-180B 效能 $META Llama 2 70B LLM #H200 + TensorRT-LLM (改進 GQA)，#推論 速度比 A100 提高 6.7 倍

BlueJay87476298's tweet image. #AI $NVDA #TensorRT_LLM (v0.7 和 v0.8) - 提升 Llama 2 70B - Falcon-180B 效能 $META Llama 2 70B LLM #H200 + TensorRT-LLM (改進 GQA)，#推論 速度比 A100 提高 6.7 倍
1
2
18
1
3K

Something went wrong.


Something went wrong.


United States Trends