首页 >> 产业 >> 产业 >> 正文
提速10.7倍!这个端侧推理引擎一开源,机器人本体跑大模型终于不卡了
  • 机器之心Pro
  • 2026年9月29日 14:27

GitHub:https://github.com/RLinf/APXinf-robo

Quick Start:https://github.com/RLinf/APXinf-robo#build-apxinf-robo

APXInf 的开发深受以下优秀开源项目的启发。无问芯穹向这些项目的社区致以诚挚的感谢,感谢他们的开源精神与技术贡献。

FasterTransformer:https://github.com/NVIDIA/FasterTransformer

FasterTransformer:

https://github.com/NVIDIA/FasterTransformer

Tensor-LLM:https://github.com/NVIDIA/TensorRT-LLM

Tensor-LLM:

https://github.com/NVIDIA/TensorRT-LLM

llama.cpp:https://github.com/ggml-org/llama.cpp

https://github.com/ggml-org/llama.cpp

vLLM:https://github.com/vllm-project/vllm

https://github.com/vllm-project/vllm

sgLang:https://github.com/sgl-project/sglang

https://github.com/sgl-project/sglang

FlashRT:https://github.com/flashrt-project/FlashRT

https://github.com/flashrt-project/FlashRT

编 辑:甄清岚
[1]  [2]  [3]  
分享到: