OmniInfer：跨平台 LLM 推理框架，专为边缘设备部署

高效的跨平台 LLM 推理框架，专注边缘设备部署优化。C++ 实现，GitHub 103 Stars。