|
|
| |
| |
AI推理部署工程师 点击:1次
工作编号:1690099
|
16666.67-41666.67/月 |
|
深圳陆兮科技有限公司 查看企业资料及职位
|
2025-12-18 |
| 深圳市-福田区 无经验 | | 招1人 | 全职 |
|
| |
职位描述 用小程序查看更多 |
|
1.负责通用语言大模型与多模态模型的端侧推理优化与量化，在Android/iOS/Linux等平台稳定上线，达成延迟、内存、功耗与稳定性目标。
2.从训练框架导出到目标引擎（如ONNXRuntimeMobile、llama.cpp/GGUF、MNN、sherpa-onnx等）并保证算子/图优化与精度对齐。
3.负责端到端推理流水线，包括模型压缩、格式转换、算子/内核适配、自动化评测、崩溃与性能回溯。
4.设计并维护针对不同硬件的加速方法，包括iOS/AppleSilicon（CoreML/ANE/Metal），Android（CPU/GPU/NPU），端侧芯片（如rk3588，jetson等）。
5.建立性能与能耗基准体系：TTFT、吞吐（tok/s或QPS）、峰值/常驻内存、包体/模型体积、加载时延/冷启动与稳定性。
6.跨团队协作：与算法侧共建量化校准与精度评估；与客户端/平台侧共同开发应用。 |
|
| |
|
|
| |
|
