← 全部職位
智算后端研發(fā)工程師
北京
職位描述
1、開發(fā)云原生場(chǎng)景下異構(gòu)算力調(diào)度框架。
2、優(yōu)化大模型推理能力,快速的部署推理服務(wù),提升推理速度和吞吐。
職位要求
1、熟練掌握Linux/Unix平臺(tái)上的編程,熟練使用Golang/Python語言進(jìn)行開發(fā),熟練使用數(shù)據(jù)結(jié)構(gòu)和常用算法。
2、具有深度學(xué)習(xí)推理加速和優(yōu)化的經(jīng)驗(yàn),熟悉至少一種推理引擎,如 vLLM、SGLang、Llama.cpp
3、熟悉常見的模型量化技術(shù),并能夠進(jìn)行模型的量化優(yōu)化。
4、熟悉常見的機(jī)器學(xué)習(xí)算法及框架,如 神經(jīng)網(wǎng)絡(luò)、transformer架構(gòu)、PyTorch框架。
5、熟練掌握 Kubernetes 和 docker 技術(shù)。
6、具備良好的溝通和團(tuán)隊(duì)合作能力,能夠與跨功能團(tuán)隊(duì)密切合作,解決問題并實(shí)現(xiàn)共同目標(biāo)。