AWS Machine Learning Blog· Alex Nails·· 23 小时前精选AI 评分65
AWS 发布 SGLang-Neuron 插件以支持 Trainium 推理
Deploy frontier AI models on AWS Trainium with SGLang-Neuron
AI 导读
Amazon 宣布 SGLang-Neuron 公开可用，该插件由 RadixArk 与 Annapurna Labs 合作开发，允许用户通过 AWS Deep Learning Container 在 AWS Trainium 芯片上使用 SGLang 接口部署模型和生成强化学习 rollout。
推荐理由
SGLang-Neuron 插件公开可用，支持在 AWS Trainium 上通过标准 SGLang 接口部署模型并生成强化学习 rollout。
来源：AWS Machine Learning Blog · aws.amazon.com