字节开源最新大模型Seed-OSS-36B，超越Qwen

字节公司的Seed团队刚刚发布了首个开源大型语言模型——Seed-OSS-36B。这一模型不仅支持512K的长上下文，还在推理及智能体任务中表现出色，特别是对国际化场景进行了优化。

Seed-OSS-36B的核心特性

Seed-OSS-36B模型具备灵活的思考预算控制功能，这使得用户可以根据实际需求动态调整推理长度，大幅提高推理效率。此外，该模型的推理能力被特别优化，适用于多种通用任务。

技术亮点与开源策略

模型采用了最新的RoPE和GQA注意力机制，并使用RMSNorm以及SwiGLU激活函数，已获得Apache-2.0商用许可，兼具研究友好的设计。

灵活的推理预算与长上下文

Seed-OSS-36B允许用户设置思考预算，可以优化推理过程。例如，当思考预算为512时，模型会根据消耗的预算自我反思并调整推理策略，以便在复杂问题中确保更好的表现。

与其他模型的比较

Seed-OSS-36B在多项基准测试中超越了Qwen系列，并证明了其出色的智能体能力和研究友好性。未来，Seed-OSS可能将引领更多开源AI模型的发展，推动整个行业的进步。

如有侵权，请联系删除。