韩国Upstage发布自研大模型Solar Open 100B,旨在提升韩语AI理解能力
韩国公司Upstage宣布推出其自主研发的大型语言模型Solar Open 100B,该模型旨在建立对韩国文化和韩语细微差别有深刻理解的AI系统。Solar Open是一个基于专家混合(Mixture-of-Experts, MoE)架构的102B参数大规模语言模型,完全从零开始训练,并在Solar-Apache许可证2.0下发布。该模型在推理、指令遵循和代理能力方面表现出色,同时注重开源社区的透明性和可定制性。
Solar Open 100B的主要亮点包括其MoE架构(102B/12B)和大规模训练(19.7万亿Token),确保了广泛的知识覆盖和稳健的推理能力。Upstage首席执行官金成勋强调,Solar Open模型已达到可以部署到实际服务和工作环境中的水平,并注重验证其性能和效率。
Upstage特别强调Solar-Open基于高品质数据的韩语理解能力,能够理解语境、情感和细微差别,如敬语和非正式用语的区别。在训练过程中,资源效率和训练稳定性是核心任务,通过使用政府支持的GPU和优化系统,显著缩短了整体训练时间。
Upstage还公布了下一代模型的计划,计划在明年扩展到2000亿级语言学习模型,使用15兆个代币进行训练,并新增韩语、英语和日语三种语言。最终,该公司计划将模型扩展到3000亿级,同时扩大训练资料和上下文的范围。
金成勋表示,Upstage的目标是与谷歌和OpenAI竞争,成为全球人工智能三大巨头之一。政府将对参与自主人工智能基础模型计划的团队进行评估,最终在2027年选出两支精英团队。
评论已关闭