据 PANews 据报道,马斯克的人工智能公司 xAI 宣布开放其 3140 1亿参数混合专家模型 Grok-1 权重和架构。Grok-1 是一个由 xAI 重新开始训练的大型语言模型,选择混合专家模型架构,包括混合专家模型架构 25% 给定令牌的权重处于活跃状态。根据该模型的基本模型权重和网络结构,基于该模型的基本模型权重和网络结构 Apache 2.0 许可证开放。Grok-1 预训练阶段已经到了 2023 年 10 月底,原基础模型检查点目前已发布,未对任何具体应用进行微调。感兴趣使用该模型的用户可以遵循该模型 github.com/xai-org/grok 指南操作。
马斯克的 AI 公司 xAI 开放 3140 1亿参数混合专家模型 Grok-1
版权声明:本站所有文章皆是来自互联网,如内容侵权可以联系我们删除!