Stability AI开源StableLM-7B语言模型后续将推出15~65B模型 - 好学星城学习论坛

page contents

Stability AI开源StableLM-7B语言模型后续将推出15~65B模型

人工智能图像生成开源项目 Stable Diffusion 的开发商 Stability AI 今天开源了新模型 --- StableLM。

人工智能图像生成开源项目 Stable Diffusion 的开发商 Stability AI 今天开源了新模型 --- StableLM。

StableLM-alpha 即初始版本提供 3B 和 7B 参数的版本，后续将陆续推出 15B、30B、65B 模型，计划中的还有 175B 模型。

StableLM-alpha 基于 The Pile 构建的新数据集上训练，该数据集包含 1.5 万亿个令牌，模型上下文长度为 4096 个 tokens，Stability AI 即将发布技术报告说明模型规格核训练设置等。

作为概念验证 Stability AI 还使用 Stanford Alpaca 对模型进行微调，目前 demo 已经在 Hugging Face 上线，不过蓝点网测试效果好像一般，中文对话略微有些混乱，可能还需要更多迭代。

更多相关技术内容咨询欢迎前往并持续关注六星社区了解详情。

想高效系统的学习Java编程语言，推荐大家关注一个微信公众号：Java圈子。每天分享行业资讯、技术干货供大家阅读，关注即可免费领取整套Java入门到进阶的学习资料以及教程，感兴趣的小伙伴赶紧行动起来吧。

发表于 2023-04-21 08:45
阅读 ( 169 )
分类：行业资讯

作家榜 »

轩辕小不懂 2403 文章
小柒 1478 文章
Pack 1135 文章
Nen 576 文章
王昭君 209 文章
文双 71 文章
小威 64 文章
Cara 36 文章