原标题:Stable Diffusion 3 正式开源:超强文生图模型SD3-M登场引领创新潮流
文章来源:小夏聊AIGC
内容字数:2889字
Stability AI正式开源Stable Diffusion 3 Medium
知名的开源大模型平台Stability AI于2024年6月12日晚间9点在推特上宣布,正式开源了Stable Diffusion 3 Medium(SD3-M)模型权重。这一举措为广大用户提供了一个免费试用的机会,官方表示SD3-M是Stable Diffusion 3系列中最新、最先进的文本转图像AI模型。
SD3-M的核心特点
Stable Diffusion 3 Medium(SD3-M)代表了文本到图像领域的前沿开放技术。该模型设计紧凑,能够高效运行于个人电脑、笔记本电脑以及企业级图形处理单元(GPU)上。其优化的大小使其成为文本转图像应用的新一代标准。
用户可以在非商业性的开放许可证和面向创作者的低成本许可证下使用这些精心调整的模型权重。对于有大规模商业应用需求的用户,Stability AI也提供了详细的许可信息。想要体验Stable Diffusion 3模型的魅力,用户可以通过Stability AI平台的API进行尝试。此外,注册Stable Assistant后还可以享受三天的免费试用,用户还可以通过Discord加入Stable Artisan社区,进一步探索模型的潜力。
卓越的图像生成能力
SD3是一款拥有20亿参数的强大文生图模型,以其高效的推理速度和卓越的生成效果而受到广泛关注。其显著特点包括能够生成具有照片级真实感的图像,细节丰富、色彩鲜艳且光照自然。通过采用创新的16通道变分自编码器(VAE)等技术,该模型显著提升了图像质量,尤其在手部和面部等细节上克服了其他模型常见的不足。
在理解复杂提示方面,Stable Diffusion 3 Medium表现出色,能够深入理解空间关系、构图元素、动作和风格等复杂概念。用户可以根据需求选择一个或多个文本编码器,以平衡生成过程中的性能和效率。排版质量的提升也得益于其独特的扩散变换器架构,生成的文本在拼写、字距、字母形状和间距方面的错误大幅减少,提供了前所未有的文本质量。
资源效率与微调能力
SD3-M在资源利用方面表现优异,小的显存占用使其可以在标准消费者级GPU上高效运行,而不会牺牲性能。模型的微调能力同样值得称赞,能够从有限的数据集中学习细微的细节,使得定制化输出更加精确和完美。这些特点使得Stable Diffusion 3 Medium成为市场上最具吸引力和实用性的文本到图像生成模型之一。
与硬件优化的合作
SD3-M还与英伟达和AMD进行了特定硬件的优化,针对RTX GPU、TensorRT、最新CPU以及MI-300X进行了优化,性能最高可提升50%。该模型使用了包含10亿张图片的公开和合成数据进行预训练,并针对特定艺术风格和领域,使用了3000万张图片进行微调以及300万张偏好图片,使其对用户文本提示的理解和嵌入图片文字的效果更为优秀。
无限的探索可能性
通过在线演示,SD3-M生成的效果令人惊艳,能够生成高耸的摩天大楼、宁静的海滩景色、热带雨林以及20世纪50年代的老式餐厅等各种图像。免费在线试用为用户提供了无限的探索可能。
注意事项
需要注意的是,目前SD3-M仅限于学术研究,无法进行商业化应用。如有商业需求,用户需要联系Stability AI进行商业授权。
总结
Stable Diffusion 3的开源和免费试用为用户探索不同领域应用潜力提供了机会,有望为人工智能领域的发展带来更多的可能性和机遇。
联系作者
文章来源:小夏聊AIGC
作者微信:
作者简介:专注于人工智能生成内容的前沿信息与技术分享。我们提供AI生成艺术、文本、音乐、视频等领域的最新动态与应用案例。每日新闻速递、技术解读、行业分析、专家观点和创意展示。期待与您一起探索AI的无限潜力。欢迎关注并分享您的AI作品或宝贵意见。