1890美元训出11.6亿参数高质量文生图模型

近日，来自加州大学尔湾分校等研究机构的团队取得了一项突破性进展：他们通过极大降低模型训练成本，实现了从头开始训练拥有11.6亿参数的扩散模型，仅需1890美元。这一成本优化方案不仅给予普通人接触预训练模型的可能，还在保持性能的同时，达到了与现有最先进模型（SOTA）一个数量级的提升。该模型在性能指标上表现优异，特别是在FID分数上接近Stable Diffusion 1.5和DALL·E 2。

训练过程与技术优化

研究团队使用三个真实图像数据集（Conceptual Captions、Segment Anything、TextCaps），总计包含2200万个图像文本对。这为模型提供了丰富且多样的训练数据，符合AI解决方案中数据充分性的重要性。研究团队训练了DiT-Tiny架构的两种变体，一种采用恒定宽度，另一种采用分层缩放结构。在调整Transformer尺寸以保证相同算力的情况下，两种方案均表现出色，为AI系统开发和AI模型训练提供了新的思路。

延迟掩蔽技术和超参数优化

采用Naive Masking作为基线，加入了轻量的patch-mixer，其参数量小于主干网络的10%。这种延迟掩蔽技术在不增加显著计算成本的情况下，显著提升了模型性能，适用于AI定制开发和大型语言模型开发。激活函数方面，SwiGLU优于GELU，且较高的权重衰减增强了图像生成性能。这两项优化策略是根据大型语言模型训练的一般思路进行的，为AI企业解决方案提供了有效的技术路径。

混合器设计和噪声分布调整

研究发现，使用较大的patch-mixer可持续改善模型性能。然而，为了控制成本，团队选择了较小的混合器，依然保持了出色的生成效果。这种节约资源的设计思想提升了AI应用定制服务的经济性。通过调整噪声分布为 (−0.6, 1.2)，改善了字幕与生成图像之间的对齐度。这一细节优化，使模型在视觉元素处理上更加出色，有利于税务AI咨询和教育行业AI解决方案的实际应用。

应用与前景

这一低成本高效的技术方案可广泛应用于ChatGPT开发、教育行业售前咨询AI、以及零门槛AI开发平台。特别是在杭州AI定制开发和杭州Langchain AI开发领域，这种技术的应用前景光明。此外，浙江AI解决方案和浙江ChatGPT开发项目也将受益于这一创新成果。

如有侵权，请联系删除。