来源:量子位
开源AI绘画扛把子,StableDiffusion背后公司StabilityAI再放大招!
全新开源模型DeepFloydIF,一下获星2千+并登上GitHub热门榜。
DeepFloydIF不光图像质量是照片级的,还解决了文生图的两大难题:
准确绘制文字。
以及准确理解空间关系。
StarkWare:正恢复Starknet用户对未升级账户的访问权限:8月31日消息,StarkWare发布公告称,Starknet上周进行了0.12.1 版本更新,为了此次更新,Starknet 用户被要求对其账户进行必要的升级。0.12.1 正式上线后,未升级的账户变得无法访问。目前,StarkWare正在恢复所有这些账户(总计 55 万美元)的访问权限,该升级从今日起已重新启用,允许用户立即恢复对其账户的访问。
此外,由于技术原因,Argent 和 Braavos 用户可能需要等到明天才能恢复访问权限。[2023/8/31 13:08:23]
Boba Network等8个项目入选10月份BNB Chain Project Stars:10月17日消息,BNB Chain宣布,10月份共8个项目入选BNB Chain Project Stars,包括NFT MMORPG游戏Stella Fantasy、GameFi平台P12、可提高LP收益的Wombex、区块链虚拟世界Dracoo World、Web3任务和事件平台Quest3、多链DAO生态XDAO、以太坊扩容方案Boba Network、Pyth。[2022/10/17 17:28:11]
网友表示,这可是个大事,之前想让Midjourneyv5在霓虹灯招牌上写个字AI都是瞎划拉两笔,对于镜子理解的也不对。
彭博:流通中由法定货币支持的Stablecoin总值已达1410亿美元,较去年增长四倍:3月6日消息,根据BloombergIntelligence最新发布的报告显示,目前流通中由法定货币支持的Stablecoin总额已经达到1410亿美元,比2021年增长了四倍。这种增长的主要驱动力是人们希望在DeFi中寻求更高的收益回报,并在熊市中寻求风险对冲,继而推动Stablecoin扮演起了DeFi黄金的角色。
此外,算法Stablecoin,比如Terra协议发行的UST在2021年得到了快速发展,市值飙升至107亿美元,涨幅达到5,323%;还有基于加密抵押模式的StablecoinDAI涨幅达到791%,这些Stablecoin的锁仓量占到整个市场的17%。在所有法定货币支持的Stablecoin中,美元Stablecoin是增长最快的,不过Tether的市场份额已经开始出现下降。[2022/3/6 13:40:32]
使用DeepFloydIF,可以把指定文字巧妙放置在画面中任何地方。
StarkNet Alpha将于11月上线以太坊主网:10月5日消息,StarkWare官方宣布,StarkNet Alpha将于11月上线以太坊主网。[2021/10/5 18:55:42]
霓虹灯招牌、街头涂鸦、服饰、手绘插画,文字都会以合适的字体、风格、排版出现在合理的地方。
这意味着,AI直出商品渲染图、海报等实用工作流程又打通一环。
还在视频特效上开辟了新方向。
“AOFEX理财挖矿—Staking”开启FIL锁仓质押:据官方消息,AOFEX理财挖矿—Staking 开启FIL锁仓质押专场。本次锁仓质押最低起购 1FIL,用户质押无上限,币种总额度 50,000 枚 FIL。
“AOFEX理财挖矿—Staking”将围绕平台使命“让数字金融普惠大众”,为用户数字资产创造收益价值。
AOFEX数字货币金融衍生品交易所,旨在为用户提供优质服务和资产安全保障。[2021/3/29 19:26:12]
目前DeepFloydIF以非商用许可开源,不过团队解释这是暂时的,获得足够的用户反馈后将转向更宽松的协议。
有需求的小伙伴可以抓紧反馈起来了。
像素级图像生成
DeepFloydIF仍然基于扩散模型,但与之前的StableDiffusion相比有两大不同。
负责理解文字的部分从OpenAI的CLIP换成了谷歌T5-XXL,结合超分辨率模块中额外的注意力层,获得更准确的文本理解。
负责生成图像的部分从潜扩散模型换成了像素级扩散模型。
也就是扩散过程不再作用于表示图像编码的潜空间,而是直接作用于像素。
官方还提供了一组DeepFloydIF与其他AI绘画模型的直观对比。
可以看出,使用T5做文本理解的谷歌Parti和英伟达eDiff-1也都可以准确绘制文字,AI不会写字这事就是CLIP的锅。
不过英伟达eDiff-1不开源,谷歌的几个模型更是连个Demo都不给,DeepFloydIF就成了更实际的选择。
具体生成图像上DeepFloydIF与之前模型一致,语言模型理解文本后先生成64×64分辨率的小图,再经过不同层次的扩散模型和超分辨率模型放大。
在这种架构上,通过把指定图像缩小回64×64再使用新的提示词重新执行扩散,也实现以图生图并调整风格、内容和细节。
并且不需要对模型做微调就可直接实现。
另外,DeepFloydIF的优势还在于,IF-4.3B基础模型是目前扩散模型中U-Net部分有效参数是最多的。
在实验中,IF-4.3B取得了最好的FID分数,并达到SOTA。
谁是DeepFloyd
DeepFloydAIResearch是StabilityAI旗下的独立研发团队,深受摇滚乐队平克弗洛伊德影响,自称为一只“研发乐队”。
主要成员只有4人,从姓氏来看均为东欧背景。
这次除了开源代码外,团队在HuggingFace上还提供了DeepFloydIF模型的在线试玩。
我们也试了试,很可惜的是目前对中文还不太支持。
原因可能是其训练数据集LAION-A里面中文内容不多,不过既然开源了,相信在中文数据集上训练好的变体也不会太晚出现。
OneMoreThing
DeepFloydIF并不是StabilityAI昨晚在开源上的唯一动作
语言模型方面,他们也推出了首个开源并引入RLHF技术的聊天机器人StableVicuna,基于小羊驼Vicuna-13B模型实现。
目前代码和模型权重已开放下载。
完整的桌面和移动界面也即将发布。
DeepfloydIF在线试玩:
https://huggingface.co/spaces/DeepFloyd/IF
代码:
https://github.com/deep-floyd/IF
StableVicuna在线试玩:
https://huggingface.co/spaces/CarperAI/StableVicuna
权重下载:
https://huggingface.co/CarperAI/stable-vicuna-13b-delta
参考链接:
https://deepfloyd.ai/deepfloyd-if
https://stability.ai/blog/deepfloyd-if-text-to-image-model
https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot
https://stable-diffusion-art.com/how-stable-diffusion-work/
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。