IT天空

 找回密码
 加入我们

手机号码,快捷登录

搜索

[新资讯] 字节跳动开源最新 GAN 压缩算法,算力消耗可减少至 1/46

[复制链接]
ShuoShuRen 发表于 2021-8-27 10:54:34 | 显示全部楼层 |阅读模式

IT天空 定制版高速U盘 128G | 固态U盘 256G Pro/512G Pro

  8 月 27 日消息,字节跳动近期开源了一项代号为 OMGD 的压缩技术。这是字节自研的 GAN(生成对抗网络)压缩算法,在保证生成效果不变的前提下,算力消耗最低可以减少到原来的 1/46,相比之前业界的最佳压缩效果提升一倍多。据悉,这项技术的论文已入选国际计算机视觉会议 ICCV 2021。

d94892c1-f5ad-4f5b-aae4-e7a4b570f11d.jpg


  据悉,GAN 是人工智能领域重要的深度学习模型,在图像生成、音乐生成和视频生成等方面应用广泛,还可以提高图像质量,实现图像风格化、图像着色等任务。漫画特效等人们常用的短视频道具,就是通过 GAN 实现的。

  由于 GAN 对计算资源和存储空间的需求巨大,模型难以直接部署到手机、Pad 等移动设备上,业界一直在努力改进 GAN 的压缩方法。2020 年,麻省理工学院、Adobe 和上海交通大学的研究者们提出一种 GAN 压缩算法,将算力消耗成功减少到 1/21.此次字节跳动提出的 OMGD 方法则进一步提升了压缩能力。

  OMGD(Online Multi-Granularity Distillation)意为"在线多粒度蒸馏".据字节跳动技术团队的论文显示,该算法能灵活地在训练过程中优化并压缩 GAN 模型,从而实现更好的图像效果和更少的计算成本。

  测试数据表明,OMGD 压缩算法对 Pix2Pix 和 CycleGAN 这两种常用的 GAN 解决方案效果显着。Pix2Pix 和 CycleGAN 主要应用于图像到图像的"翻译",比如将照片转换为绘画,对黑白图片着色等。OMGD 压缩算法可使其算力消耗分别减少到原来的 1/40 和 1/46.

  目前,OMGD 压缩算法已在抖音等产品中落地,为用户提供更丰富的视频创作能力。相关技术代码也已发布在开源社区,以帮助从业者提升 GAN 的创新和应用效率。迄今,字节跳动已开源了机器学习平台 Klever、联邦学习平台 Fedlearner、高性能分布式训练框架 BytePS 、LightSeq 推理和训练引擎等重磅项目。

  节能环保是字节跳动一个重要的技术研究方向。在不久前的自然语言处理领域国际顶会 ACL 2021 上,字节跳动的词表学习方案获得年度唯一的"最佳论文"大奖,该论文同样极具节能价值,相比主流词表可以节约 92% 的算力。








原文链接:https://www.ithome.com/0/571/873.htm
最近访问 头像模式 列表模式
fudashuai 发表于 2021-8-28 12:22:57 | 显示全部楼层

活跃 21353| 技术 0| 互助 0| 钻石 0

为字节跳动点个赞!
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

ShuoShuRen

784

活跃

0

技术

0

互助
签到任务
最火的业界新闻
  • 小米史上最强拍照!曝小米12系列升级50MP三
  • 王炸!苹果打造的怪物级芯片M1 Pro与M1 Max
  • 透光率大提升!苹果发布刘海屏MacBookPro:
  • 暴力58核心!苹果M1 Max跑分来了:多核性能
  • 自研M1X加持!曝新MacBook Pro或搭载刘海屏
  • 微星自曝12代酷睿Z690主板:DDR5、DDR4都在
  • UI升级!MIUI 13曝光:年底内测
  • 扫地机器人存漏洞!或可秒变窃听偷窥工具
  • 拉来院士!小米牵头组建智能图像处理研究中
  • 身份认证更可靠!华为蒋亚非:未来鸿蒙OS可
炫酷的硬件Show
  • MARK 1 - 设计型 PC 与垂直风道
  • 好的大王,没问题大王
  • 振华SUPER FLOWER 铜皇450W 铜牌电源
  • 比小更小,Mini-STX装机
  • 华擎X99E-ITX + 银欣ML06 装机记
  • 最强双路泰坦硬管水冷 制作流程
  • 银欣FT02,双路E5工作站
  • 迟到的定制机箱小钢炮清理灰尘
  • 乔思伯UMX1 Plus,小巧的家用综合主机
  • 分体水冷第二弹-Inwin 805 infinity
有趣的美图分享
  • 教你如何拍出两米大长腿的感觉。
  • 这也太萌了
  • 还是翻盖的
  • 老妈说她年轻时是村里的养猪能手
  • 他很爱他的孩子,但是孩子很怕
  • 几级美颜啊这是,把星爷搞这样
  • 当你很开心的玩手机的时候
  • 我就知道
  • 性别重要吗?
  • “李公公,把昨天的监控调出来我看下”
关注官方微信
快速回复 返回顶部 返回列表