专访京东商城技术总监桂创华:AI抠图做设计,机器识别山寨货
智东西(公众号:zhidxcom)文 | 李水青
导语:专访京东商城技术总监桂创华,为你解读视觉识别在京东图片系统中的应用。
哪里汇聚了最多种的商品图片?京东绝对榜上有名。不同的用户进入京东商城App,会根据兴趣偏好被推荐不同的产品,或者说不同的产品Banner图。
现在,这些京东制作的产品Banner(网络横幅素材)大都由AI来完成,据称,其设计效果达到初中级设计师水平,每秒可以生成6000多张Banner。经记者估算,机器生成的速度比普通设计师快了约200万倍。除此之外,京东还利用AI进行山寨识别、视频合成及个性化分发等工作。
在2019英特尔互联网数据中心峰会上,智东西有幸和少数媒体对京东商城技术总监桂创华进行了采访,就“京东商品图片系统的AI化”进行了深入探讨。
一、每秒6000张Banner,质量达到初中级设计师水平
App首页焦点图是京东商城引流的王牌点位,自2018年起,京东已经开始将焦点图设计工作交给AI来做,速度大大提升,为“千人千面”的广告触达奠定了基础。
▲京东商城首页焦点图
“AI设计师”首先要做的是自动抠图。焦点图、海报图的设计制作需要产品的透明底图,但是商家上传的产品图往往带有背景。京东通过自研算法,能够快速实现AI抠图。
▲京东采用自研抠图算法
下一步的挑战是需要组合设计元素。一张焦点图既涉及产品图、背景色、背景纹理、组合图形、按钮、文案等多个元素,还涉及到商品调性和色彩、布局、风格的搭配。京东技术部门利用机器学习技术,用海量的Banner对图片生成模型进行训练,实现多种产品的Banner智能设计。
▲一张焦点图既涉及产品图、背景色、背景纹理、组合图形、按钮、文案等多个元素
京东商城技术总监桂创华表示,京东AI生成焦点图的速度可以达到100毫秒/张,设计效果能达到初中级设计师水平。据智东西记者了解,普通设计师的完成速度约为5min/张,比机器慢了约200万倍。
为了优化AI设计的效果和速度,京东双管齐下。一方面,京东从上层算法及软件上做优化,依托图片库中的海量图片,进对图片设计模型进行迭代训练,使机器充分了解设计规则;另一方面,京东向英特尔等合作伙伴寻求整体性能的优化方案。
桂创华说,之前我们做了很多上层应用软件的优化,但是做图速度优化到100ms/张就优化不下去了,再往下就涉及到基础库的优化了,在这一块,英特尔在图片和媒体处理方面有很多的工作。
英特尔发言人表示,英特尔第二代至强可扩展处理器、英特尔的软件库、ICC编译器、还有IPP这样的图像处理库,在京东的系统当中都有应用。比如对PNG的编解码的优化,英特尔不仅使用了AVX-512指令这样的向量化指标提升整体性能,还针对PNG图片使用了IPP高效压缩技术,以此提升PNG编解码优化。
另外,因为京东商品图片系统是基于AI的,英特尔会基于Caffe及TensorFlow主流框架打造优化的高效版本,应用到京东的图片系统当中去,以此保证整个图片系统可以更好地运行。
AI抠图和AI设计为京东“千人千面”的电商营销提供了加持。“千人千面”被提了很多年,但由于成本过高等因素并未真正落地,其中成本就有设计制作成本。
据记者调查了解,一张模板式焦点图设计的市场价达到150-300元,大概需要花费8-12分钟时间;而京东采用AI每秒合图超过6000张,日均合图超过2000万张,这大大降低了制图成本。据称,在去年双十一,京东AI生成了过亿张Banner图,现在每天也是千万量级的。
二、AI打假:识别山寨品牌Logo、外形及文字描述
除了AI设计,京东还借助机图像识别技术对山寨产品进行识别。桂创华说,山寨是京东不能碰的红线。英特尔发言人说,京东本身是一个以产品保真和用户体验为核心,这是其重要优势。
尽管京东卖家审核机制很严格,但仍有部分“漏网之鱼”。桂创华说,采用了AI山寨识别技术之后,京东平台能快速把绝大部分仿冒店、假产品识别出来。
桂创华说,京东的山寨识别应用采用自研技术。这类场景具有特殊性,国内做的企业少,国外更少有这类诉求。
Logo仿冒是商品市场的重灾区,京东会通过“Logo检测”系统,验证Logo真伪。其图片识别模型会比对100多个商标易被山寨的品牌,比如通过检测耐克的“钩”的形状验明真假,再通过比对其先前上传资质判别山寨风险。如果说相似度极高却不具有销售该品牌的权利,就会被认为是在发布侵权的商品,进而采取扣分、下架甚至是关店的处罚措施。
除了上述山寨Logo的情况,还有外形的山寨,比如大家通常见的LV、古驰的包包,山寨的纹理和正版非常像,但是很多人一看就可以看出来你是山寨LV或者是古驰的,所以京东也在针对外形山寨做了一些工作。
另外,除了图片之外还有文本方面的检测。桂创华介绍,山寨品很多时候不会山寨得那么直白,比如山寨“三叶草”的“三条杠”就没那么好识别,但这也在京东山寨识别的范围之内。
在山寨识别技术的研发中,京东面临了许多挑战。比如鞋子、服装图片中的logo会变形,这对机器学习算法造成了干扰,需要进行倾斜校正;店铺上传的商品图光线存在差异,也会影响识别效果;另外,在包包外形纹理比较相似的情况下,人眼容易识别出来的差别对机器来说却没那么容易。
对此,京东利用海量的商品图片数据,不断优化算法。同时,京东将提高检测速度、优化性能的任务交给英特尔解决,在不损失山寨检测效果的情况下,多倍提升性能。
山寨检测是一个比较典型的深度学习的场景。据了解,英特尔帮助京东对此做了多方面的优化。首先是框架层面,因为它这里面Caffe和TensorFlow都有使用,在框架层面,英特尔已经做了很好的优化。
另外英特尔今年发布的第二代至强可扩展处理器有一个新的特性叫Deep Learning Boost深度学习加速库,Deep Learning Boost我们最早跟京东在山寨检测这个场景上有过很好的应用。相当于我们这里面增加了一个指令叫VNNI 的int8的指令,可以在不损失山寨检测质量的情况下提升几倍的性能。
桂创华说,其实在我们这些应用场景中,算法是京东自研的,性能是英特尔帮助提升的。这对于京东的好处在于通过一台服务器可以处理更多的图片,且每张图片处理速度更快,因此带来了用户体验上的提升。
三、用AI制作视频,跨机房容灾支持海量图片存储
另外,随着移动互联网的发展,短视频内容的影响力越来越大。考虑到视频制作麻烦,需要耗时数天、花销数百,京东选择用AI来制作产品图视频。该技术能利用已有的素材,进行剪辑、配乐。
桂创华说;“现在我们在做的是生成视频的一些技术,这部分技术现在主要开放给商家,允许他们自己提供原始素材,我们自动给它选一些音乐,做出转场的效果,生成视频。这一块技术已经有很多商家在用了,今年双11会有大量的商家用到这样的技术。”
作为电商平台,产品图片系统是京东的重中之重,图片存储的意义不言而喻。从2014年到2018年京东产品图片数以倍速增长。
对此,京东采用跨机房容灾。具体来说,当一个机房存储两个副本,另一个机房存储了两个对应副本,一旦其中一个机房出现故障,系统会自动切换到另一个机房,这就大大提高了京东商品图片系统的稳定性。
桂创华说,我们现在海量的图片存储,它的跨机房容灾,其实在业内也是做得比较领先的。大概在去年的时候,我们就把这些工作整理了一下,做了一个开源的分布式文件系统,我们叫ChubaoFS,这个工作我们在GitHub上已经开源了。
谈到与英特尔的合作,桂创华表示;“我们一直在持续合作,是一种紧密的合作关系,凡是涉及到我们软件层面上已经优化到性能的,我们就把问题提给英特尔,看英特尔能不能给我做一下性能上的支持。比如我一台服务器只能处理10张,现在上层应用软件我们已经做到顶了,能不能给我优化一下,变成一台服务器可以处理20张、30张这样的。”
结语:利用数据优势,加持算法和算力
电商平台天然具有发展人工智能的基因。数据是众多机器学习模型的最大的痛点之一,这恰恰是电商平台的优势项。面对设计Banner、识别山寨等特殊场景,电商平台一方面通过自研软件算法来优化图像识别、图层组合等模型,一方面通过与英特尔等厂商的合作确保底层硬件的高速稳定性能。
随着各大广告代理商、大企业纷纷掀起利用AI技术转型“Martech”(智能营销)的热潮,电商平台凭借平台和渠道便利获得了无与伦比的数据优势,这使得广告代理、大企业等陷入被动境地,也使得整个智能营销市场的门槛大大提高。
相关文章
-
平安好医生业务存在注水行为?官方回应:恶意诋毁,已报案
-
Twitter的比特币和以太坊小费功能将带来什么?
-
罗玉凤华为事件后,又一大V重蹈覆辙撞枪口,网友:还这么玩?
-
竞选美国总统,从“肢解”苹果、谷歌开始
-
原来竟然有70%的线索被浪费?客易云帮你管!
-
官宣!深圳冻结多家P2P工商信息 防范股东甩锅
-
净利润和营收双降,S10系列将会成为三星2019年的扛把子
-
一线|华为发布Mate 20系列 石墨烯技术首次运用于手机
-
美团对摩拜裁20%-30%?摩拜:不属实;当当网发文谴责李国庆
-
"奇奇怪怪"的知识又增加了!百度AI自己剪视频报道了自己
-
董明珠与雷军难说胜负
-
库克在《时代》杂志发专栏文章呼吁美国会通过全面联邦隐私立法
-
企业网络舆情危机的处置方案都有哪些|壹站传媒
-
滴滴网约车自杀事件反思,市场的不规范不能仅靠媒体监督解决!
-
科技神回复|库克:每天拿起iPhone200次,网友:我就一次,然后再也没放下
-
半数不降噪还损伤听力一副最高卖到近3000元
-
“国信1号”获批全国首个养殖工船运营管理试点!全船总养殖水体达8万立方米!
-
最前线|为了自给自足,苹果动用机器人回收iPhone里的金属
-
特立独行!这款浏览器化繁为简,未来或成最舒服的主流浏览器
-
猎豹移动Q1季报图解:营收同比降51%净亏过亿
-
特斯拉推出FSD订阅服务:99美元/月起
-
相互保涉嫌违规被迫停止合作,蚂蚁金服:改名相互宝,继续运营
-
拍照全球第一的华为P40Pro,我们从实拍的角度来看看到底如何?
-
社交VR平台Rec Room宣布实现100万+VR头显安装量
-
马上,美国最自由的“贴吧”将改姓腾讯了
-
广东时代传媒总经理孙波:传媒人要放慢脚步,等待灵魂
-
董明珠将在快手直播;阅文回应《西游记》授权争议;马云谈李佳琦薇娅|猬报
-
原来马云可以随时离开阿里,马化腾却不能离开腾讯,原来差距在这
-
京东云智能城市助力天津科技防疫8小时上线重点人员筛查系统