Facebook开源新NLP框架:简化部署流程,大规模应用也OK
铜灵 编译整理
今天,Facebook开源了一个基于PyTorch的深度学习库PyText,想容易地构建和部署NLP系统。
Facebook在博客中介绍说,新框架具有多个特性,不仅能简化流程更快部署,还能调取众多预构建模型和程序方便大规模部署。
PyText开源的消息经Yann LeCun转推后,短时间引发了高额的点赞转发,一些网友称这是个“鹅妹子嘤”的项目。在Github今日热榜上,PyText排名第四。
核心功能
构建PyText的初衷,是想解决当前NLP任务中时间紧且需要大规模部署之间的矛盾。研究人员的大致思路分两步。
一是通过为模型组件提供简单可扩展的接口,二是导出模型用于推理。目前,PyText的核心功能有以下几点:
- 内含各种为NLP/NLU任务准备的模型
(如文本分类、序列标注、连接意图-槽位模型和上下文意图-槽位模型等。)
- 支持基于PyTorch 1.0中新的C10d后端构建的分布式训练
- 可以轻松创建新模型和任务的可扩展组件
- 支持整体训练
为了适应研究和生产的需要,Facebook还强调了框架的稳健性和低延迟性,目前,PyText已经应用于Facebook网站上,你和朋友视频/音频中的字幕生成功能就是它的功劳。每天可执行超过10亿次预测。
可以看出,模块化也是PyText的一大亮点,不仅支持从头创建新的pipeline,还可以修改现有的工作流程。除了分布式训练外,还支持一次训练多个模型。
传送门
官方博客地址:
https://code.fb.com/ai-research/pytext-open-source-nlp-framework/
GitHub代码:
https://github.com/facebookresearch/pytext
在论文PyText: A seamless path from NLP research to production中,研究人员详细介绍了PyText的原理:
https://research.fb.com/wp-content/uploads/2018/12/PyText-A-seamless-path-from-NLP-research-to-production-using-PyTorch3.pdf?
不花一分钱,你也能拥有Facebook同款框架了~
— 完—
相关文章
-
人社部回应延迟退休,苹果正开发可折叠iPhone,哪吒票房破30亿
-
国产操作系统、EDA都来了!光刻机还会远吗?
-
从武汉互联网取药模式,谈处方外流的关键因素
-
央视315曝光网贷、推销行业乱象;京东全站下线电子烟;A站回应抢注哔哩哔哩商标
-
买智能音箱或许会上瘾,近6成用户表示拥有两台以上的智能音箱
-
阿拉丁发布小程序4月榜单:小程序悄然改变搜索市场,电商类连续两月TOP第一
-
荣耀五年启示录:是什么成就了荣耀?
-
苹果不会参加 CES,不过今年有点例外
-
【虎嗅晚报】360:手机业务并非暂停,只是放缓;滴滴遗失物品处理规则今日试行
-
唱好“先分期后开卡”的信用卡新模式是妄想狂欢
-
2020年智慧医院HIC百强排行榜:广州市妇女儿童医疗中心蝉联榜首(附TOP100)
-
利欧股份:此前已尝试将AI、AR运用于电商直播多维度实现虚拟主播的场景运用
-
美国版PDD倒闭,性价比这条路到底该怎么走?
-
百度地图春节评测:一款国民APP是如何带我回家的
-
技术与工具|语料格式转换工具合集
-
焦点分析 | 后直播时代来了,陌陌要开始找其它的钱
-
蚂蚁金服旗下两家公司改名了,但与支付宝无关
-
中国应用程序通过添加"关闭推荐"按钮将权力还给用户
-
京东云智能城市助力天津科技防疫8小时上线重点人员筛查系统
-
百度申请“用于检测恶意代码方法和系统”专利获授权
-
阿里入股大润发母公司后,第一张成绩单来了
-
Lyft提交IPO申请,拟在纳斯达克上市;传锤子基本停止新手机研发,下半年或不载推出新手机;iQOO手机发布,2998元起
-
顺丰与中铁快运携手备战双11,双地网正成为拉动内需消费的新动力
-
持续发酵!华为前员工被羁押251天,给个解释叫“支持”?
-
阿里、京东、拼多多的“好日子”各有各的逻辑
-
中国移动咪咕打造全球首场5G+真4K排球赛事直播,颠覆体育视听体验
-
网易云音乐与腾讯音乐娱乐,正在成为两个物种
-
新书推荐│Java程序设计基础(微课版)
-
苹果将推高端三摄iPhone 二代XR升级双摄