为了账号安全,请及时绑定邮箱和手机立即绑定

一个API调用27个NLP预训练模型:BERT、GPT-2全囊括,像导入NumPy一样容易

标签:
人工智能
鱼羊 发自 凹非寺 
量子位 报道  

只需一个API,就能调用BERT、XLM等多种语言模型,逆天的GPT-2也一样轻松到碗里来,这样的模型库你是否期待?

现在,真的有人完成了这一惊人工作,推出了堪称最先进自然语言处理预训练模型库。

六种架构,27个预训练模型,简单易用,鹅妹子嘤。

https://img1.sycdn.imooc.com//5d2f1cce0001eaea05800598.jpg

其名为Pytorch-Transformers 1.0

登场数小时,获赞1000+,网友忍不住惊叹:这简直就是上帝的工作。

https://img1.sycdn.imooc.com//5d2f1cd300017ca906770155.jpg

Pytorch-Transformers 1.0

从模型分析到生产加速,对自然语言处理研究人员来说,简直是一库在手,天下我有。

目前这个库中包含PyTorch实现,预训练模型权重,数据集和六个模型的转换工具。

六种NLP模型

库中囊括了现在自然语言处理(NLP)领域最常用的六种模型:

  • BERT

  • GPT

  • GPT-2

  • Transformer-XL

  • XLNet

  • XLM

这些实现已经在GLUE、SQuAD上进行了测试,基本能与原始实现的性能相匹配。

https://img1.sycdn.imooc.com//5d2f1cda0001f60606830156.jpg

BERT原始实现性能

https://img1.sycdn.imooc.com//5d2f1cdd00017dc706860392.jpg

Pytorch-Transformers 1.0中BERT实现性能

27个预训练模型

5d2f1d400001bcfe06380258.jpg

快速上手

这么强大的工具,上手也很简单。

作者已经在Python 2.7和 3.5+上进行过测试,PyTorch的版本则是 0.4.1到 1.1.0。

首先pip一下:

pip install pytorch-transformers

克隆储存库并运行:

pip install [--editable] .

可以用pytest进行一些测试:

python -m pytest -sv ./pytorch_transformers/tests/
python -m pytest -sv ./examples/

接着,就可以看一下快速入门示例了。

BERT

首先,使用BertTokenizer从文本字符串中准备一个标记化的输入:

https://img1.sycdn.imooc.com//5d2f1ce60001a00906880315.jpg

使用BertModel在隐藏状态下编码输入:

https://img1.sycdn.imooc.com//5d2f1ce900014f1006870267.jpg

用BertForMaskedLM预测masked token:

https://img1.sycdn.imooc.com//5d2f1d360001ec8406900221.jpg

OpenAI GPT-2

准备输入:

https://img1.sycdn.imooc.com//5d2f1d38000100ea06950206.jpg

预测下一句:

https://img1.sycdn.imooc.com//5d2f1d3c0001285706920246.jpg

就像这样,每一个模型都有相应的示例,可以在文档中查看详情。

不懂法律的物理学博士不是好工程师

https://img1.sycdn.imooc.com//5d2f1d400001c92906700588.jpg

Pytorch-Transformers 1.0的作者小哥是一位真正的跨界人才。

10岁学编程,大学却入了物理坑。

第一份工作是在劳伦斯伯克利国家实验室的BELLA中心研究激光等离子体相互作用。

被麻省理工录取为博士研究生,最后在索邦大学和ESPCI(巴黎高等物理化工学院)拿到了量子物理学博士学位。

在这之后,他又转行去知识产权律师事务所当起了欧洲专利律师。

现在,他在创业公司Huggingface Inc. 领导一支科学团队,致力于自然语言生成和自然语言理解领域。

真乃神人也。

传送门

开源地址:
https://github.com/huggingface/pytorch-transformers

教程文档:
https://huggingface.co/pytorch-transformers/quickstart.html#documentation

—  —


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消