这个系列会针对NLP比赛,经典问题的解决方案进行梳理并给出代码复现~也算是找个理由把代码从TF搬运到torch。Chapter1是CCF BDC2019的赛题:...
前三章我们陆续介绍了半监督和对抗训练的方案来提高模型在样本外的泛化能力,这一章我们介绍一种嵌入模型的数据增强方案。之前没太重视这种方案,实在是方法过于朴实。。。...
自然语言处理(NLP)是指我们可以使用软件来理解口语或书面文本中的自然语言的方式。
BERT 是由 Google 开发的自然语言处理模型,可学习文本的双向表示,可在许多不同任务中的显著提升在上下文中理解无标记文本的能力。
据工信部日前公布的数据显示,我国的人工智能核心产业规模超过4000亿元,比2009年同期增长6倍多。
机器之心深入调研网易,发布70页报告深度解密「别人家」的AI技术团队如何驾驭技术、实现业务发展。身处「增长要靠技术造」的后移动互联网时代,AI技
9 月 27 日,腾讯在人工智能、生命科学跨学科应用领域的最新研究成果《scBERT as a Large-scale Pretrained D
「在 2021 年全球有 2430 万名软件开发者,这一数字在 2030 年预计将达到 4500 万人,」谷歌 TensorFlow 技术推广工
9 月 13 日,卡内基梅隆大学副教授 Graham Neubig 在 Twitter 上宣布,与 @stefan_fee 和 @odashi_
自 2012 年,以 AlexNet 为代表的深度学习技术突破开始,至今已有 10 年。知名 AI 学者、Robust.AI 创始人 Gary
9 月 24 日 16:00-19:30,上海 SOHO 复兴广场 C 座 2 楼小红书公司,小红书 REDtech 青年技术沙龙诚邀广大高校青
今天是10月10日,虽然已经是上班的第三天,但今天才是真正的星期一。镶嵌劳力士iPhone14 Pro售价93万。
借着ACL2022一篇知识增强Tutorial的东风,我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇...
基于随机token MASK是Bert能实现双向上下文信息编码的核心。但是MASK策略本身存在一些问题
Bert通过双向LM处理语言理解问题,GPT则通过单向LM解决生成问题,那如果既想拥有BERT的双向理解能力,又想做生成嘞?成年人才不要做选择!这类需求,主要包...
在前两章中我们已经聊过对抗学习FGM,一致性正则Temporal等方案,主要通过约束模型对细微的样本扰动给出一致性的预测,推动决策边界更加平滑。这一章我们主要针...
上一章我们聊了聊通过一致性正则的半监督方案,使用大量的未标注样本来提升小样本模型的泛化能力。这一章我们结合FGSM,FGM,VAT看下如何使用对抗训练,以及对抗...
这一章我们不聊模型来聊聊数据,解决实际问题时90%的时间其实都是在和数据作斗争,于是无标注,弱标注,少标注,半标注对应的各类解决方案可谓是百花齐放。在第二章我们...
这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM,MacBert,ChineseBert主要从3个方向在预训练中补充中文文本的信息:词粒...
这个系列我们用现实中经常碰到的小样本问题来串联半监督,文本对抗,文本增强等模型优化方案。小样本的核心在于如何在有限的标注样本上,最大化模型的泛化能力,让模型对u...
前两章我们分别介绍了NER的基线模型Bert-Bilstm-crf, 以及多任务和对抗学习在解决词边界和跨领域迁移的解决方案。这一章我们就词汇增强这个中文NER...
熟悉NLP的同学对Bert Finetune一定不陌生,基本啥任务上来都可以Bert Finetune试一把。可是模型微调一定比直接使用预训练模型效果好么?微调...
Albert是A Lite Bert的缩写,确实Albert通过词向量矩阵分解,以及transformer block的参数共享,大大降低了Bert的参数量级。...
模型蒸馏的目标主要用于模型的线上部署,解决Bert太大,推理太慢的问题。因此用一个小模型去逼近大模型的效果,实现的方式一般是Teacher-Stuent框架,先...
这一章我们主要关注transformer在序列标注任务上的应用,作为2017年后最热的模型结构之一,在序列标注任务上原生transformer的表现并不尽如人意...
论文针对预训练语料和领域分布,以及任务分布之间的差异,提出了DAPT领域适应预训练(domain-adaptive pretraining)和TAPT任务适应预...
之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架,但是它提出的各种训练方式槽点较多,或多或少都有优化的空间。这一章就训练方案的改良,...
第一章我们简单了解了NER任务和基线模型Bert-Bilstm-CRF基线模型详解&代码实现,这一章按解决问题的方法来划分,我们聊聊多任务学习,和对抗迁移学习是...
好友列表中的人数虽然很多,但想要倾诉烦恼却找不到可以聊天的对象,这是如今不少年轻人的真实写照。
其他 AI 先驱者,包括Meta公司首席科学家兼 AI 负责人 Yann LeCun,以及斯坦福大学教授李飞飞,也对 Hinton 的观点表示赞
本文最初发布于 T.Ferguson 的个人博客。混合智能是一种让人工智能和人类一起工作以实现预期结果并相互学习的方法。图片来源:https:/
8 月 24 日,在夸克“Meet AI”开放日上,夸克 AI 视觉团队分享了夸克在 AI 视觉技术上的研发理念和实力。
【自然语言处理(NLP)】基于LSTM实现谣言检测,基于百度飞桨开发,参考于《机器学习实践》所作。
desc‎进度条的前缀。‎预期迭代次数。如果未指定,则尽可能使用 len(可迭代)。如果 float(“inf”) 或作为最后的手段,则仅显示基本进度
梅尼埃搞的俺前庭发炎停更了几天