-
营销与经营深度一体,巨量引擎助力品牌撬动全渠道增长
发布时间:2024/01/30
过去十年,中国企业在数字营销上的投入快速增长。根据eMarketer的数据,2023年国内数字广告的投入将达到1361亿美元,增长14.8%。数字营销已经成为品牌方最大的经营成本之一。面对如此巨大的投入,品牌方的管理层...
-
路特斯TYPE 136于广州车展正式上市 首批铂金限量版开启发售
发布时间:2023/11/18
【中国广州,2023年11月18日】承袭赛道基因,铸就破风典范。近日,路特斯携旗下全球首台灵活动力公路自行车TYPE 136于广州车展荣耀上市,并正式开启限量发售。首批车主将升级铂金限量版,全球仅发售136台。路特斯...
-
助力蔗糖产业长足发展!招商期货参与的孟连县白糖“保险+期货”试点项目启动
发布时间:2022/11/23
11月4日,招商期货有限公司(以下称“招商期货”)参与的郑商所2022年孟连县白糖“保险+期货”试点项目在孟连县举行启动仪式,本次项目由招商期货与光大期货、中信建投期货、中国人寿财产保险股份有限公司云南省分公...
-
门窗行业复刻定制家居高光时刻,森鹰窗业上市成起点?
发布时间:2022/09/25
据悉,9月26日,森鹰窗业股份有限公司(以下简称森鹰窗业)将举办上市敲钟仪式,正式登陆深交所。 森鹰窗业是目前沪深两市第一家细分行业为“C2032木门窗制造”的上市公司。 这让笔者不禁想起2011年定制家居行业首...
-
第三批专项债六月底发完 项目完成审核
发布时间:2020/04/06
财政部副部长许宏才4月3日在新闻发布会上表示,今年以来,根据全国人大常委会授权,财政部提前下达了2020年部分新增专项债券额度12900亿元。截至2020年3月31日,全国各地发行新增专项债券1.08万亿元,占84%,发行...
-
国美零售转型加速 携拼多多“迎战”零售业大考
发布时间:2020/04/06
随着国内疫情初步得到控制,零售消费市场也在逐渐恢复运转。日前,国务院联防联控机制举办新闻发布会。商务部消费促进司负责人王斌在会上指出,将千方百计促进消费回补和潜力释放,壮大新型消费和升级消费,扩大...
-
美新冠疫情蔓延,建霖家居等IPO企业受累
发布时间:2020/04/06
编者按: 随着疫情蔓延,全球新冠肺炎确诊病例已突破百万,累计死亡超5万例,其中,美国确诊超过23万例,欧洲确诊超过50万例。作为全球经济重要力量的欧美地区,其疫情将对IPO企业产生什么影响? “有一天美国将成...
-
信托代销哪家强?招行去年赚64亿
发布时间:2020/04/04
证券时报记者 杨卓卿 随着银行年报密集披露,一些行业巨头代销信托产品的情况也浮出水面。 证券时报记者注意到,“零售之王”招商银行2019年代销的信托产品规模超过3000亿元,借此实现64.32亿元的手续费及佣金收入...
微软的UniLM AI在摘要和语言生成方面达到了最先进的性能
发布时间:2019/10/18 新闻 浏览次数:994
语言模型预训练是一种通过使机器学习系统根据其上下文预测单词来“教”机器学习系统将其上下文化的技术,该技术已经在一系列自然语言处理目标方面取得了进步。但是,像Google的BERT这样的模型在设计上是双向的(意味着它们借鉴了词的左和词的上下文来形成预测),因此不适合进行大量修改而生成自然语言的任务。
因此,Microsoft Research的科学家研究了一种称为UNIfied预训练语言模型(UniLM)的替代方法,该方法可以完成单向,序列到序列和双向预测任务,并且可以针对自然语言的理解和生成进行微调。他们声称它在流行的基准上比BERT优越,在摘要摘要,生成性问题解答和语言生成数据集的样本上获得了最新的结果。
UniLM是一个多层网络,其核心是由Transformer AI模型组成的,这些模型共同针对大量文本进行了预训练,并针对语言建模进行了优化。对于初学者,变形金刚包含相互连接的神经元(功能),这些神经元从输入数据传输信号并调整每个连接的强度(权重)。这是所有AI系统提取特征并学习进行预测的方式,但是Transformers会注意每个输出元素都连接到每个输入元素。实际上,它们之间的权重是动态计算的。
根据研究人员的说法,预训练的UniLM与BERT相似,因为它可以进行微调(如果需要,可以附加其他特定于任务的层)以适应各种下游任务。但是与BERT不同,UniLM可以使用不同的自我注意掩码进行配置,以汇总不同类型语言模型的上下文。此外,由于其预训练的统一性,因此Transformer网络可以共享参数(从历史训练中学到的数据),这使学习到的文本表示形式更加通用,从而减轻了对任何单个任务的过度拟合(当系统对训练数据建模得很好时) 。
研究人员报告说,UniLM在使用英语维基百科和开源BookCorpus的文章后的总词汇量为28,996,经过了预培训,其跨语言任务的表现令人印象深刻。具体来说,他们说它取得了与GLUE基准测试(评估一般语言理解)上的BERT相当的结果,并且获得了两个问答数据集,并且在五个自然语言生成方面均优于以前的最新模型数据集,包括CNN / DailyMail(测试摘要),Gigaword(抽象摘要),SQuAD(问题生成),CoQA(生成性问题回答)和DSTC7(对话响应生成)。
该团队通过在“网络规模”文本语料库上训练较大的模型来推动当前方法的局限,从而留给未来的工作。他们还希望研究扩展UniLM以支持跨语言任务。
代码和预训练模型可在GitHub上获得。
上一篇: 800万观看民主辩论