新的社会阶层人士多种方式助抗疫

(抗击新冠肺炎)新的社会阶层人士多种方式助抗疫

中新网北京2月17日电 新冠肺炎疫情发生以来,中国广大新的社会阶层人士发挥自身优势,调动多方资源,通过多种方式为抗击疫情贡献智慧和力量。

青岛市社会组织联合会副主席、青岛思达心脏医院院长马骏率全院128名医护人员递交前往一线请战书,并率先派出非公立医院医疗队伍驰援武汉市汉阳医院。

在确定 GTN 可以加速在 MNIST 数据集上的训练后,我们在 CIFAR-10 数据集上进行了测试,这同样也是一个常用的 NAS 对比基准。和在 MNIST 数据集上训练的情况相似,在这里,学习器使用 GTN 生成的数据学习的速率要快于使用真实数据学习的速率。具体而言,即使与高度优化的使用真实数据的学习算法相比,使用合成数据训练的学习器在性能水平相同的情况下,学习的速率也要比前者快四倍(详见图 4)。

新的社会阶层人士通过及时发布动态信息、主动驳斥谣言、制作文艺作品等,积极开展正面宣传,为防控疫情营造了良好的舆论环境。

东华软件股份公司接到武汉火神山医院建设相关任务后,抽调优秀技术人员火速投入建设,确保医院信息系统如期建成、正常运转。

新的社会阶层人士“混子曰”自媒体平台,利用漫画方式普及科学防疫知识。

雷锋网原创文章,。详情见转载须知。

全国人大代表、湖北得伟君尚律师事务所主任蔡学恩提出的“各地政府准确执行和适用《传染病防治法》的建议”,武汉市政协委员、武汉康力会计师事务有限责任公司主任会计师梅佑轩提出的“关于公开社会捐赠物资去向的建议”,网络人士余丹“发挥网络界人士在疫情中舆情引导作用的建议”等,分别被最高人民法院、湖北省高级法院和湖北省有关部门采用,为科学规范疫情防控做出了贡献。

2019年11月,秦光荣涉嫌受贿案被提起公诉。此前,其儿子秦岭因涉嫌受贿、贪污已被提起公诉。本是党的高级干部,最后却落得父子齐立案、全家被调查的惨痛结局。

GTN 是一种深度神经网络,它能够生成数据或生成训练环境,学习器(例如,某种刚刚经过初始化的神经网络)在接受目标任务(例如,识别图中的物体)之前,可以使用 GTN 生成的数据或训练环境进行训练。这种方法的一个优点是,GTN 可以生成「合成」的数据。其它的神经网络使用 GTN 生成的数据进行训练时,可以获得比在真实数据上进行训练更快的训练速度。这使我们能够以比使用真实数据训练快九倍的速度搜索新的神经网络架构。基于 GTN 的神经网络架构搜索(GTN-NAS)可以与目前最先进的神经网络架构搜索(NAS)方法相媲美,它能够在使用比经典的 NAS 方法少几个数量级的计算量的情况下获得目前最佳的性能。而且,实现这种最佳性能的新技术非常有趣!

秦光荣在生活上贪图享受,爱慕虚荣,其在北京通州的别墅面积约1200平方米,还在老家永州修建“秦家大院”,主体建筑面积约1600平方米,飞檐翘角、奢华气派。

在 MNIST 数据集上获得 98.9% 准确率本身并没有多么经验,但是能够使用这么少的样本做到的一点是:使用 GTN 合成数据训练的学习器可以在仅仅 32 个随机梯度下降步(约 0.5 秒)的训练后达到这个水平。同时,学习器仅仅在「课程」中「看」过了一次 4,096 个合成数据,这个数据规模还不到 MNIST 训练数据集的十分之一。

生成式教学网络(GTN,https://arxiv.org/abs/1912.07768)生成了合成数据,这种数据使新的学习器网络能够迅速地针对某种任务进行学习。这使得研究者们可以快速地评估一种新提出的候选网络架构的学习潜力,这促进了对新的、更强大的神经网络架构的搜索。通过我们的研究,我们说明了:GTN 生成的训练数据创建了一种更快的 NAS方法,它与目前最先进的 NAS 算法旗鼓相当(但实现的方式完全不同)。在我们的 NAS 工具箱中加入这种额外的 GTN 工具,对 Uber、所有的公司,以及全世界的所有科学家大有助益,可以帮助它们提升深度学习在每个应用领域的性能。

陕西女法律工作者协会组织志愿律师编写了近350页的《疫情防控法律法规汇编及法律实务指南》,面向公众免费发放。

从更宏观的角度来说,我们认为 GTN 是一种通用的工具,它可以被用于机器学习的所有领域。我们这份工作中展示出了其潜力,但是我们也相信它们可以在无监督学习、半监督学习,以及强化学习中得到有效的应用(我们的论文已经得到了强化学习方面的初步结果)。如果把目标定得更大一些,GTN 可以通过以下方式帮助我们朝着能够自动创建强大的人工智能形式的「人工智能生成算法」迈进:(1)对网络架构进行元学习;(2)对学习算法本身进行元学习;(3)自动生成训练环境。本文说明了,GTN 有助于这三种方法中的第一种(对网络架构进行元学习),但它们也可以通过生成复杂的训练环境、成功地训练智能体,来促进第三个方面的发展(自动生成训练环境)。

各领域新的社会阶层人士通过开展公益援助、组织志愿活动、提供专业服务等,形成了一支抗击疫情的“生力军”。

中央统战部新的社会阶层人士服务团自发行动,广泛发布关于应对疫情的倡议书,号召新的社会阶层人士心手相连、共克时艰。

中国正能量网红·同心荟联席会长、丁香园董事长李天天带领企业第一时间推出“全国疫情实时动态”,并与《人民日报》合作,制作了“《人民日报》—丁香园/丁香医生联合版疫情动态地图”,上线不到半月,累计点击量超12亿次。

有趣的是,尽管我们可以使用这些合成图片训练神经网络,并且学着识别真正的手写数字,但许多由 GTN 生成的图片实际上在我们人类看来是十分奇怪的,我们并不能将它们识别为数字(详见图 3)。这些非真实的图片可能对神经网络产生有意义的影响,这种现象反过来也会让人不禁想起深度神经网络很容易被「愚弄」(https://arxiv.org/abs/1412.1897)。同样非常有趣的是,在课程的末期,当模型性能达到平稳期之后,手写数字的可识别性会急剧提升(详见图 2 中的第 32 步)。关于「为什么图片大部分是非真实的」,以及「为什么在课程的末期它们的真实性会提升」的假设的讨论,请参阅我们的论文「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」(https://arxiv.org/pdf/1912.07768.pdf)。

社会组织“公羊会”创始人何军率志愿者突击队赴湖北疫区,带去100台大功率油动喷雾消杀器和30吨无毒医用消杀液,有序走上街头,网格化、小组化开展全域覆盖式疾控消杀工作。

GTN 涉及到了一种被称为「元学习」的令人激动的机器学习类型。在这里,元学习被用于网络架构搜索。过去的研究者们(https://arxiv.org/abs/1502.03492)已经使用元学习直接(逐像素地)优化了「合成」数据。在这里,通过训练一个生成器,我们可以重用更多的抽象信息(例如,关于数字「3」的形态特征)来编码各种各样的样本(例如,许多不同的「3」)。我们进行的实验证明了,GTN 生成器比直接优化数据的性能更好。更多关于 GTN 与之前相关工作比较的细节讨论,请参阅我们的论文「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」(https://arxiv.org/abs/1912.07768)。

秦光荣是监察体制改革后第一个投案的原省部级一把手。随着反腐败斗争压倒性胜利不断巩固发展,党的十九大以来,投案人数大幅增长,共有8700余名各级党员干部主动投案。

新的社会阶层人士中的文艺工作者,通过精心策划和编创文艺作品,积极传播正能量。如广东省新联会副会长兼网络新媒体分会会长曹志伟创作抗疫公益主题歌曲《我们同在》,中国音乐家协会会员、山东省音乐家协会副主席,自由职业音乐人皓天演唱抗疫主题歌曲《和时间赛跑》等。(完)

由于 GTN 能够更快地评估每个架构,它们能够在给定一定的计算资源的情况下,对更多整体框架进行估计。在我们实验的每一种情况下,我们都证明了:使用 GTN 生成的数据比使用真实数据更快,并取得了更好的性能(详见表 1)。甚至,当我们将使用真实数据训练 10 天的结果与使用 GTN 生成数据训练 2/3 天的结果进行比较时,这个结论也成立(详见表 1)。此外,采用随机搜索策略(以及表 1 中列出的一些附加功能)的 GTN-NAS 也可以与采用了比随机搜索复杂得多的策略的 NAS 方法相抗衡(「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」(https://arxiv.org/pdf/1912.07768.pdf))。重要的是,GTN 生成的数据也可以直接被这些算法使用,我们期望这将同时在这两种场景下取得最佳的效果,提升目前最佳模型的性能。

渐渐地,神经网络架构搜索(NAS,http://www.cs.ucf.edu/~kstanley/neat.html)算法被部署到自动化的架构搜索工作中,得到了很好的结果。尽管大量的人类科学家已经针对ImageNet 和 CIFAR 等流行的计算机视觉对比基准试图找到最佳的模型架构,但是 NAS 仍然得出了目前性能最佳的实验结果(https://arxiv.org/abs/1802.01548)。如果我们可以提升 NAS 的效率,那么整个机器学习社区中的从业人员都会大大受益。

通过使用大量由人类标注的数据,我们推动了机器学习技术的发展,但是要制作出这种带标签的数据需要付出大量的时间和金钱。在 Uber 人工智能实验室,我们研究了一个非常有趣的问题:我们是否可以创建一些学习算法,通过学习智能体所处的环境以及「课程」(curricula)自动地生成训练数据,从而帮助人工智能体迅速地学习。在我们发表的论文「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」(https://arxiv.org/abs/1912.07768)中,我们说明了可以通过「生成式教学网络」(GTN)实现这样的算法。

表 1:GTN 可以直接替代真实数据,加速 NAS 的过程。在上表中,实验结果是使用简单的随机搜索 NAS 策略实现的,但是 GTN 应该也可以加速任意的 NAS 方法。参数的个数指的是学习器神经网络中权重的个数。

因此,GTN 生成的数据在 NAS 算法中可以更快地替代真实数据。为了说明该过程,我们选用了最简单的 NAS 方法:随机搜索。该算法非常简单,我们可以确定不存在复杂的算法组件和使用 GTN 生成的数据之间特殊的、令人困惑的相互作用。在随机搜索过程中,该算法随机采样得到网络架构,并且在给定计算资源预算的情况下尽可能多地进行估计。在我们的实验中,这些估计要么是针对使用 GTN 生成的数据训练 128 个随机梯度下降训练步后的架构,要么是针对使用真实数据训练的架构。接着,对于每一种方法,根据估计得到的最佳架构会使用真实数据训练很长的时间。在真实数据上最终取得的性能才是我们真正关心的结果。

@匪我思存等网络名人利用个人微博、公众号、博客等,及时破除不实谣言。

这个过程的工作流程如图 1 所示。GTN 就好比生成对抗网络(GAN,http://papers.nips.cc/paper/5423-generative-adversarial-nets)中的生成器,只是它没有生成逼真数据的压力。相反,它产生的是完全人造的数据,一个之前没有见到过的学习器神经网络(具有随机采样的架构和权值初始化结果)会使用这些数据训练少量的学习步(例如,可以通过随机梯度下降实现这些学习步)。然后,我们会使用真实的数据评估学习器网络(到目前为止还没有见过真实的数据),例如评估该网络是否能识别经典 MNIST 数据集中的手写数字图像,该过程可以得到正在被优化的元损失目标函数(meta-loss objective)。接着,我们通过元梯度(https://arxiv.org/abs/1502.03492)对整个学习过程进行微分,更新GTN 的参数,从而提高目标任务上的性能。之后,我们会弃用该学习器,并重复这个过程。另一个细节是,我们发现学习一个「课程」(一组按照特定顺序排列的训练示例)相较于训练一个生成无序随机示例分布的生成器更加能够提高模型性能。

秦光荣,全国人大原内务司法委员会副主任委员、云南省委原书记。他走上领导岗位后,从未停止收受红包礼金,过年过节收拜年拜节的钱,庆贺生日收祝寿的钱,出国访问收“补贴钱”,搬家添丁收庆贺的钱……

基于 GTN 的神经网络架构搜索

除了我们的直接成果,我们对 GTN 开辟的新的研究方向也感到十分兴奋。当算法可以生成他们自己的问题和解决方案(https://eng.uber.com/poet-open-ended-deep-learning/)时,我们就可以解决比以前更难的问题。然而,生成问题需要定义一个环境搜索空间,这意味着我们需要编码一个丰富的环境空间来进行搜索。GTN 有一种很好的特性,那就是它们可以生成几乎任意类型的数据或训练环境,这使其具有巨大的潜在影响力。然而,虽然能够生成任意的环境令人十分激动,但仍然需要通过更多的研究充分利用这种表达能力,从而不会迷失在 GTN 产生的各种各样的可能性的海洋中。

我们计划在未来几周内发布这项研究的源代码:敬请期待!

图 3:GTN 生成的具有「课程」性质的 MNIST 图像。课程的顺序从左到右排列(每一列是 32 批数据中的一批)。

把这些数据用在神经网络架构的搜索(NAS)上,能够获得9倍的提速,且计算量下降几个数量级。这项工作非常有意义,按照作者的说法,“GTN开辟了一个新的研究方向”;此外,GTN 并不仅仅适用于NAS,它是一种通用的工具,可以被用于机器学习的所有领域。作者为此专门写了一篇解读博客,内容详实有趣,AI 科技评论翻译并稍作修改——

图 4:在 CIFAR 数据集上,使用 GTN 生成的合成数据进行训练的速率比使用真实数据也更快一些,在性能水平相同的情况下,速率提升了 4 倍。

神经网络的架构与它的一些设计选择有关(例如,它应该有多少层,每层应该有多少神经元,层与层之间应该具有怎样的连接关系,等等)。不断改进的神经网络架构使机器学习在诸多领域(例如,计算机视觉、自然语言处理、语音转文本)都取得了重大进展。然而,搜索高性能网络架构的任务通常是由科学家手动完成的,这极其耗时。

在对 GTN 进行元训练后,当学习仅限于少量的随机梯度下降学习步时(例如,32),新的学习器可以使用合成数据比使用真实数据学习得更快(如图 2 中红色的曲线代表使用合成数据,蓝色曲线代表使用真实数据)

方法:生成式教学网络(GTN-NAS)

慈铭体检创始人韩小红紧急动员200多人的医生团队,投入抗击疫情在线义诊。

湖北省新的社会阶层人士联谊会(以下简称“新联会”)发出《抗击疫情、需要有你——湖北省新联会致全国各地新联会的倡议信》,各地新联会积极响应,共同建立“助力湖北——全国新的社会阶层人士协调平台”,负责捐赠资源对接。短短几天,全国新的社会阶层人士捐款超过3.39亿元人民币,捐赠物品折合价值约3.26亿元。

图1:生成式教学网络(GTN)示意图。生成器(一个深度神经网络)生成合成数据,一个新创建的学习器会使用这些数据进行训练。使用 GTN 生成的数据集进行训练后,该学习器可以在目标任务上取得很好的性能(尽管它们从未见过真实的数据)。

NAS 需要大量的计算资源。朴素的 NAS 算法会使用完整的数据集训练每个神经网络,从而对其进行评估,直到模型性能不再提升。对于数千个(甚至更多的)在 NAS 过程中需要考虑的网络架构重复这个过程的计算开销机器高昂,并且速度极慢。NAS 算法通过仅仅进行少量时间的训练并且将得到的性能作为真实性能的估计值,避免了如此高昂的计算开销。进一步加速这一过程的方法可能是:从完整的数据集中精心地选择信息量做大的训练样本。论文「Learning Active Learning from Data」(https://arxiv.org/abs/1703.03365)中提到的方法已经被证明可以加速训练(该论文的主题超出了 NAS 的范畴)。

图 5:针对根据 GTN 估计得到的前 50% 的架构,使用 GTN 合成数据训练 30 秒后最终得到的性能与使用真实数据训练 4 小时后取得性能的相关系数图。图中的相关系数足够高(Spearman 等级相关系数为 0.5582),当我们选用根据 GTN 估计得到的性能最好的架构时,我们也会选择出真实性能最好的架构。根据 GTN 估计的结果,蓝色方块代表性能前 10% 的架构。

荔枝公司上线“抗击疫情,我们在一起”专题、酷狗APP首页上线“抗击肺炎”专区,并积极转载国家卫生健康委员会、《人民日报》等权威机构、媒体信息,及时为公众答疑解惑。

然而,我们想知道是否可以通过更激进的思路来加速这一过程:让机器学习模型可以自己创建训练数据。这种算法不仅仅局限于创建逼真的图像,相反,它也可以创建有助于学习的非真实数据,就像在篮球训练中我们学习同时运两个球可以加快学习速度(即使这与实际的比赛完全不一样)。因此,GTN 自由地创建非真实的数据,可以使得模型比使用个真实数据更快地学习。例如,GTN 可以融合许多不同类型的对象的信息,并且集中利用最困难的示例进行训练。

在GTN-NAS中,最终目标是找到一种经过在真实数据上训练许多步(即直到收敛)后,能够取得很好的性能表现的神经网络架构。因此,测量在使用 GTN 生成的数据训练少量的学习步后得到的任何模型的性能,都只是一种估计当我们最终使用真实数据训练时,哪些架构会表现良好的手段。我们发现,使用 GTN 数据训练得到的模型性能可以被用来预测真实情况下的模型性能(使用 GTN 估计的排名前 50% 的架构与真实情况的 Spearman 等级相关系数为 0.56)。例如,根据 GTN 非常快的估计,排名前 10% 的架构实际上性能非常高(详见图 5 中的蓝色方块)。这意味着我们可以通过 GTN 生成的数据快速地评估许多网络架构,从而识别出一些看起来有潜力的架构,然后使用真实数据训练这些架构,最终确定哪些架构在目标任务上真正性能优异。有趣的是,我们发现,要实现与使用 GTN 生成的数据仅仅在 128 个随机梯度下降训练步上取得的相同的预测能力(等级相关系数),你需要使用真实数据训练 1,200 个梯度下降训练步。这说明,使用 GTN 生成的数据比使用真实数据进行网络架构搜索要快 9 倍!

图 2:使用 GTN 生成的合成数据进行训练比使用数据训练更快,当仅仅经过少量随机梯度下降步训练时,可以得到更高的 MNIST 性能。

为了搜索网络架构,我们采用了来自许多论文(https://arxiv.org/abs/1611.01578,https://arxiv.org/abs/1802.03268,https://arxiv.org/abs/1808.07233)的思想。我们先搜索一个小型的架构模块,然后通过一个预先确定的「蓝图」重复组合这样的模块,从而创建不同规模的架构。一旦我们发现了一个高质量的模块,它就可以被用来创建一个更大的网络,然后用真实的数据训练这个网络,在目标任务上收敛。