<small id='IvG2jQy0Xc'></small> <noframes id='Zs0xFBOp8z'>

  • <tfoot id='zZl5O'></tfoot>

      <legend id='ocC9'><style id='Gi82n'><dir id='w9UfSN'><q id='QTJkWUf'></q></dir></style></legend>
      <i id='oHpyxJhi'><tr id='0jtIk2'><dt id='Yhdrxmn'><q id='hA9SacrXU'><span id='MlJSyYKeo'><b id='YiohUe'><form id='t53GuFA1y'><ins id='7kgNZbvVR3'></ins><ul id='RwNL7ibY'></ul><sub id='bAzXklfGjm'></sub></form><legend id='1x9siEMI8'></legend><bdo id='gd8LrSV3f'><pre id='HqZOS'><center id='6mufpi'></center></pre></bdo></b><th id='cvPrTgdt'></th></span></q></dt></tr></i><div id='1orU'><tfoot id='pudoe7s4ma'></tfoot><dl id='k37VNw'><fieldset id='zyvoT'></fieldset></dl></div>

          <bdo id='zAbJRr0lqB'></bdo><ul id='ONqmvoGVJ'></ul>

          1. <li id='jcWtDb1'></li>
            登陆

            章鱼彩票老版本-2019年自动学习有哪些发展?答案在这三篇论文里

            admin 2019-08-16 218人围观 ,发现0个评论

            机器之心原创章鱼彩票老版本-2019年自动学习有哪些发展?答案在这三篇论文里

            作者:仵冀颖

            修改:Hao Wang

            现在推广运用的机器学习办法或模型首要处理分类问题,即给定一组数据(文本、图画、视频等),判别数据类别或将同类数据归类等,练习进程依托于已标示类别的练习数据集。在试验条件下,这些办法或模型能够通过大规划的练习集取得较好的处理作用。但是在运用场景下,能够得到的数据实际上都没有进行人工标示处理,对这些数据进行类别标示所耗费的人力本钱和时刻本钱十分巨大。在一些专门的运用范畴,例如医学图画处理,只要专门学科的专业医师能够完结对医学影像图画的数据标示。明显,在这种状况下有必要依托大规划练习集才干运用的办法或模型都不再适用。为了削减对已标示数据的依托,研讨人员提出了自动学习(Active Learning)办法。自动学习通过某种战略找到未进行类别标示的样本数据中最有价值的数据,交由专家进行人工标示后,将标示数据及其类别标签归入到练习会集迭代优化分类模型,改善模型的处理作用。

            依据最有价值样本数据的获取办法区别,当时自动学习办法首要包含依据池的查询获取办法(query-acquiring/pool-based)和查询组成办法(query-synthesizing)两种。近年来提出的自动学习首要都是查询获取办法,即通过规划查询战略(抽样规矩)来挑选最具有价值信息的样本数据。与查询获取办法「挑选(select)」样本的处理办法不同,查询组成办法「生成(generate)」样本。查询组成办法运用生成模型,例如生成式对立网络(GAN, Generative Adversarial Networks)等,直接生成样本数据用于模型练习。

            咱们从 2019 年机器学习会议中选出三篇关于自动学习办法的文章进行针对性的剖析,这三篇文章为:

            其间,前两篇提出依据池的查询获取办法:《Learning loss for active learning》通过添加丢失函数规划一种使命不可知的自动学习办法,《Variational Adversarial Active Learning》规划了一种运用 VAE 和对立网络来学习潜在空间中已标示数据散布状况的查询战略。第三篇 ICML 的文章《Bayesian Generative Active Deep Learning》介绍了一种运用对立性网络的查询组成办法。

            1. Learning Loss for Active Learning(CVPR 2019)

            原文地址:https://arxiv.org/abs/1905.03677?context=cs.CV

            自动学习的一个研讨热门为抽样战略(原则)的规划,即通过改善样本不确认性衡量办法、引进委员会投票形式、选用希望差错以及考虑多样性原则等办法,规划自动学习的抽样战略(原则)。但是,因为不同的机器学习使命不同,运用的数据特征不平等问题,抽样战略(原则)一般是针对方针使命进行规划,不具备普适性,例如在某一类机器学习使命中作用好的模型(例如文本剖析),直接运用在其它使命中作用很差(例如图画分类)。

            来自韩国 KAIST 的两位学者提出了一种新的自动学习办法:学习丢失函数的自动学习模型(Learning Loss for Active Learning)。本文的思路首要来源于深度学习,即不论使命是什么、使命量有多大以及使命的体系结构有多么杂乱,学习意图便是最小化丢失函数而与详细使命无关。本文提出的自动学习办法引进一个「丢失猜测模块」,通过学习丢失猜测模块来估量未标示数据的丢失值。不管方针使命是什么,模型都履行相同的丢失函数优化,因而丢失猜测模块是使命不可知的,该办法能够运用于任何运用深度网络的机器学习。

            本文奉献包含:

            算法剖析

            本文提出的学习丢失函数的自动学习模型首要由两部分组成:方针模块和丢失猜测模块。其间方针模块的函数为:

            x 标明输入样本数据。丢失猜测模块的猜测函数为:

            h 标明从方针模块的多个躲藏层中提取的样本数据 x 的特搜集。初始化已标示数据集后,通过学习得到初始化方针函数和丢失猜测函数。在自动学习进程中,运用丢失猜测模块对未标示池中的一切数据进行评价,得到数据丢失对。之后人工标示 K 个丢失最大的数据(Top-K),更新已标示数据集,重复循环,直到到达满足的功能。图 1 给出本文算法的处理进程。其间图 1(a)标明运用方针模块依据输入数据生成方针猜测值,运用丢失猜测模块依据方针模块的躲藏层生成丢失猜测值。图 1(b)标明运用丢失猜测模块评价未标示数据会集的数据,找到 Top-K 猜测丢失值的数据,完结专家人工标示后将这些数据及类别信息添加到已标示的练习会集。

            图1:带有一个丢失猜测模块的自动学习新办法。

            丢失猜测模块是本文算法的中心,其方针是章鱼彩票老版本-2019年自动学习有哪些发展?答案在这三篇论文里最大极限地下降自动学习进程中针对不确认性的学习本钱。丢失猜测模块的特色为(1)比方针模块小得多(2)与方针模块一起学习,无需添加额定学习进程。丢失猜测模块的输入为方针模块的中间层提取的多层特征映射,这些多重衔接的特征值使得损耗猜测模块能够有用运用层间的有用信息进行丢失猜测。

            首要,通过一个大局均匀池(global average pooling, GAP)层和一个全衔接层(full connected layer,FC),将每个输入特征映射简化为一个固定维度的特征向量。然后,衔接一切特征并输入另一个全衔接层,发生一个标量值作为猜测丢失。丢失猜测模块的结构见图 2。丢失猜测模块与方针模块的多个层次相衔接,将多级特征融兼并映射到一个标量值作为丢失猜测。

            图2:丢失猜测模块的架构

            终究,评论丢失猜测模块的核算办法。丢失猜测模块的核算公式如下:

            第一部分为方针模块的方针示释值与猜测值之间的丢失值,第二部分为丢失猜测模块核算得到的丢失值。给定输入,方针模型输出方针猜测,丢失猜测模块输出猜测丢失。方针猜测和方针示释用于核算方针丢失,然后完结方针模型的学习。此外,方针丢失还将作为丢失猜测模块的真值丢失,用于核算猜测丢失。详细核算进程见图 3。

            图3:学习丢失的办法

            本文没有直接运用均方差错(the mean square error,MSE) 界说丢失函数,而是进行样本数据对的比较。给定巨细为 B 的小批量数据集,能够生成 B/2 个数据对,例如

            下标 P 标明一个数据对,B 应该是一个偶数。然后,通过考虑一对丢失猜测之间的差异来学习丢失猜测模块:

            给定小批量 B,一起学习方针模块和丢失猜测模块的丢失函数为:

            试验成果

            为了验证该办法的使命普适性,本文挑选了三个方针使命进行试验,包含图画分类(分类使命),方针检测(分类和回归的混合使命),人体姿势估量(典型回归问题)。

            图画分类

            试验成果见图 4。

            • 数据库:本文挑选 CIFAR-10 数据库,运用其间 50000 张图片作为练习集、10000 张图片作为测验集。因为练习集数据量十分大,本文在每个自动学习循环阶段挑选一个随机子集(巨细为 10000),从中选取 K 最不确认样本。
            • 方针模块:ResNet-18。
            • 丢失猜测模块:ResNet-18 由 4 个基本块组成 {convi_1; convi_2 j| i=2; 3; 4; 5},每个模块有两层。将丢失猜测模块衔接到每个基本块,运用块中的 4 个特性来估量丢失。
            • 试验比照算法:随机抽样(random sampling),依据熵的采样(entropy-based sampling),芯组采样(core-set sampling)。

            图4:CIFAR-10上的自动学习图画分类成果

            图 4 中每个点均为运用不同的初始符号数据集进行 5 次试验的均匀值。由试验成果可知,本文提出的算法在 CIFAR-10 库中的作用最好。

            方针检测

            试验成果见图 5。

            • 数据库:本文挑选 PASCAL VOC 2007+2010 数据库。因为练习集数据量不大,试验不需挑选随机子集抽取 K 最不确认样本。
            • 方针模块:Single Shot Multibox Detector (SSD)。
            • 丢失猜测模块:SSD 从 6 级特征映射中提取鸿沟框及其类 {convi | i=4_3; 7; 8_2; 9_2; 10_2; 11_2}。将丢失猜测模块衔接到每个基本块,运用块中的 6 个特性来估量丢失。
            • 试验比照算法:随机抽样(random sampling),依据熵的采样(entropy-based sampling),芯组采样(core-set sampling)。

            图5:在PASCAL VOC 2007+2012上的自动学习方针检测成果

            图 5 中每个点均为运用不同的初始标示数据集进行 3 次试验的均匀值。由试验成果可知,本文提出的算法在 PASCAL VOC 库中的作用最好。

            人体姿势估量

            试验成果见图 6。

            • 数据库:本文挑选 MPII 数据库。因为练习集数据量十分大,本文在每个自动学习循环阶段挑选一个随机子集(巨细为 5000),从中选取 K 最不确认样本。
            • 方针模块:Stacked Hourglass Networks。
            • 丢失猜测模块:Stacked Hourglass Networks 的特征图为 (H,W,C)=(64,64,256)。本文运用两个特征图,将丢失猜测模块衔接到每个图中,运用 2 个特性来估量丢失。
            • 试验比照算法:随机抽样(random sampling),依据熵的采样(entropy-based sampling),芯组采样(core-set sampling)。

            图6:在MPII上人体姿势估量的自动学习成果

            图 6 中每个点均为运用不同的初始标示数据集进行 3 次试验的均匀值。由试验成果可知,本文提出的算法在 MPII 库中的作用最好。

            图 7 为本文提出的算法在不同数据库中丢失猜测的准确度。关于一对数据点,假如猜测成果为真,咱们给出 1 分,不然给出 0 分。由图 7 可知,运用本文的猜测函数作用优于 MSE。本文提出的丢失猜测模块猜测的回章鱼彩票老版本-2019年自动学习有哪些发展?答案在这三篇论文里归丢失在不同使命中的准确度别离约为 90%、70%、75%。

            图8:丢失猜测模块的丢失猜测准确率

            总结与剖析

            本文提出了一种新的自动学习办法,适用于当时各类深度学习网络。本文通过三个首要的视觉辨认使命和盛行的网络结构验证了办法的有用性。虽然试验成果证明了该办法有用,但在该办法在抽样战略中并没有考虑数据的多样性或密度等特征。此外,在方针检测和姿势估量等杂乱使命中,丢失猜测准确度相对较低(如图 8 剖析),这些都将是后期的研讨要点。

            2、Variational Adversarial Active Learning (ICCV 2019,oral)

            原文地址:https://arx李氏朝鲜iv.org/pdf/1904.00370

            本文提出了一种运用变分自动编码器(VAE)和对立网络来学习已标示数据在潜在空间中散布状况的自动学习模型(Variational adversarial active learning,VAAL)。在 VAE 和对立网络之间进行的极大极小博弈进程中,练习 VAE 诈骗对立网络将一切数据都猜测为已标示数据;练习对立网络区别潜在空间中不同类型数据的散布状况,然后区别已标示数据和未标示数据。VAAL 的全体结构见图 1。

            图1:该模型运用VAE算法学习了符号数据在潜在空间中的散布,该算法选用了重建和对立丢失两种优化办法

            算法剖析

            首要,本文运用 VAE 学习潜在空间中已标示数据和未标示数据的标明,其间编码器运用高斯先验函数学习底层散布的低维空间,解码器重建数据。VAE 的方针函数为最小化给定样本边沿似然概率的变分下界:

            其间 p 和 q 别离标明编码器和解码器,p(z) 为高斯先验常识。由 VAE 学习的潜在空间标明是已标示数据和未标示数据相关的潜在特征的混合。

            第二步,本文的抽样战略为练习一个对立性网络,以学习怎么区别躲藏空间中不同类别数据的编码特征。练习对立网络,将潜在标明映射为二进制标签:假如样本数据为已标示,则为 1,不然为 0。

            在上一步处理中,VAE 将已标示和未标示的数据映射到具有类似概率散布的同一潜在空间,它捉弄鉴别器将一切输入均界说为已标示的数据。另一方面,鉴别器则企图有用地估量该数据归于未标示数据的概率。关于 VAE 的对立人物方针函数表述为:

            其间 L_bce 为简略的二元穿插熵本钱函数。由上面的剖析,VAAL 中 VAE 的完好方针函数如下:

            因为参加数据标示的人员专业性水平不同,专家标示(Oracle)的成果并不彻底牢靠。本文假定存在两种类型的 Oracle:一种是抱负的 Oracle,它总是能够供给正确的标签;另一种是有噪声的 Oracle,它非自愿地为某些特定的类供给过错的标签。为了愈加实在地评价有噪声 Oracle 状况下 VAAL 的作用,本文添加方针噪声,运用与鉴别器猜测相关的概率作为一个打分项,搜集每批样本中置信度最低的 B 个样本发送给 Oracle。

            试验成果

            本文试验条件为:初始练习会集已标示和未标示数据的份额为 10%、90%。从未标示数据会集挑选需求由 Oracle 标示的样本,标示结束后将这些数据添加到初始练习会集,并在新的练习会集重复练习。

            试验通过准确度和均匀 IoU 来评价 VAAL 在图画分类和切割中的功能,当有 Oracle 供给的标签可用时,别离以练习集的 10%、15%、20%、25%、30%、35%、40% 的份额进行练习。除 ImageNet 外,终究成果均为 5 次试验成果的均匀值。ImageNet 中的成果则为运用 10%、15%、20%、25%、30% 的练习数据 2 次试验成果的均匀值。

            图画分类

            试验成果见图 2。

            • 数据库:CIFAR10、CIFAR100、Caltech-256、ImageNet。
            • 比照算法:random sampling、Core-set、Monte-Carlo Dropout、Ensembles using Variation Ratios、Deep Bayesian AL(DBAL)。

            在 CIFAR-10 上,VAAL 运用 40% 的样本数据到达了 80.9% 的均匀准确度,而运用整个样本数据集得到的准确度为 90.16%。在 CIFAR-100 上,VAAL 与 Ensembles w. VarR 和 Core-set 都取得较好作用,而且优于一切其他基线。在具有类别实在图画的 Caltech-256 上,VAAL 一直优于其它算法,超越 Core-set 1.01%。在大规划数据集 ImageNet 中的试验成果证明了 VAAL 的可扩展性。由图 2 试验可知,VAAL 在图画分类试验中准确度最高,在取得相同准确度的状况下 VAAL 所需的样本数量最少。

            图画切割

            试验成果见图 3。

            • 数据库:BDD100K、Cityscapes。
            • 比照算法:random sampling、Core-set、Monte-Carlo Dropout、 Query-By-Committee (QBC)、suggestive annotation (SA)。

            图3:与QBC、Core-set、MC-Dropout和Random Sampling比较,运用Cityscapes和BDD100K的VAAL在切割使命上的功能更好

            在已标示数据比率不同的状况下,VAAL 在 Cityscapes 和 BDD100K 两个数据库中都能取得最高的均匀 IoU。VAAL 仅运用 40% 的标示数据就能够完结 57.2 和 42.3 的%mIoU。当运用 100% 标示数据的状况下,VAAL 在 Cityscapes 和 BDD100K 两个数据库中能够到达 62.95 和 44.95 的%mIoU。

            进一步,本文在 BDD100K 库中进行试验,以验证本文办法中所选用的 VAE 和鉴别器的有用性。试验考虑三种状况:1)撤销 VAE;2)给定一个鉴别器,固定 VAE;3)撤销鉴别器。试验成果见图 4。

            图4:剖析VAE和鉴别器作用的控制变量成果。

            试验成果标明,因为鉴别器只用于存储数据,仅选用鉴别器的模型处理作用最差。VAE 除了能够学习潜在空间,还能够运用鉴别器进行最小-最大博弈,然后防止过度拟合。而 VAAL 能够有用学习 VAE 和鉴别器之间对立性博弈的不确认性,试验作用最优。

            终究,本文给出了 CIFAR100 库中初始标示偏移状况(bias)、预期规划(budget)、噪声 oralce 对 VAAL 的影响,试验成果见图 5,试验证明了 VAAL 对不同参数的鲁棒性。

            图5:运用CIFAR100剖析VAAL对噪声标签、预算巨细和有偏初始标签池的鲁棒性。

            总结与剖析

            VAAL 的要害是以一种对立性的办法一起学习 VAE 和对立性网络,然后找到最有价值的抽样战略(原则)。本文依据各种图画分类和语义切割基准数据集对 VAAL 进行了广泛评价,VAAL 在 CIFAR10/100、CALTECH-256、IMAGENET、CITYSCAPE 和 BDD100K 上均取得了较好的作用。试验成果标明,本文的对立性办法在大规划数据会集能够学习有用的低维潜在空间,并供给核算有用的抽样战略。

            3、Bayesian Generative Active Deep Learning(ICML 2019)

            原文地址:https://arxiv.org/pdf/1904.11643.pdf

            本文提出了一种新的贝叶斯生成式自动深度学习模型,该模型的方针是用生成的样本扩大已标示数据集,而这些生成样本对练习进程具有必定的参阅价值。本文运用贝叶斯不一致自动学习(Bayesian active learning by disagreement,BALD)从未标示数据会集抽样,样本进行专家标示后运用对立性模型 VAE-ACGAN((variational autoencoder,VAE)-(auxiliary-classifier generative adversarial networks,ACGAN))处理,生成与输入样本具有类似信息的新人工样本。将新样本添加到已标示数据会集,供模型迭代练习运用。

            本文的研讨首要遭到最近提出的一种生成性对立性自动学习办法(Generative adversarial active learning,GAAL)(Zhu and Bento, 2017 (https://arxiv.org/abs/1702.07956v5)) 启示,不同于传统的依据抽样战略挑选信息量最大样本的自动学习办法,GAAL 依托一个优化问题生成新样本(这种优化平衡了样本信息性和图画生成质量)。本文提出的贝叶斯生成式自动深度学习模型运用传统的依据池的自动学习办法挑选样本,之后运用生成性对立模型生成样本。传统的依据池办法、GAAL 和本文模型的比照图示见图 1。

            图1:(依据池)的自动学习的比照

            算法剖析

            与 GAAL 不同,本文办法首要运用依据池的办法(BALD)挑选出信息量最大的样本,详细公式为:

            其间 a(x ;M) 为抽样战略函数,运用香农熵表征猜测值和散布状况。样本 x 被符号为 y 后进入样本库用于后续练习。详细抽样函数运用 Monte Carlo (MC) dropout 办法:

            f 标明在 t 次迭代时从后验估量中取样的网络函数。

            在建立生成模型自动生成样本数据的进程中,本文没有像 GAAL 相同直接运用 GAN,而是学习了数据添加(data augmentation)的理念,选用了贝叶斯数据添加(Bayesian Data Augmentation,BDA)模型。BDA 模型包含一个生成器(用于从潜在空间中生成新的练习样本)、鉴别器(区别实在和虚伪样本)和分类器(确认样本类别)。首要,给定一个潜在变量 u 和类别标签 y,用函数 g 标明生成函数,将 (u,y) 映射为点 x=g(u,y),之后已标示的数据 x 以(x,y)格局加入到练习会集。本文对 BDA 进行改善,在样本生成阶段不运用潜在变量 u 和类别标签 y,而是运用样本 x 和类别标签 y,即样本 x 直接推送到 VAE 中:

            VAE 的练习进程通过最小化重建丢失完结。此外,本文证明了从信息量最大的样本中生成的样本相同具有信息量。

            本文的首要奉献是通过结合 BALD 和 BDA,有用生成对练习进程有参阅含义的新的符号样本。本文模型的结构见图 2。

            图2:本文所提出模型的网络架构

            由图 2 可知,本文提出的模型由四部分组成:分类器、编码器、解码器/生成器、鉴别器。其间分类器可运用干流的各种深度卷积神经网络分类器,这使得该模型具有很好的灵活性,能够有用运用各种优异分类器。生成器部分本文运用的是 ACGAN 和 VAE-GAN。将 VAE 的重建差错引进 GAN 的丢失函数中构成 VAE-ACGAN 的丢失函数,完结对 GAN 练习进程中的不现实性和形式溃散进行赏罚。VAE-ACGAN 的丢失函数为:

            其间 VAE 丢失标明为重建丢失 Lrec 和正则化先验 Lprior 的组合:

            ACGAN 丢失函数则为:

            试验成果

            本文依据 Top-1 精度丈量的分类功能评价贝叶斯生成式自动深层学习模型的作用。

            • 试验比照的办法包含:贝叶斯生成式自动深层学习模型(AL w. VAEACGAN)、运用 BDA 的自动学习模型(AL w. ACGAN)、未运用数据添加处理的 BALD(AL without DA)、未运用自动学习办法的 BDA(BDA)以及随机生成样本的办法。
            • 试验数据库:MNIST、CIFAR-10、CIFAR-100、SVHN。
            • 试验中运用的分类器:ResNet18、ResNet18pa。

            图3:练习和分类功能

            图 3 给出了在收集初始练习集迭代次数、样本百分比不同的状况下各个模型的试验成果。图 3 中曲线的每个点标明一次收集迭代的成果,其间每个新点标明练习集的添加百分比。运用完好练习集和 10 倍数据扩大建模的 BDA 的试验成果作为一切其他办法的上限(BDA(full training))。本文提出的模型(AL w. VAEACGAN)作用优于运用 BDA 的自动学习模型(AL w. ACGAN)。这说明虽然 AL w. ACGAN 运用样本信息练习,但生成的样本或许不具有信息性,因而是无效样本。虽然如此,AL w. ACGAN 生成的样本分类功能依然优于未运用数据添加处理的自动学习办法(AL without DA)。

            此外,图 3 的试验还标明,本文提出的模型在仅依托部分练习集数据的状况下,能够取得与依托 10 倍练习集巨细数据量的数据增强办法适当的分类功能。这标明,本文模型仅需求耗费较少的人力和核算资源来符号数据集和练习模型。

            进一步,本文在不同随机初始化的状况下完结三次试验,给出终究的分类成果见表 1。表 1 的数据标明,本文提出的模型作用优于其他办法。

            表1:通过3次运转,迭代150次后在MNIST、CIFAR-10和CIFAR-100上分类准确率的均匀标准差

            图 4 给出在不同数据库中运用本文提出的模型生成的图画。本文模型的首要方针是改善练习进程以取得更好的分类作用,但是由图 4 成果可知,模型的生成数据具有十分高的图画质量。

            图4:本文提出的AL w. VAE-ACGAN办法生成的各类图画。

            总结与剖析

            本文是受 (Zhu and Bento, 2017 ) 启示提出的查询组成类(生成样本)自动学习模型,因为 (Zhu and Bento, 2017 ) 文章中仅探讨了二进制分类问题,本文未与其进行试验比照。本文提出的办法是模型不可知的(model-agnostic),因而它能够与现在提出的几种自动学习办法相结合。现有模型的样本生成办法是:以从未标示数据会集挑选出的具有较高信息量的样本为根底来生成样本,后续研讨将侧重考虑怎么运用杂乱的收集函数直接从未标示数据会集生成样本,而不再需求样本挑选的过程。此外,模型的核算功能还需进一步提高。

            作者介绍:仵冀颖,工学博士,结业于北京交通大学,曾别离于香港中文大学和香港科技大学担任助理研讨员和研讨助理,现从事电子政务范畴信息化新技术研讨工作。首要研讨方向为形式辨认、核算机视觉,喜好科研,希望能坚持学习、不断进步。

            本文为机器之心原创,转载请联络本大众号取得授权。

            请关注微信公众号
            微信二维码
            不容错过
            Powered By Z-BlogPHP