【科讯】百度研究院亮相NeurIPS 2020 展现机器学习行业技术亮眼突破

本篇文章1887字，读完约5分钟

最近，NeuRIPS ( Neuralinformation Processing Systemsannual Meeting )闭幕，作为人工智能和机器学习行业的国际顶级会议，NEU RIPS促进了关于神经新闻解决系统的研究交流 在这次大会上，百度研究院参加，发表了多篇优质论文。 论文聚焦于大规模稀疏学习的加速求解、新发现种数预测、随机非凸优化、高维数据判别分解等问题，分别提出创新算法和理论，突破了传统算法实用中泛化效果差、优化效率低等限制，自然生态

(百度研究院的多篇论文入选neurips )

首先，论文“thunder:afastcoordinateselectionsolverforsparselearning”对大规模稀疏学习提出了新的方法。 大规模稀疏学习是机器学习中的重要方式之一，但大规模稀疏学习的有效训练是非常困难的问题。 利用凸目标函数和模型的稀疏性，为了加速大规模稀疏性学习问题的解决，提出了很多优化方法，但在模型的稀疏性比较低或求解精度高的情况下，很多优化高速化方法无效，本文对此进行了更新

该方法尽量不进行冗余特征下的计算，保证算法选择特征的安全性。 目前在一系列大数据集上的实验结果表明了方法的比较有效性。 如下图所示，finance数据集比现有最佳做法更有效地优化了百度提出的新方法。

其次，论文“optimalpredictionofthenumberofunseenspecieswithmultiplicity”整理了自然生态学中新发现的种类的预测。 论文首先提出了将更一般化的版本，即新样本中出现的未知因素按数量分类，实现更准确细致的稳定预测。 进而通过新闻论下界的结构，说明了提出的算法，实现了最佳的时间和样本的多与复杂。 这一新理论完善了迄今为止70年的许多研究成果，在未知参数行业实现了非平凡的展开，对自然生态学行业具有重要的现实意义。 这项事业被机器学习旗舰会议neurips接受，被选定为spotlight报告书。

论文“towardsbettergeneralizationofadaptivegradientmethods”为统计学习理论中重要问题的随机非凸优化提供了新的方案。 为了优化现在流行的动态梯度下降算法的泛化效果，百度提出了稳定的动态梯度下降算法，将差分隐私和梯度下降结合起来，巧妙地利用防止差分隐私过度拟合这一特征来提高算法的泛化性能 说明了该算法可以减小泛化误差，而且具有一定的优势，给随机非凸化问题带来创新的处理方案。

最后，“ratiotraceformulationofwassersteindiscriminantanalysis”一文与高维数据的判别分析相比给出了新的算法。 百度研究了维数约简( dr )技术wasserstein判别分解，提出了以较少的计算价格进行比较或取得更好结果的公式。 然后，从电子结构计算的角度进行分解，将该判别分解技术转换为比值跟踪问题，提出基于特征解算器的判别分解技术判别子空间计算算法，根据比值跟踪式的封闭形式的解，标准化的最佳输送问题得到处理后，通过广义的特征值分解得到 百度这个算法平均收敛时间更短，对初始化参数的敏感性也更低。 通过在实际数据集上的数值实验表明该算法在分类和聚类任务中都有很好的应用前景。

据说这次入选neurips的多篇高质量论文来自百度研究院西雅图研究院和百度识别计算实验室。 上述实验室研究者一直是nips/neurips会议的常客，每年有6篇论文被选为neurips，获得过nips的最佳论文奖。 年，在更具难度和深度的顶级机器学习算法和理论会议colt ( conferenceonlearningtheory )上发表了两篇百度统一单位的论文，论文比较了稀疏约束优化问题，可以显着降低计算的多少和复杂度 另外，有趣的是，在年度深度学习顶会iclr中，实验室研究者的理论论文处理了深度神经网络的基础问题，也是当年iclr的最高得分论文之一。

上述研究成果与百度研究院的快速发展布局密切相关。 今年8月，百度研究院宣布了架构的新升级，增加了生物计算实验室和安全实验室。 至此，百度研究院已经囊括了从基础技术到感知、识别技术的ai全行业研究，汇聚了数十位ai行业世界级专家，共同推进百度研究院ai基础研究和前瞻性发现的内在，加快ai技术落地。

现在，百度研究院结合自己的ai特征，升级新框架，深入开展行业间合作，得到的基础研究创新在可见的将来，百度研究院将推动百度ai技术创新的迅速发展，在国际人工智能行业的影响很大，AA