[国际彩票开户]PNAS :蒙特卡洛采样是否比优化算法快? 什么?

分类:九万彩票投注浏览量:2461发布于:2个月前

原题: PNAS :基于蒙特卡洛采样的算法比基于优化的算法快吗? 什么?

现代大规模数据分析和机器学习应用严重依赖于计算效率高的算法。 其中有两种主要算法:基于优化的算法和基于蒙特卡罗采样的算法。 一般而言,采样必然慢于优化,且仅在需要估计不确定性时才需要采样。 据PNAS发表的研究论文《samplingcanbefasterthanoptimization》报道,一般的看法通常不正确。 由于存在自然系统的非凸问题,针对这些问题,采样算法的计算复杂度与模型维度呈线性比例关系,优化算法的计算复杂度与模型维度呈对数比例增长关系。

论文研究了混合建模和多稳定系统中出现的非凸目标函数。 这些算法基于来自数学优化和马尔可夫蒙特卡罗模型( MCMC )采样的公共计算策略。 以前,这些算法的研究往往是分别进行的,优化的研究着眼于估计和预测问题,采样的研究着眼于不确定性的估计,例如形成可靠的区间,进行假设验证。 近年来,两种方法的使用趋势不断发展,着重于梯度和随机梯度的使用,而不是函数值和高阶导数。 这证明了事实确实有效,因为单算法步骤的计算复杂性与总收敛速度之间存在有效折衷。

使用来自优化理论的工具建立MCMC样本的收敛速率以减慢样本速率(包括非渐近维相关性),这与一般认为是一致的。 但是,这些结果是通过凸函数得到的。

论文的重点是研究非凸函数,发现了在边界区域外是强凸的,但在其内部是非凸的问题。 对于这些问题,采样比优化更有效。

算法MALA (基于梯度的MCMC算法)

算法2:GD (基于梯度的优化算法)

优化算法和蒙特卡罗采样算法为近年来统计机械学习应用的快速发展提供了计算基础,但理论上这两种方法之间关系的解释有限,相对优势和劣势的解释也有限。 此外,传统的研究成果主要集中在对数凸函数(优化)和对数凹函数(采样)的设置上。 在这种情况下,局部属性确定全局属性,优化算法无疑比采样算法有效。 机器学习和数据科学结合计算机科学和统计学来解决推论问题,这些问题的规模和复杂性需要现代化的计算机基础设备。

(编辑: 28日的恶作剧包)回到搜狐,让我们更详细地看看

责任编辑:

文章下方广告位
 上一篇 下一篇 

我来回答

猜你喜欢

最近更新

关注我们

qrcode

扫一扫二维码关注我们的微信公众号

站点地图通博彩票 凤彩网 人人发彩票 红彩会 多福彩票是不是黑 85彩票 rjdd.netfuyoudl.comchunshanyuan.com0598xy.comdlywxx.comwoaimeizi.comnimaboke.comlw-sh.comwmvvg.82bccaipiao.cnucenter.stayule.cnwebservices.cmcccai.cntrash.2019jingcaipiao.cnrap.zt2cai.cn