Mr_逍遥游-CSDN博客

原创随机采样：Firefly Monte Carlo（一）

Firefly Monte Carlo是一种用于贝叶斯推断的MCMC算法，它通过引入辅助变量来减少每次迭代中需要评估的数据量，同时保持从完整数据的后验分布中采样的准确性。“暗”数据点：在给定的迭代中，那些zn0z_n = 0zn0的数据点被称为“暗”数据点。在模拟马尔可夫链时，不需要计算这些“暗”数据点的似然性。“点亮”数据点：在znz_nzn的马尔可夫转换空间中，一些“暗”数据点在转换过程中会变成“亮”的，即它们的zn1z_n = 1zn1。

2024-05-12 11:37:12 1137

原创随机采样：Metropolis-Hastings 算法

Metropolis-Hastings算法是一种用于生成马尔可夫链的随机算法，它能够从难以直接抽样的概率分布中生成样本。该算法由Nicholas Metropolis首次提出，并由W. K. Hastings进一步发展，因此得名。

2024-05-08 10:02:29 1341

原创随机采样：Metropolis 算法

Metropolis 算法是一种基于随机抽样的算法，用于近似计算物理系统在热平衡状态下的性质。它通过构建一个马尔可夫链（Markov Chain），使得链的平稳分布与我们想要采样的分布相同。

2024-05-08 09:49:57 6233

原创随机采样：MCMC方法

首先，定义一个马尔可夫链 ( X = {X_0, X_1, X_2, …} )，其中每个状态 ( X_t ) 表示随机变量 ( x ) 在时间 ( t ) 的状态。MCMC是一种强大的统计学习计算方法，它通过模拟马尔可夫链的随机游走来从复杂的概率分布中抽取样本。

2024-05-08 09:43:22 1165

原创随机采样：马尔科夫过程

想象一下，你有一个有限的选项集合，每个选项都对应一个可能的状态。马尔科夫链就是一种描述系统状态如何从一个时间点变化到下一个时间点的模型。特别地，系统在特定时间的状态只依赖于前一时间点的状态，而不受之前所有历史的影响。

2024-04-30 20:22:24 522

原创强化学习，学习和思考：序言

强化学习是机器学习的一个分支，它主要关注如何在环境中采取行动以最大化某种累积奖励。核心思想是智能体通过与环境的交互来学习如何做出决策。智能体：能够观察环境状态并根据这些状态做出决策的实体。环境：智能体所处并与之交互的外部世界，可以是实际的物理世界或虚拟的模拟环境。状态：环境在某一时刻的描述，包括智能体的位置、速度、以及其他相关的信息。动作：智能体在某一状态下可以执行的行为。奖励：智能体在执行某个动作后从环境中获得的反馈信号，通常是数值型，用来评价动作的好坏。策略。

2024-04-29 10:41:33 429