qq_37353305-CSDN博客

原创似然估计和 M-估计的相合性

On Wald's Consistency简介Preliminariesstrong consistency 的一个等价条件several ways to strong consistencySLLNBorel-Cantelli LemmaLyapunov's CLTWald's Consistency of the Maximum Likelihood EstimatorNotationsMain Theorems简介我们一起来回顾 Wald 1949 年发表在 Ann. Math. Statist.

2022-02-07 02:45:08 765

原创用Python实现K近邻和朴素贝叶斯对文本数据分类

K-Nearest Neighbors Algorithm with Python and An application to text data简介简介KNN 是最常见，最简单的非参数机器学习的方法，特点就是简单好用，对 data generating process (DGP) 没有任何假设。但是一般来说，knn 不会有太好的效果，除非数据是 well separated。...

2022-02-01 08:44:36 2047 2

原创 LogisticRegressionCV作图

LogisticRegressionCV Plot简介数据代码简介主要是关于 logistic regression with lasso (L1L_1L1 penalty) 在 python 中的作图。做 logistic 回归，我们这里用到 sckit-learn 中两个函数，一个是 LogisticRegression，另一个是 LogisticReressionCV。LogisticReressionCV 的不同之处在于它使用了 Cross Validation 来选择最好的惩罚项系数，并给出

2022-01-24 12:13:18 4398 2

原创 ROC曲线详解以及在R中的实现

ROC & AUC: Theory and Realization in R数据confusion matrix通俗解释数据我们有一组数据 (xi,yi)i=1P+N(x_i,y_i)_{i=1}^{P+N}(xi,yi)i=1P+N，yiy_iyi 是二元的 true label，取值 positive 或者 negative。我们还有一个已经训练好的分类器 ϕ：support⁡(x)→[0,1]\phi：\operatorname{support}(x)\rightarrow [0,

2022-01-20 09:11:54 6898

原创统计知识点 - 变量代换

Change of Random Vectors定理一个 informal 证明例子 - Polar Transformation of Gaussian介绍一个很有用的知识点——变量代换 (变量替换；change of variables):定理XXX 是定义在 (Rp,B(Rp))(\mathbb{R}^p,\mathcal{B}(\mathbb{R}^p))(Rp,B(Rp))上的随机向量，他的 cdf 是 FXF_XFX，density 是 fXf_XfX。假设存在一个变换 ggg，Y=

2022-01-14 10:45:01 1594

原创 Logistic Regression with Python

逻辑回归在Python中的实现Logistic回归的似然角度Newton-Ralphson算法预测大样本性质多分类逻辑回归真实数据研究 - Speed Dating数据集数据简介读取数据 (with python)数据可视化 (with python)分类 (with python)二分类多分类回归 (with R)参考文献Logistic回归的似然角度我们有一组I.I.D的数据 (xi,yi)i=1n(x_i,y_i)_{i=1}^n(xi,yi)i=1n，其中 yiy_iyi 是二分类的结果

2022-01-09 10:12:18 320

原创统计学习入门简介

统计学习入门简介传统的统计学习 (机器学习) 大体上有三个主要的任务：回归 (regression)分类 (classification)聚类 (clustering)一般来说，回归和分类属于监督学习 (supervised learning)，我们有训练集 (train data) 和测试集 (test data)，有标签 (label) 来指导学习。我们有一组解释变量，输入 (input) xxx，有我们希望预测的结果变量，标签 yyy，我们希望找到一个方程 fff，它能完美地拟合 xxx

2022-01-07 02:50:35 598

原创 Review of (Temporally Homogeneous) Markov Chains

文章目录Chapman-Kolmogorov EquationsChapman-Kolmogorov EquationsThe transition probabilities πk,m(,)\pi_{k,m}(,)πk,m(,) satisfy the relation:πk,n(x,A)=∫Xπk,m(x,dy)πm,n(y,A).\pi_{k,n}(x,A)=\int_{\mathcal{X}}\pi_{k,m}(x,dy)\pi_{m,n}(y,A).πk,n(x,A)=∫Xπk,m(

2021-12-04 13:37:06 988

原创 Review of Conditional Expectation and Martingale

文章目录Absolute ContinuityRadon-Nikodym TheoremConditional ExpectationThe Smaller σ\sigmaσ-field Always WinsConditional Expectation is the Projection in L2L_2L2 Space.FiltrationMartingaleEquivalent ConditionsExamples of MartingalePrevisible ProcessMartingale

2021-12-03 14:23:39 1097

原创 Review of Convergence of Random Sequences

Review of Convergence of Random SequencesDefinitions, Propositions and TheoremsCharacteristic FunctionFourier Inversion FormulaLevy-Cramer continuity theoremTheorem 1Markov InequalityLpL_pLp Convergence implies Convergence in prob.Weak Law of Large Number

2021-12-02 14:29:20 573

原创 Review of Integration and Product Measures

Review of Integration and Product MeasuresDefinitions, Propositions and TheoremsSimple FunctionProposition 1Bounded Convergence TheoremFatou's LemmaMonotone Convergence TheoremDominated Convergence TheoremBCT, Fatou, MCT and DCT are equivalentPushforward

2021-12-02 11:25:24 298

qq_37353305的博客