Home

第二周课程内容 • 《一般拓扑学》- 拓扑子空间、紧性、连通性、连续函数 • 《模糊数学》- 模糊集合关系与运算、格（回顾离散数学知识）与代数系统 • 《试验设计》- 单因子试验设计与分析、区组设计 • 《可靠性统计》- 参数估计、区间估计、置信水平、枢轴量等（复习数理统计的知识点） 《机器学习理论引导》学习 • 第8章 遗憾界 完全信息在线学习 可行域 $W\subset \mathbb{R}^d $为凸集，第 $t$ 轮选择 $w_t \in W$，损失函数 $f_t$ 凸且可微，并产生损失 $f_t(w_t)$。 $regret= \sum_{t=1}^T f_t(w_t)-\min_{w\in W}\s...

课程《拓扑学》 • 拓扑、拓扑空间、拓扑基、拓扑子空间的概念 • 数学分析四个定理回顾（极值定理、波尔查诺魏尔斯特拉斯等里、海涅定理、Contor交集定理） 《机器学习理论引导》 • 第7章 又看了一遍SGD的凸函数和强凸函数（阶段随机梯度Epoch-GD）收敛率的证明推导过程。 • 第8章 遗憾界 基本概念（遗憾regret，超额风险，在线学习） 在线学习划分为： ​ • 完全信息在线学习 (full information online learning)：可观测到完整的损失函数 ​ • 赌博机在线学习 (bandit online learning)：只能观测到损失函数在所选决策$\omega_t$上的值

《机器学习理论引导》第7章 • 基本概念（迭代优化算法，收敛率和迭代复杂度等价衡量算法性能） • 确定优化：梯度下降 1.一般凸优化问题（凸函数）-收敛率 $O(1/T)$； 2.光滑强凸函数（任意点可构造一个二次函数作为上界）-收敛率 $O(1/{\beta}^T)$ 其中$\beta$>1 . • 随机优化：随机梯度下降（相比于梯度下降，其不需要计算每一步$\nabla f(\omega)$的真实值，而是通过随机采样获得一个无偏估计值$g_t$） 1.凸函数-收敛率 $O(1/\sqrt{T})$； 2.$\lambda$强凸函数-阶段随机梯度下降-收敛率 $O(1/[{\lambda}T])$； ps. 随机优化（SGD）每次迭代只需要处理一个或少量样本数据...

• 机器学习-概率潜在语义分析、马尔可夫链蒙特卡罗法 • 泛函分析-Banach 空间（定义、线性赋范空间上的模等价、有界线性算子） • 近世代数-域（代数扩张、多项式的分裂域） • 偏微分方程-Laplace方程、数值解

• 机器学习-主成分分析、潜在语义分析 • 泛函分析-Hilbert 空间上的紧算子（Fredholm理论、谱） • 近世代数-唯一分解整环、主理想整环、欧几里得整环、域（F-向量空间、域扩张） • 偏微分方程-热方程、椭圆方程

• 机器学习-维特比算法、无监督学习（聚类方法、奇异值分解） • 泛函分析-Hilbert 空间上的算子（正交投影算子、同构与等距算子、共轭算子） • 近世代数-特征，商域，多项式环

• 近世代数-群轮、环论（基本性质、同态基本定理） • 离散数学-Enumeration计数（整数分拆、集合分拆、杨图、permutation 排列、Young tableaux、the Robinson-Schensted correspondence - 一种将 permutation 转化为标准杨表的算法）

• 机器学习-聚类方法 • 泛函分析-Hilbert空间理论（内积空间，正交性） • 离散数学-图论基础理论、偏序集 • paper（高效低秩矩阵估计）page6 Algorithm 2