GeoXMind

高斯过程用函数分布表达预测与不确定性

说明协方差函数、后验预测、边际似然与稀疏近似，并区分预测方差、观测噪声和模型失配。

高斯过程用函数分布表达预测与不确定性

高斯过程不是先选定一组固定参数再拟合，而是直接在函数空间上定义概率分布。给定任意有限输入集合，对应函数值服从联合高斯分布；观测到数据后，条件分布给出新位置的预测均值和预测方差。均值说明模型倾向的函数形状，协方差函数则规定输入之间如何共享信息。

这种方法适合样本量有限、需要平滑插值并重视不确定性的回归和分类任务。其结果依赖核函数、噪声模型和超参数估计。预测区间看起来完整，并不表示现实中的模型偏差、分布变化和测量错误都被覆盖。

协方差函数编码函数的相似性

高斯过程通常由均值函数和协方差函数组成。均值常设为零或低阶趋势，协方差函数描述两个输入处函数值共同变化的程度。平方指数核产生非常平滑的函数；Matérn 核可通过平滑度参数表达较粗糙过程；周期核适合稳定重复结构；线性核表达随输入共同变化的趋势。

核可以相加或相乘，组合出长期趋势、季节变化和局部扰动，但每个组成部分都应有任务含义。任意堆叠核项会增加参数不可辨识和过拟合风险。长度尺度过长会抹平局部变化，过短则把噪声当作信号；不同特征量纲差异很大时，应先按训练数据做尺度处理。

Rasmussen 与 Williams 的《Gaussian Processes for Machine Learning》系统描述了协方差函数、回归、分类和近似推断：https://gaussianprocess.org/gpml/ 。核表达的是先验相关结构，不是由数据自动发现的因果关系。

回归后验同时给出均值和方差

高斯过程回归把观测写成潜在函数值与噪声之和。在高斯噪声假设下，训练点和预测点的联合分布可以直接条件化，得到闭式预测。预测均值是观测值按协方差结构形成的加权组合；预测方差会在靠近高质量观测处收缩，在远离观测或核相关性弱的区域增大。

噪声方差与函数变化尺度必须区分。若把测量误差设得过小，模型会追随每个观测点；设得过大则会忽略真实局部结构。重复观测、仪器精度和残差诊断可以帮助估计噪声，但异方差、重尾误差或异常点需要更合适的似然模型。

预测潜在函数的不确定性与预测新观测的不确定性不同，后者还包含观测噪声。报告区间时应明确对象，并用留出数据检查覆盖率。只展示均值曲线会丢掉高斯过程最有价值的信息，只展示宽区间又可能掩盖核假设错误。

边际似然平衡拟合和复杂度

核参数常通过最大化对数边际似然估计。该目标一部分奖励解释观测，另一部分惩罚过于灵活的函数空间，并包含协方差矩阵的复杂度项。优化仍可能落入局部最优，参数之间也可能相互补偿，因此需要合理初始化、多个起点和边界约束。

模型比较不能只看训练边际似然。应结合交叉验证预测误差、区间覆盖、残差结构和领域可解释性。时间序列和空间数据存在相关性时，验证切分要按未来时段或未见区域进行，否则邻近观测会让评价过于乐观。

非高斯似然下的分类、计数和生存问题通常没有闭式后验，需要拉普拉斯近似、变分推断或采样。近似方法会引入额外误差，输出概率需要单独校准，不能因模型采用贝叶斯表述就默认可信。

计算规模决定近似方式

精确高斯过程需要分解样本数平方规模的协方差矩阵，时间通常按样本数立方增长，内存按平方增长。数值实现要加入适当抖动项、使用稳定分解并监控条件数。输入重复、长度尺度极端或噪声接近零时，矩阵可能接近奇异。

大样本可采用诱导点、稀疏变分方法、局部高斯过程、结构化核或迭代线性代数。诱导点数量和位置决定速度与精度，不应只按内存上限选择。分区局部模型会改善扩展性，却可能在分区边界产生不连续或低估跨区相关。

部署时应保存训练输入摘要、核定义、参数、归一化规则和数值精度。新增数据后，后验和不确定性都会改变；监控需关注预测误差、区间覆盖、长度尺度漂移和远离训练域的输入。AIMA 对概率推断和学习的整体讨论可作为方法定位参考：https://aima.cs.berkeley.edu/ 。高斯过程适合把“相近输入应产生怎样的共同变化”写进模型，并用可检验的概率预测暴露这一假设。

若模型用于主动采样或贝叶斯优化，采集函数会在高预测值与高不确定性之间权衡。这个权衡依赖后验可信度和可行域定义；传感器不可达、实验成本不均或安全限制都要显式加入约束。否则算法可能反复选择数学上有信息、现实中却无法执行或风险过高的位置。

资料依据