工业人工智能中的回归任务

论文 ①：A Survey on Graph Neural Networks for Remaining Useful Life Prediction

Wang et al. · Mechanical Systems and Signal Processing, 2025   GNN RUL Benchmarking

该论文是首篇系统性综述 GNN 在 RUL 预测中应用的工作，涵盖 2020–2024 年间的大量文献。核心贡献在于提出了一个四阶段分类法（Taxonomy），将 GNN 适配 RUL 预测的过程拆解为：

• 边构建方法：度量法（余弦相似度、点积、皮尔逊相关、高斯核）、注意力法、先验知识法；Top-k/KNN 过滤弱连接可提升效果
• 开放挑战：缺失通道下的图建模、图的可迁移性（跨工况/跨设备）、GNN 的可解释性
• 单通道场景：通过 STFT 频域展开或统计特征提取将单传感器信号扩展为多节点图，已取得可观效果

论文 ②：A Comprehensive Overview of RUL Prediction: From Traditional Literature Review to Scientometric Analysis

Liu et al. · Machine Learning with Applications, 2025   RUL Scientometrics Hybrid Models

该论文融合了传统方法综述与基于 CiteSpace 的科学计量分析（3442 篇 WoS 文献），从全景视角梳理了 RUL 预测的三大范式：

• RUL 预测流程：数据采集 → 健康指标构建（物理 HI / 虚拟 HI）→ 健康阶段划分 → RUL 预测
• 趋势：从简单模型堆叠走向物理知识深度融合（PINN）、跨域迁移、图结构建模
• 开源工具：PyTorch、TensorFlow 为主要框架；GNN_RUL_Benchmarking 等开源库推动可复现研究

论文 ③：Virtual Metrology in Semiconductor Manufacturing: Current Status and Future Prospects

Maitra et al. · Expert Systems with Applications, 2024   Semiconductor Virtual Metrology APC

这是半导体虚拟量测（VM）领域首篇系统性综述（分析 150 篇文献），覆盖 CMP、光刻、刻蚀、CVD/PVD 四大核心工艺。VM 的本质是一个回归问题：用设备传感器变量和工艺参数预测晶圆的关键质量指标（如材料去除率 MRR、刻蚀深度、薄膜厚度等）。

算法生态：

• 神经网络（CNN、ELM）和 SVR 是最主流的 VM 预测模型，PLS 作为降维+预测的经典方案仍被广泛使用
• CNN-GPR 组合在多阶段时序数据上表现优异（CNN 降维 + GPR 不确定性量化）
• VM 关键词网络显示："virtual metrology" 与 "regression" 节点最为接近，印证了 VM 本质上是回归任务
• 可靠性指数 (Reliance Index, RI) 被提出用于量化 VM 预测的可信度，指导何时信任 VM 何时做物理测量

挑战：跨腔体/跨设备泛化、工艺漂移下的模型更新、少样本学习、模型可解释性。

论文 ④：S2GA-VM: Self-Supervised and Global-Aware Virtual Metrology for Accurate Film Thickness Prediction

Xie et al. · Journal of Intelligent Manufacturing, 2025   CVD Self-Supervised FT-Transformer

该论文提出 S2GA-VM 框架，针对 CVD 薄膜厚度预测中标签极度稀缺（每批仅 2–3 片晶圆做物理检测）的核心痛点，融合自监督预训练、随机门控特征选择和全局感知表征学习三大创新。在三套工业 HDP-CVD 数据集（17000+ 片晶圆）上超越 25 种 SOTA 模型。

三阶段流水线：

• 自监督预训练：利用无标签晶圆数据，挑选与目标高度相关的特征做 K-Means 聚类生成伪标签，构造与下游回归任务"结构相似"的预训练任务——不需要真实检测数据就能学到有意义的特征表示
• 随机门控特征选择 (Stochastic Gating)：每个特征通道附加一个可学习的门控概率，训练时随机关闭不重要的特征。效果类似 Dropout 但作用在特征维度而非神经元维度，自动实现动态特征筛选
• 全局感知表征学习：标准 mini-batch 训练只能看到局部数据关系。S2GA-VM 引入投影空间嵌入——将每个样本投影到全局空间中，捕获跨批次的工艺漂移模式
• 骨干网络：FT-Transformer——专为表格数据设计的 Transformer 变体，用特征 Tokenizer 将每个输入特征转为 token，再用自注意力机制建模特征间交互

论文 ⑤：AMBCT: Adaptive Multi-View Bayesian Co-Training for Semi-Supervised Virtual Metrology

Wu et al. · Expert Systems with Applications, 2026   CVD Semi-Supervised Co-Training

另一条解决标签稀缺问题的路线：半监督协同训练。AMBCT 框架让两个"视角不同"的线性回归模型互相教学——一个看全部特征，一个看最优特征子集，通过贝叶斯迭代互相提供伪标签。

协同训练核心流程：

• 自适应视角构建：通过互信息排序，自动选出与目标最相关的特征子集作为第二视角——两个视角既有信息差异（保证互补），又都与目标相关（保证质量）
• 贝叶斯参数优化：两个模型的损失函数包含有标签数据的 MSE 和无标签数据的一致性约束，通过贝叶斯优化联合调参
• CVD 薄膜厚度预测：在实际 CVD 数据上，仅用 10% 标签即可达到 0.246% MAPE，远低于纯监督方法的误差

论文 ⑥：Online Gaussian Process for Dynamic Sampling in Virtual Metrology

Han et al. · IEEE Transactions on Semiconductor Manufacturing, 2025   CMP Gaussian Process Dynamic Sampling

该论文提出在线高斯过程（OGP）模型，核心卖点是极少初始数据 + 在线持续更新 + 不确定性驱动的动态采样三位一体。

OGP 工作流程：

• 在线核增广：每获得一个新检测数据，只需 O(n) 复杂度即可在线更新 GP 的协方差矩阵和均值函数，无需重训练整个模型
• 漂移追踪：通过引入"时间相邻参考量测"作为动态输入项，补偿抛光垫磨损、修整器更换等造成的 MRR 漂移与跳变
• 七模型基准对比：在 CMP 公开数据集上，OGP 与 MLR、EWMA、ARX、KF、BARX、DLKF 六种传统 VM 方法对比，在数据漂移场景下表现最优
• 动态采样策略：利用预测方差的百分位数作为动态阈值——方差高于阈值则触发检测，否则跳过。工程师可调节阈值以平衡检测成本与模型精度

论文 ⑦：Multimodal Hierarchical Learning for Wafer Yield Prediction

Chen et al. · Journal of Manufacturing Systems, 2025   Wafer Yield Multimodal Hierarchical Learning

晶圆良率预测面临一个被广泛忽视的问题：由于多批次生产和多工序流转，数据呈现多模态分布（高/中/低良率组的数据分布截然不同）。用单一回归模型覆盖所有模态必然导致高偏差。

分层学习架构：

• 自适应模态划分：用贝叶斯优化（TPE）自动搜索最优的良率分界点，将样本分为高/中/低三个模态——划分标准不是基于聚类，而是直接优化下游回归性能
• 退化与增量学习机制：模态划分后单个子集样本量可能不足。退化策略将过小的模态合并到相邻模态；增量学习在每个子回归器中逐步引入新样本
• 偏差-方差分析：理论证明当模态分离度 S(D) 增大时，单模型的偏差会显著上升，而分层模型的偏差保持常数——分层结构在多模态场景下有本质优势

论文 ⑧：Machine Learning Algorithms for Manufacturing Quality Assurance: A Systematic Review

Kausik et al. · Array, 2025   Quality Assurance Systematic Review Industry 4.0

该综述分析了 300+ 篇文献，对比了五种主流 ML 算法在制造 QA 中不同回归/分类子任务的适用性，并首次提出了跨行业（汽车、半导体、制药、纺织）的比较评估框架。

论文 ⑨：Advancements in Soft-Sensor Technologies for Quality Control in Process Manufacturing: A Review

Gallareta et al. · IEEE Sensors Journal, 2025   Soft Sensor Process Industry ML Evolution

该综述追溯了 2000–2024 年间 107 篇软测量文献，展示了算法、行业和数据需求的完整演进脉络。软测量的核心任务就是回归：用易测过程变量（温度、压力、流量等）预测难以实时获取的质量变量（成分、粘度、强度等）。

算法演进三阶段：

论文 ⑩：A Review of AI Application for Machining Surface Quality Prediction

Ko & Yin · Journal of Intelligent Manufacturing, 2026   CNC Machining Surface Roughness Transfer Learning

该论文从加工机理出发，系统梳理了影响表面质量的两大关键要素及其与 AI 预测方法的衔接，是同类综述中最为"机理驱动"的一篇。

AI 建模按输入类型分为三类：

论文 ⑪：Transfer Learning for Soft Sensors in Process Industries: A Review and Future Perspectives

Liu et al. · Industrial & Engineering Chemistry Research, 2026   Transfer Learning Soft Sensor Process Industry

这是迁移学习在流程工业软测量中最新、最全面的综述（186 篇文献），系统梳理了跨域可迁移信息的分类、迁移策略和负迁移缓解机制。

跨域可迁移信息分类：

主要迁移策略：

• 实例迁移：通过重加权源域样本来匹配目标域分布，适用于分布差异较小的场景
• 特征迁移：学习域不变特征表示（如对抗域适应、MMD 最小化），是当前最主流的方法
• 模型迁移：预训练+微调范式，特别适合深度学习模型在新产线/新条件下的快速部署
• 关系迁移：迁移变量间的关联结构而非单个特征，适用于多变量流程工业场景

• 基准数据集：田纳西-伊斯曼过程 (TEP)、脱丁烷塔 (Debutanizer)、半导体刻蚀过程等
• 未来方向：模型可解释性、动态迁移学习（持续适应）、联邦迁移学习（数据隐私）、大语言模型辅助迁移策略选择

从全局视角看到的共性规律

• RUL、虚拟量测、软测量——本质上是同一类问题：三者的计算范式高度一致——都是时序回归，都是根据历史序列信息和当前输入预测一个连续值（剩余寿命 / 膜厚 / 组分浓度），都要面对分布漂移（设备退化、工况切换、原料批次变化导致数据分布随时间改变）。区别只是预测目标和行业术语不同。这意味着一个领域的方法论突破，往往可以直接迁移到另一个领域。
• 异常监测与在线自适应是部署后的核心需求：模型上线后，生产环境不断变化——新工况出现、设备老化、工艺微调。单纯的离线训练模型会逐渐失效。因此，异常监测（实时检测输入数据是否偏离训练分布，判断模型预测是否可信）和基于新到来样本的在线微调（对新样本赋予更高权重、对旧样本逐步衰减，使模型持续适应当前工况）正成为工业 AI 回归系统闭环部署的关键环节。这一需求在 VM 的"性能追踪"模块、软测量的"集成模型按工况切换"、以及 RUL 中的"自适应粒子滤波"中都已有雏形，但尚未形成系统化的解决方案。
• 可解释性与可信度是落地部署的"最后一公里"：VM 的 Reliance Index、GPR 的不确定性量化、PINN 的物理约束——工业场景对"为什么模型这么预测"和"这个预测有多可信"有刚性需求，纯黑箱模型难以被工程师信任。

值得进一步探索的方向与研究空白

• ① 统一的工业回归 Benchmark 体系：当前各领域（RUL、VM、软测量等）的数据集和评估指标相互割裂，缺乏跨任务/跨行业的标准化对比框架。建立类似 NLP 中 GLUE 的工业回归 Benchmark 是亟需填补的空白。
• ② Transformer 架构在工业回归中的适配：Transformer 天生为序列到序列的分类/生成任务设计（如 NLP 中的 token 分类、机器翻译），其核心组件在迁移到连续值回归任务时存在根本性的适配缺口。例如：标准位置编码（正弦/余弦或可学习）反映的是 token 的离散序列位置，而工业时序数据的"位置"往往对应不等间隔的物理时间、设备运行周期或退化阶段——为工业回归定制位置编码（如基于退化阶段的连续编码、基于物理时钟的非均匀编码）是一个待发掘的方向。此外，Transformer 依赖大规模数据预训练才能发挥优势，而工业回归数据集规模差异极大（从几百条到数万条），如何修改 Transformer 架构使其在小数据集上依然有效（如引入归纳偏置、结合先验知识约束注意力范围、轻量化注意力机制）同样亟需系统性研究。本文论文 ④ 中 FT-Transformer 在 VM 表格数据上的成功应用已展示了初步可行性，但远未成熟。
• ③ 大模型 (Foundation Models) 在工业回归中的潜力：预训练时序 Foundation Model（如 TimesFM、Chronos）能否直接应用于工业回归？是否需要领域适配？目前尚处于萌芽阶段。
• ④ 物理信息与深度学习的深度融合：PINN 目前主要用于 RUL 场景，在软测量和 VM 中的系统性应用几乎空白。如何将工艺机理嵌入复杂 DL 架构（而非仅加入损失函数约束）仍是开放问题。
• ⑤ 轻量化模型与边缘部署：DL 模型的算力需求与工业现场边缘设备的资源限制之间存在矛盾。模型压缩、知识蒸馏、TinyML 在工业回归中的应用需要更多关注。
• ⑥ 不确定性量化的系统化：Monte Carlo Dropout、贝叶斯推断、共形预测（Conformal Prediction）等方法在工业回归中的系统性集成和实际效用验证仍然不足。