焊接智能制造即包含物联网、大数据传输存储以及人工智能等科学与技术等共性问题，也涉及“传感-决策-执行”信息驱动的过程控制与人机协同融合的集成技术特性。传统的焊接制造方式正从自动化、数字化和网络化向智能化发展和演进[1,2]，一方面，采用多源传感器获取焊接制造过程数据，在焊接制造过程中引入信息流，实现对焊接动态过程的多模态信息感知、知识判断与智能化控制等行为功能；另外一方面，围绕弧焊传感、焊接多智能体等，构建一个具有与实际焊接过程相同物理“元素”与运行状态的焊接数字孪生系统，可模拟、监控、设计和控制实际焊接过程和运行状态。上述“热点”问题的研究、实现还面临以下诸多挑战[3~9]。(1) 焊接机理认知：焊接是一个牵涉到电弧物理、传热、冶金和力学的多信息、强耦合、非线性的复杂过程，并伴随着强弧光、高温辐射、电磁干扰、烟尘以及飞溅等。同时，焊接过程牵涉到多尺度、多物理场建模，焊接电弧、熔池动态行为，以及演变机制存在难定量、不可视等难题。(2) 焊接关键信息感知：面对复杂焊接场景多工况交替、多信息耦合、模式不明且多变的多源异构数据和信息，人为设计涵盖焊接过程所有信息特征根本无从着手，而且真正覆盖所有焊接工况下的样本数据和接头失效模式下的标签数据往往很少，同时标签数据的质量，尤其是经过焊后检测、工艺验证过的数据匮乏，已成为焊接过程多源信息深度感知、决策与控制等关键技术落地的瓶颈。(3) 复杂焊接场景模型泛化问题：实际焊接场景下，焊接多源异构传感信号(视觉、听觉)差异大、采样策略形式多、数据价值密度低，导致数据质量参差不齐，呈现“碎片化”特点。实验室条件下获取的数据、信息特征、焊接质量预测模型及控制决策，缺乏焊接工艺知识与机理的理解，在工业场景“落地”的过程中往往呈现“一机一模型”以及模型泛化能力不足等难题。

针对电弧形态、熔池形状及等离子体动态行为，Park等[10]和Tanaka等[11]利用光谱诊断和理论模型对电弧焊中的电磁-热-流体现象进行了可视化研究，系统阐述了“电弧等离子体-液态熔池”的传热、传质、传量行为和机制，对电弧-熔滴-熔池流体动力学状态和传热过程进行数理分析[12,13]，定量表征了焊接过程中“电弧等离子体-液态熔池”的流场、热场、电磁场等基础数据。上述针对电弧-熔池的数字化和可视化表征，增强了焊接动态过程的物理描述，为后续焊接接头质量设计与控制提供了可靠的数据来源和评价依据[14,15]。

视觉传感以其信息丰富、模仿人类视觉行为而成为最有前景的传感方式之一，焊工对于焊接过程的感知信息80%以上来源于视觉[16~18]。视觉传感包括主动式和被动式2大类，其在智能化焊接中主要涉及到3个方面的应用：焊前轨迹识别与初始焊接位置导引，焊接过程中的实时焊缝跟踪，熔透状态及焊缝成形控制。在机器人焊接轨迹识别及路径规划方面，主动式传感系统包括激光扫描仪、结构光扫描仪等，被动式视觉传感系统包括电荷耦合器件(charge coupled device，CCD)和互补金属氧化物半导体器件(complementary metal oxide semiconductor，CMOS)工业相机等。其中，结构光工业3D相机，通过对二维灰度图像和三维点云数据的采集，并采用点云匹配算法将待焊结构件的点云数据拼接、融合、背景去除，识别焊缝轨迹并完成焊缝路径规划，该方法也为机器人焊接轨迹自适应规划提供了新的思路和技术途径，而机器人焊接视觉跟踪方面的研究日趋成熟，不再赘述。焊接熔池视觉测量及表征方面，一直是业界和学术界研究的热点问题[19~21]。经验焊工通常也是通过焊接过程熔池演变规律进行工艺参数优化调整，其领域知识主要涉及：熔池形貌(正鸭梨型、负鸭梨型和近圆型3类熔池形貌)、熔池颜色/亮度、熔池前后边缘轮廓以及下塌量[22~24]等，借助熔池特征参数联合调整焊接速率、电流、电压或送丝速率等相关参数。

电弧声音是焊工用来感知并实时判断焊缝质量时另一个不可忽视的信号。根据传播媒介的不同，声音信号可分为声发射信号(acoustic emission，AE)和可听声信号。声发射信号的频率为几赫兹至几万赫兹，Tarn和Huissoon[25]采用声发射传感器进行激光焊接质量监控，发现焊接过程金属熔化引起的声发射的有效值是恒定的，并与焊接作业时间、液态熔池体积呈一定的映射关系，根据声发射信号幅值可实现焊接参数工艺窗口稳定性判断。Asif等[26]研究了机器人熔化极活性气体保护电弧焊(MAG) 4种典型状况(成形良好、过熔透、烧穿及气孔等) AE在线监测及评价方法，并采用对抗序列标签法进行上述焊接状态预测。文献[27~30]研究了钨极氩弧焊(tungsten inert-gas welding，TIG)焊接过程声音传感及声音信号包含的熔透质量信息，提出了焊接电弧声源偶极子模型，并建立了电弧声音与电弧能量模型。研究人员[31,32]还借鉴语音识别的理论模拟人类声道系统，利用线性预测(LPC)分析方法建立电弧声道的数学模型，提取电弧声音信号特征，对比语音同焊接声音的波形特点、电弧声音发声机理，基于倒谱系数建立了焊接熔透预测模型。

焊接电弧蕴含了动态焊接过程的丰富特征，可直接表征焊缝成形质量。借助光谱传感器把不同波长的电弧光分解开，并记录下波长分量温度、压力、粒子密度及运动速率的特征信息，可进行焊接电弧等离子体光谱诊断和焊接缺陷离线和在线识别[33~39]。除了采用视觉、声音、光谱等传感进行焊接动态过程表征之外，研究人员[35]研制了激光超声传感器，利用激光烧蚀作用于焊接工件表面产生的热弹效应，通过激光干涉仪获取工件表面的微振动，并借助合成孔径聚焦法进行焊接熔深的原位测量和焊缝内部缺陷形貌可视化表征。

然而，面对多工况交替、多信息耦合、模式不明且多变的复杂焊接场景，单一传感手段很难准确和全面评估焊接状态。Feng等[40]提出了焊接多源视觉传感(主动、被动)液态熔池图像的端到端深度增强学习架构，进行焊接熔透状态(未熔透、熔透和烧穿等)识别，为了适应不同焊接环境、工况下的图像处理，设计了结合多个异构体系神经网络的集成学习算法，实现了不同传感单元感知熔池图像的不同熔透状态分类。近年来，Wang等[41]以焊接制造场景为例，开发了具有深度学习增强的数字孪生系统，让焊接过程电弧-熔池演化过程数据化和可视化，还可进一步拓展添加焊接工艺知识库如焊接熔池热场、流场及接头性能等来增强焊接孪生系统的监测和控制能力。

综上，焊接科研工作者不断赋予机器(焊接专机、机器人)与焊接环境交互、模仿人类甚至自主学习等新技能，然而受制于焊接实际场景不可视、难定量、非线性等特点，建立焊接电弧-熔池动态演变行为的因果属性一直是该领域的难点之一。Wang等[41]基于液态熔池镜面反射原理，采用点阵直接照射到熔池表面获取熔池上表面形貌信息并进行熔池形貌三维重构，但受制于液态熔池变形、流体动力学状态不稳定、液态金属堆积不均匀以及熔池振荡等因素影响，给熔池形貌精确表征以及焊接非线性过程模型辨识等带来诸多困难。上海交通大学机器人焊接智能化技术实验室运用人工智能技术模拟实现焊工观察、判断与操作行为，从现代控制理论、人工智能和焊接技术学科交叉综合发展的角度，提出了以焊接机器人智能化技术为核心的“智能化焊接制造工程”(WIME)的概念和研究领域。

从仿生焊工的角度分析，焊工在焊接过程中主要用眼睛和耳朵感知焊接过程信息，接下来将从“视、听”角度对焊接过程电弧-熔池进行原位测量及表征。根据熔池图像获取时的光源特性，视觉传感方式可以分为被动视觉传感和主动视觉传感。其中，被动视觉传感是利用焊接电弧弧光作为光源照亮熔池，再辅以减光、滤光器件进行弧光滤除，而主动视觉传感使用激光辅助光源照亮熔池，从而获取更加清晰和稳定的熔池图像。

Fan等[42]设计了铝合金填丝脉冲TIG焊多光路同时同幅被动视觉传感系统，采用窄带复合滤光的滤光系统，获得了清晰、稳定的铝合金熔池图像(脉冲交流TIG焊，焊接峰值电流220 A，送丝速率120 mm/s)，开发了一套完整的熔池图像几何信息及典型焊缝宏观缺陷(未焊透、焊漏、偏丝以及错边等)信息处理算法，建立了不同工况下焊接规范参数与熔池几何形状之间的动态关系(图1[42])，为进一步的焊接动态过程控制奠定了基础。

针对铝合金交流方波TIG焊熔池图像存在的弧光干扰问题，研制了一套基于脉冲激光辅助光源的CMOS视觉传感系统(采像参数：交流方波TIG焊，焊接电流180 A，送丝速率70 mm/s)，并设计了条件生成对抗网络(conditional generative adversarial net，CGAN)的熔池弧光滤除算法[43]，生成图像与无弧光图像对比，定量地评估生成对抗网络去除弧光效果的结构相似度(structure similarity，SSIM)为0.78~0.95。在滤除弧光干扰的基础上，运用级联回归树算法，提取了熔池上下边缘轮廓，并进一步提取正面熔宽特征参数，平均单帧图像处理时间为0.930 ms，如图2[43]所示。

变极性等离子弧焊(variable polarity plasma arc welding，VPPAW)由于其能量密度高，电弧穿透能力强，焊接效率高，无气孔、夹渣等缺陷，因而被广泛应用于航空、航天和电力行业。其独特的等离子弧易于受到实际焊接规范参数变化的影响，工艺裕度窄，难以保证穿孔熔池的一致稳定性及焊缝成形的质量。因此如何实现变极性等离子弧焊接小孔动态过程的在线监控和焊缝成形质量的补偿控制，对于确保等离子弧焊接过程稳定运行，实现高能束焊接智能化、自动化具有重要的意义。Wu等[44~46]设计并研制了双光路视觉传感器，同时同幅获取正面熔池和背面匙孔图像，开发了基于Part-based模型的算法，进行熔池、匙孔特征尺寸的提取，建立了工艺参数-熔池匙孔几何特征尺寸-成形质量的定量关系。

经验焊工在焊接过程中除了“看”，另外一个重要的感知手段就是“听”，采用电弧声音传感器研究焊接电弧包含的焊接熔透、缺陷等信息，是对焊接动态过程监控的有益补充，同时也丰富了焊接过程质量监测感知系统。Chen等[47,48]研究了一般声音信号的声源模型及辐射特点，通过实验测量，发现焊接声音是一种偶极子声源，辐射分布遵守余弦函数。鉴于焊接电弧发声机理是由电弧等离子体体积变化诱导，且电弧能量与等离子体呈现正相关性，采用电弧能量一阶差分为激励信号，电弧声压为响应信号，通过改变焊接电流大小，同时采集焊接电流、电弧电压和电弧声压信号，探究电弧能量与电弧声压之间的映射关系并建立了电弧声音与电弧能量的非线性模型、电弧声音发声机理及激励响应模型。

采用式(1)描述电弧声音与电弧能量的映射模型[47]：

式中，x(k)和y(k)分别为模型k时刻的输入和输出，f为非线性函数，m和n为模型结构参数。采用混合动态长短时记忆网络模型(dynamic long-short term memory，DLSTM)进行上述模型的参数和结构辨识，实现了电弧声音信号的精确预测。为进一步研究焊接熔透状态对电弧声音信号的影响规律，Wang等[27]提出了小波基时域紧支性、频域的频带快速衰减性等规则，选择Dbubechies小波、coiflets小波和dmey小波作为焊接声音信号分的小波基，进一步对小波包分解节点分别从时域和频域角度进行统计和筛选，确定均值、能量、对数能量、过零率、脉冲因子、偏态因子、峭度因子和功率谱能量等作为特征统计参量，对小波包分解节点进行处理，形成声音的原始特征，将小波包+统计量处理+特征选择结合，进行了焊接熔透状态识别。鉴于语音信号与焊接电弧声音信号在波形特点、产生机理和信号处理等方面存在相似性，将语音识别中的线性预测倒谱系数(linear predictive cepstral coefficient，LPCC)方法引入到焊接声音特征提取中，建立电弧声音线性模型，提取电弧声道倒谱特征，进行焊缝熔透状态识别。Song等[31]针对VPPAW等离子体声音与熔透状态(未熔透、熔透和焊漏)之间的关系，构建了基于VPPAW特有的“双声源特性”的隐Markov模型(hidden Markov model，HMM)焊接熔透识别模型。

显然仅依靠“视-听”多源异构传感进行焊缝成形及质量的表征远远不够，还需进一步分析萃取表征焊缝及接头内部质量的特征信息。电弧光谱信息包含电弧温度、压力、粒子密度及运动速度等信息，且与焊缝内部缺陷的产生有本质的联系。Huang等[49~51]围绕铝合金TIG焊电弧光谱信息智能处理及缺陷在线监测开展了系列研究，采用Levenberg-Marquardt联合改进的Newton法和Boltzmann作图法对电弧光谱中Ar I谱线信息进行处理，得到了脉冲过渡前后熔池表面附近电弧的中心温度和电子密度，揭示了电弧光谱信息与焊接电弧及熔池内在相关性，通过主成分分析得到了电弧光谱中的Ar I谱线信息和熔池金属谱线信息，并建立了电弧光谱特征信息和焊接熔透状态的模糊逻辑预测模型。同时，在铝合金焊接气孔缺陷表征方面，还提出了光谱距离(spectral distance，SD)度量函数和改进k-medoids聚类算法，获得了精确的线谱和表征气孔缺陷的光强比值信号，结合最大边缘准则的正交局部线性判别投影降维算法，有效提高了铝合金焊接氢气孔分辨率。

焊接工件在高温移动热源局部加热、快速冷却的条件下，受周围冷金属的约束而产生焊接应力和变形。因此，准确掌握焊接接头应力-应变演变规律对于前期工艺设计和提高产品焊接质量至关重要。Chen等[52,53]提出了一种焊接接头热影响区高温应变原位测量方法-数字图像的相关方法(digital image correlation，DIC)，可实现焊接过程接头熔合线区、热影响区高温应变定量表征。通过激光辅助光源和耐高温散斑制备技术，有效抑制了外部干扰(焊接弧光和高温)对测量精度的影响，图3[53]给出了焊接热影响区高温应变及应力原位测量及表征一般计算流程。

基于多传感器数据融合的焊接质量在线监测在智能焊接过程中越来越受到重视。Zhang等[15,54]建立了电压-声音-光谱特征融合的焊缝熔透状态交叉验证支持向量机(support vector machine-cross validation，SVM-CV)预测模型，该模型通过混合filter与wrapper的特征选择器解决了分类器和特征集依赖性问题，模型预测精度可达94.72%，为后续焊接多源异构多传感器数据的特征提取、选择和动态建模以及弧焊缺陷在线检测提供了技术实现途径。

基于围绕焊接过程多维多态信息的特征提取和维数约简等问题，Wu等[45]针对变极性等离子弧焊穿孔熔池视觉及声音多源信息混合组成的高维特征空间，引入非线性流形学习技术，对最优特征空间进行智能筛选，构建了基于模糊推理及神经网络的焊缝成形预测模型，实现了多源传感高维特征下的焊接熔透状态的在线识别。

焊接过程本身是一个高度复杂的非线性强耦合系统，难以用经典的数学模型来准确地描述，从而限制了一些传统的控制方法在焊接过程的应用，为了克服控制器适应性差、稳定性不足等缺点，目前更多地将人工智能与控制系统结合起来，从而发展了智能控制理论，该理论已经在TIG、VPPAW以及熔化极气体保护焊(gas metal arc welding，GMAW)等焊接过程中得到了广泛的应用。Fan等[42]基于模糊逻辑和人工智能理论，采用自学习模糊神经网络实现了TIG焊接过程的实时控制，由于可以自适应调整控制规则，该控制器的适应性和鲁棒性较好。

在机器人或自动焊接过程中，以电弧焊为例，焊接涉及到传热、传质、力学以及冶金的复杂物理和化学过程，焊接动态过程内在的“不可视”、难定量、非线性以及强耦合等特性，给焊接过程控制带来了诸多难题。Ma等[55]从混杂系统研究角度出发，基于混合逻辑动态建模框架，分析焊接过程的混杂特性(逻辑变量、离散变量和开关变量)，设计了基于焊接机器人焊接过程MLD (mixed logical dynamical)模型的预测控制。Wu等[56]和Lv等[57]采用线性差分方程(ARX)进行了VPPAW穿孔熔池过程的多输入单输出模型辨识，用于提供控制器设计所需的输入-输出数据，并程进行了离线仿真，考虑到VPPAW过程难以建立精确的过程模型的局限性，设计不依赖于焊接过程的无模型自适应控制(model free adaptive control，MFAC)方法，联合调节焊接电流和离子气流量，实现了变热输入、变厚度和变散热下的焊接熔透控制。

针对传统“示教-再现”型机器人对焊接环境缺乏感知能力，难以适应焊接过程中存在焊缝偏差的问题，Ye等[58,59]以低碳钢脉冲MAG焊为研究对象，开展了脉冲MAG焊过程视觉与电弧特征提取及焊缝跟踪控制的研究，采用被动视觉传感技术获取焊接过程的视觉信息，实现焊缝的左右跟踪；同时针对视觉传感技术难以获得焊枪高度信息这一不足，引入电弧传感技术，实现焊枪高度方向的跟踪。基于此提出了一套用于提取焊缝左右偏差的图像处理方法；同时针对单一判据难以完全准确区分噪声边缘与焊缝边缘的不足，提出了一种多判据目标识别方法(MMOR)，并采用角度-间隙辅助焊缝定位法(AGALM)定位焊缝边缘；基于电弧图像特征开发了焊丝投射点的提取算法，针对焊缝区域的图像特征，提出一种基于先验知识的焊缝信息提取策略。通过对电源特性的分析，提出了若干与焊枪高度相关的电弧特征，建立了平均电流与焊枪高度之间的关系模型。进一步研究了机器人运动空间的直线插补算法与圆弧插补算法，设计了一种模糊自适应PID(proportional integral derivative)控制结合模糊控制的双模复合控制系统。通过对视觉处理滞后引入的误差成因进行分析，推导出误差的估计公式，并在此基础上提出一种基于焊丝投射点预测修正的误差补偿算法，提高了焊缝跟踪的精度和稳定性。

Hou等[60]和Xiao等[61]针对中厚板机器人GMAW智能化焊接的共性技术难题，研究了基于激光视觉传感的机器人中厚板多层多道焊接自主导引、焊缝实时跟踪和焊道自适应规划等关键技术。自主开发并研制了适用于中厚板机器人焊接的多功能激光视觉传感系统，主要功能包括焊缝类型识别、焊缝跟踪、焊道扫描和规划等，其中关键技术涉及摆动焊接激光条纹图像的动态线形感兴趣区域、基于先验知识模型(不同类型坡口)的图像处理算法、起弧-焊接-熄弧分阶段跟踪模型、模型驱动(模型-扫描-规划-焊接-扫描-修正)的多层多道规划及实时修正策略，如图4所示。

在大型焊接制造系统的设计过程中将不可避免地遇到多任务并发执行、多传感同步监控、多源信息融合、多资源协同调度等问题。为此本课题组提出了一套焊接过程多信息监测智能体联盟的设计方案，以机器人脉冲GTAW工艺过程为研究对象，构建了熔池监控智能体、声音监控智能体、电流监控智能体、电压监控智能体和传感监控智能体，并将这些智能体一同组建为多信息监测智能体联盟，实现了焊接过程多源传感信息的实时采集、特征提取以及可视化，最后对智能体单元功能完备性与多智能体协同机制有效性进行了实验验证，如图5所示。

针对轨道交通、工程机械等领域的机器人焊接现场多源数据智能管控需求，构建了机器人MAG焊接智能管控系统本地端和服务器端，确保焊接过程中电压、电流、焊接电弧声音、电弧-熔池图像、保护气体流量等多源信息实时采集、感知和传输，实现了斗杆机器人焊接全流程数据可追溯和循证。基于数字化与信息化的深度融合实现焊接制造过程中的缺陷实时预警，多维度、多视角下焊接熔透状态(根部未焊透、层间未熔合、焊漏)、错边、卡丝、表面气孔以及焊偏等缺陷开展在线预测及定量评估方法研究，如图6所示，为解决复杂场景下焊接过程的全景式智能评判提供了有益的技术途径。

针对运载火箭贮箱机器人焊接应用的难点问题，由上海航天精密机械研究所牵头，上海交通大学和江苏北人机器人系统股份有限公司参与，开展了运载火箭贮箱机器人智能化焊接技术的研究和应用[62]，以运载火箭贮箱箱底法兰环缝、箱底纵缝和筒段环缝的变极性TIG、变极性等离子焊接过程作为研究对象，通过模拟焊工作业过程的感知、决策和控制过程，在大型薄壁铝合金结构件分层递阶多智能体的焊接智能装备架构、复杂空间曲面焊接过程工艺智能优化与自适应控制策略、焊接设备互联与状态实时监测的系统结构与实现等方面取得了关键技术突破。

本文梳理了近年来本课题组在复杂场景下的智能化焊接及关键技术等方面的工作，给出了焊接动态过程多源信息获取、处理、融合及知识建模等方面的系统性算法，提出了若干焊接多模态信息驱动的知识提取及焊缝质量智能控制新方法。针对机器人焊接智能化技术实现，开发了视觉-电弧传感的机器人焊接寻位、路径规划、焊缝纠偏以及焊道自适应编排等算法及工程实现途径，形成了机器人焊接多信息监测智能体联盟协调机制，并在航天、轨道交通以及工程机械等领域进行了应用验证。

面临复杂焊接场景多工况交替、多信息耦合、模式不明且多变等复杂科学问题和技术难题，未来从焊接加工到焊接制造的提升，需进一步聚焦数字化与智能化焊接制造，以实现焊接结构件的几何特征与宏微观性能一体的精准优化与控制为目标，借助焊接工艺、机理的数理建模、数值模拟、人工智能与焊接大数据以及数字控制等技术手段，遵循焊接热制造“虚拟-拟实-建模-控制”的理念，研究焊接制造全流程多尺度建模、高效高精度数值计算，复杂焊接场景与接头形性参数的在线感知，焊接工艺、机理融合知识模型的自学习与进化以及面向复杂时变焊接工况的自适应调控等，进而发展现代信息技术与焊接制造深度结合的数字化与智能化理论方法及装备。