钢材具有较好的塑性和韧性，综合力学性能优良，且成本低廉，是社会最主要和最广泛使用的材料之一，其晶粒大小和分布等特点决定了钢材的性能，晶粒尺寸越细小，材料的韧性和塑性越好。现阶段行业内主要通过人工观察钢材的组织结构来确定其晶粒度级别，从而了解钢材的力学性能、可塑性、延展性等性质。随着用户对钢材产品品质的日益重视，以及公司新产品种类研发能力的逐步提升，晶粒度检验逐渐成为产品质量检查的重要手段。近5 a笔者单位的晶粒度检测量从5 136件/a逐步增加至9 336件/a。当前笔者单位晶粒度检测面临的主要问题是检测任务重、人工经验依赖性强、检测效率低、结果重复性差等，这些问题对公司的产能和最终客户满意度产生了重大影响。
相对传统的钢材晶粒度人工检测评级方式是自动定量检测，是业内主流的检测方法。程康娜等[1]采用数字图像处理方法对金相检验的图像进行处理，借助Matlab和ImageJ软件提出了一种对激光熔覆显微组织定量分析的方法，提高了检测的精度。吴伟等[2]通过图像增强、分割、阈值化等方法，实现了对TC4钛合金显微组织的定量分析。孙朝明等[3]分析了晶粒度定量评定中的关键技术，提出了复杂金相检验图像晶界的准确提取与重建难题，并对国内外在金相晶粒度评定技术方面的进展情况进行了分析。从业内研究情况可知，目前金相自动定量检测的研究主要是基于传统的图像处理、阈值化等技术，检测结果存在波动较大、需要人工介入等问题，这些问题依然没有得到很好解决。
笔者通过提高晶粒度试样的制备质量，基于人工智能及图像识别技术，采用卷积神经网络深度学习等方法，建立了晶粒度智能评级模型，由此开发出一套基于人工智能的钢材晶粒度评级方法，该方法具有检测速度快、不依赖人工经验、检测结果重复性好等优点。
1. 试验方案
1.1 试验材料
钢材的代表性决定了晶粒度智能评级方法在公司钢材产品检测中的应用范围，因此钢的选材要有代表性，但是又不能范围太广，否则将增加工作量。笔者根据其所在单位冷热轧产品的牌号、晶粒大小和晶粒形态特征，将全部产品分为10个大类，并分别选择具有代表性的钢种，共筛选出32个钢种作为初始试样的材料，基本涵盖了公司冷/热系板材产品的晶粒特征，这些代表性钢材的典型特征和晶粒度级别如表1所示。
1.2 试验设备
为便于晶粒度智能评级方法研究的顺利开展和应用，试验设备均为笔者单位实验室配置设备，设备的基本情况如表2所示。
1.3 试验方法
复杂显微组织的图像无法通过简单的图像处理、分割、阈值化等进行晶粒度自动评定工作。因此，笔者在图像预处理、边缘分割、阈值化和形态学的基础上，提出了一套基于自适应人工打标的晶粒度智能评级方法。该方法的检测流程如图1所示。① 样品制备。采用制定的自动磨抛、腐蚀方法制备试样，要求试样平行度不大于0.05 mm，检测面无划痕、抛光应变痕，晶界腐蚀清晰。② 智能评级模型定级。通过自动光学显微镜对晶粒度试样进行扫描和视场采集，每个试样采集图片约为300张，通过评级模型逐张评级，选择5个与均值最接近的代表性视场，存留对应图片并按平均值定级。③ 结果报出。
2. 试验结果与讨论
2.1 试样制备
2.1.1 试样磨抛
根据自动光学显微镜自动聚焦行程，晶粒度智能评级对试样的制备品质有较高要求。采用传统金相预磨机、抛光机制备试样时，试样平行度一般为0.10~0.15 mm，受人工经验影响，检测面存在不同程度的划痕和抛光应变痕等缺陷，试样制备品质难以满足智能评级的要求。采用自动磨抛机，按厂家推荐方法制备试样（见表3），因笔者单位产品的强度指标跨度较大，很难兼顾高强度和低强度等不同抗拉强度试样的制备品质。
笔者采用Qp5O型自动镶样机和Labopo1-60型自动磨抛机进行制样，根据试样的抗拉强度指标，在参考同行实验室自动磨抛经验和厂家推荐方法的基础上，与相关技术人员共同研究制定了一套适应公司产品特性的晶粒度智能评定试样自动磨抛作业方法（见表4~5）。
2.1.2 试样腐蚀
试样腐蚀后要求其晶界清晰，否则将影响智能评级模型对试样晶界等特征的提取。常规方式是采用体积分数为3%~5％的硝酸乙醇溶液作为腐蚀试剂，检验员根据个人经验腐蚀试样，但是不同腐蚀试剂的体积分数、试样材料、腐蚀时间等条件变化容易给人工造成误导，导致试样腐蚀深度过浅或过深，影响评定结果。
设计方法为采用体积分数为4％的硝酸乙醇溶液作为腐蚀试剂，腐蚀前使用沸水对试样进行加热，以提高腐蚀效果。同时，根据试样材料的牌号，通过系列比对试验，制定了晶粒度的智能评定试样腐蚀控制要求（见表6）。
2.2 评级模型
评级模型主要包括：晶粒度试样的人工打标，建立图像数据库；将数据库输入卷积神经网络模型，并进行深度学习，提取特征，建立晶粒度自动评级模型；对模型进行测试训练和适应优化，减小智能检测结果与人工的差异，提高重复性。
2.2.1 图像数据库
数据库是一系列用于特定金相检验图像自动分析和处理的重要数据集，通过对晶粒度金相图像进行人工打标和标注，以提取原始特征，建立各级数据集。当样本量达到一定程度后，形成特定特征的数据库，并最终实现晶粒度的自动分析。
2.2.1.1 人工打标
由于目前国内没有适用于笔者研究的众多产品牌号的数据库，因此，需要根据笔者单位产品的晶粒度特征和级别，通过人工打标来自己创建一个专用的晶粒度金相检验图像数据库。
使用实验室现有的BX61、GX71、NM950-R型光学显微镜采集得到原始晶粒度金相检验图像（见图2，图像大小为3 072像素×2 048像素），经灰度化处理[4]后，得到预处理后的金相检验样本（见图3）。
采用深度学习标注工具 LabelMe软件对预处理后的金相检验图像进行人工打标，打标时需沿晶界将晶粒进行标注，初始打标时允许疏忽掉部分较模糊的晶界，但是已标注的一定要清晰、准确，以便对后续晶粒特征进行准确提取。LabelMe人工打标结果如图4所示。
完成人工打标后，将打标前后图像分别导入对应级别的数据库，进行晶粒度特征提取，生成该样本的晶粒度金相标签（见图5）。
2.2.1.2 样本分割并拓展数据库
将预处理后的原图像样本每隔256像素有重叠地切分成45张大小为1 024 像素×1 024像素的小尺寸图像，这样可以拓展数据库的大小和多样性，提高金相检验图片自动学习算法的准确性和鲁棒性。
2.2.2 晶粒度评级模型的建立
2.2.2.1 卷积神经网络模型结构
晶粒度评级模型主要是利用计算机人工智能和神经网络深度学习技术构建的卷积神经网络模型，其核心是一种多阶段全局可训练的人工神经网络学习模型[5]，可针对不同的晶粒大小和形态构建不同的网络结构，并直接从数据集中学习高级与抽象特征。典型的神经网络模型结构由输入层、卷积层、池化层、全连接层和输出层组成。
输入层主要用于原始样本的输入，为了降低后续算法处理的复杂度，笔者将灰度处理后图像作为原始输入样本；卷积层用于图像特征的提取、映射，以及深入理解学习，从一个平面到下一个平面进行映射，由神经元自动提取图像的局部特征，每个神经元都与前一层的局部感受域相连，每层中各平面的神经元分别提取图像中特定区域的局部特征，如方向特征、形态特征、边缘特征等；池化层是一个计算局部平均和二次特征的提取层，二次特征提取结构使卷积神经网络在识别时对输入样本有较高的畸变容忍能力，从而检测更多的特征信息；全连接层用于连接并整合所有的特征，并将输出值送给分类器，映射到样本标签。
2.2.2.2 模型计算方程
（1）逐层传递计算方程。在卷积神经网络结构中，逐层传递是指从输入层开始，逐层向后计算传递，直到输出层输出运算结果。其中卷积层计算方程如式(1)所示。
式中：Mj为上层输出的特征数据集；为数据集中的特征图像；为输入中第i个特征图像到输出的第j个特征图像之间计算所用的卷积核；为输出的第j个特征图像的偏置；f为激活函数。
池化层特征输出计算方程如式(2)所示。
式中：down为贝叶斯采集函数，在两个维度上缩小图像；为乘性偏置。
全连接层输出整合特征方式如式（3）所示。
式中：θ为输入特征与输出特征之间的映射参数。
（2）损失函数。在全连接层后，根据SoftMax函数进行分类，将多个神经元的输出结果映射到（0,1）之间，得到概率最大的输出，从而计算损失函数，通过SoftMax函数计算第类的概率如式（4）所示。
式中：xi为预测分类的第i项。
损失函数由多个部分组成，对分类问题一般采用交叉熵代价函数进行计算，为防止过拟合，在损失函数中增加正则函数。计算公式如式（5）所示。
式中：yi为真实标签；ω为模型参数；R(ω)为正则函数。
通过卷积神经网络模型，在样本数据库中提取各级别晶粒度的低纬、中纬、高纬特征，再根据晶粒度级别进行分类，建立晶粒度智能评级模型。
2.3 模型训练和优化
模型初步建立之后，其评级结果存在一定的波动和误差，需采用未标记的晶粒度试样进行训练和优化，降低检测误差，以提高检测重复性。笔者使用NM950-R型八工位自动光学显微镜进行检测，内容主要分为两个方面：一是模型与人工检测的比对。采用晶粒度试样作为素材进行测试，人工将待测试样依次放入八工位自动载物台上，按工位序号依次编辑试样的编码、检测项目等信息，光学显微镜自动识别试样、扫描、取景，接着进行评级模型评级，输出晶粒度级别（结果保留两位小数），将输出的结果与人工检测结果进行比较，当检测结果偏差不大于0.5级时，比对结果合格。二是模型评级结果的重复性。采用晶粒度试样作为素材进行测试，当完成第一次自动评级之后，将自动载物台上的次序混乱或参杂其他物质的试样重新摆放，再次开展自动评级，同一试样两次评级结果的偏差不大于0.25级时，认为模型评级结果重复性好。
通过训练对评级模型进行适应优化，即将模型与人工检测结果偏差超过预期范围的试样进行人工打标，导入卷积神经网络模型，优化标准库，晶粒度结果比对合格率、重复性与样本数量的关系如表7所示。
由表7可知：随着标准库中样本量的增加，评级模型检测结果的重复性，以及与人工比对的合格率均逐步得到改善，持续稳定地对卷积神经网络模型补充新的样本特征，是晶粒度智能评级模型能够输出更准确定量分析结果的保证[6]。
3. 方法验证和评价
3.1 试样制备效果验证
随机抽取部分试样，按文中制定的晶粒度智能评定试样制备方法对试样进行磨抛和腐蚀，采用测量精度为0.001 mm的自动测量台对试样平行度进行测量，采用光学显微镜观察视场表面的品质和腐蚀情况，对试样的制备效果进行验证。共抽查试样70张，试样品种及抽查情况如表8所示。由表8可知：采用晶粒度智能评定试样制备方法制备晶粒度试样的平行度好，晶界腐蚀清晰，试样制备品质满足智能评级要求。
3.2 智能评级与人工比对符合性评价
根据数据库初始样本的钢种分类规则，在10个类别中根据实际生产情况随机抽查一定数量的样本，分别开展晶粒度智能评级和人工检测，要求每个类别的试样个数不少于30个，共计抽查43个钢种牌号、600个试样，根据GB/T 6394—2017《金属平均晶粒度测定方法》对再现性进行规定，设定智能评级结果与人工检测结果偏差不大于0.5级的为合格，则晶粒度智能评级结果合格率达98.2%。晶粒度智能评级与人工检测结果偏差如表9所示。
3.3 智能评级结果的重复性评价
在开展智能评级与人工比对的同时，同步开展晶粒度智能评级结果的重复性试验：在完成第一次晶粒度智能评级之后8 h内，再次开展晶粒度智能评级，将两次结果进行比较，根据GB/T 6394—2017对重复性的规定，偏差不大于0.25级的为重复性好，晶粒度智能评级结果的重复性达98.8%。晶粒度智能评级结果重复性如表10所示。
3.4 智能评级方法效率评估
根据晶粒度智能评级方法检测流程，随机准备32套晶粒度样坯并将其等分成4组，组织4名具有丰富金相检验经验的人员，分别按人工和智能流程开展晶粒度评级工作，统计分析各工序所用时间，相比传统人工方法，文中的晶粒度智能评级方法制样效率提高了23.8%，晶粒度检测效率提高了41.1%。晶粒度智能评级方法制样效率及检测效率如表11，12所示。
4. 结论
（1）通过研究试验，笔者制定了科学的金相试样自动磨抛和腐蚀方法，试样平行度不大于0.05 mm，腐蚀晶界清晰，制样效率提高了23.8%。
（2）基于计算机人工智能和神经网络深度学习等技术建立了钢材晶粒度智能评级方法，自动化检测降低了人工劳动强度，检测效率提高了41.1%。
（3）相比传统金相检验方法，钢材的晶粒度智能评定方法消除了对人工经验的依赖，重复性达98.8%。
来源--材料与测试网
下载: 
沪公网安备31011202020290号
