基于YOLOv5 的瓷砖表面缺陷检测|装修心得网

2024年5月7日发(作者：全球十大床品牌排行榜)

第43卷第9期

2022年5月

包装工程

PACKAGING ENGINEERING

·217·

基于YOLOv5的瓷砖表面缺陷检测

王淑青，顿伟超，黄剑锋，王年涛

（湖北工业大学电气与电子工程学院，武汉 430068）

摘要：目的针对目前的瓷砖表面人工缺陷检测效率低的问题，提出一种基于深度学习YOLOv5算法实

现对生产线瓷砖表面缺陷的检测。方法首先对数据集进行切图分割与数据增强处理，再通过labelimg

对数据集进行数据标注，然后将数据集送入到优化后的YOLOv5网络模型进行迭代训练，并将最优权

重用于测试。结果通过实验对比，YOLOv5模型的检测准确率高于Faster RCNN、SSD、YOLOv4这3

种模型，其检测平均准确度高于96%，平均检测时间为14 ms。结论表明该方法能够检测生产过程中

的瓷砖缺陷问题，在瓷砖缺陷检测上有一定的先进性和实用性。

关键词：瓷砖；YOLOv5；深度学习；缺陷检测

中图分类号：TP391.4 文献标识码：A 文章编号：1001-3563(2022)09-0217-08

DOI：10.19554/.1001-3563.2022.09.029

Ceramic Tile Surface Defect Detection Based on YOLOv5

WANG Shu-qing, DUN Wei-chao, HUANG Jian-feng, WANG Nian-tao

(School of Electrical and Electronic Engineering, Hubei University of Technology, Wuhan 430068, China)

ABSTRACT: In response to the low efficiency of artificial defect detection of the ceramic tile surface, this paper pro-

posed a deep-learning YOLOv5 algorithm to detect the defects of the ceramic tile surface at the production line. For a

start, figure cutting and segmentation, as well as data enhancement processing were performed against the data set. Then,

data in the dataset was labeled through labelimg. In the end, the dataset was sent to the optimized YOLOv5 network model

for iterative training, with the optimal weight used in the test. After comparison in the experiment, the detection accuracy

of the YOLOv5 model is higher than that of the Faster RCNN, SSD and YOLOv4 model, with average accuracy of over

96% and an average detection time of 14 ms, So the method is advanced and practical in ceramic tile defect detection. The

defects of ceramic tiles can be detected during the production process with this method.

KEY WORDS: ceramic tile; YOLOv5; deep learning; defect detection

广东佛山作为国内较大的陶瓷生产制造基地，有

许多的陶瓷厂家和品牌。以抛釉砖生产为例，瓷砖生

产环节包括：原材料混合研磨、脱水、压胚、喷墨印

花、淋釉、烧制、抛光，最后进行质量检测和包装。

目前瓷砖的生产环节已经基本实现无人化，但是在瓷

砖的质量检测环节仍然大量依赖人工检测完成。经调

研，一般一条生产线上需要配2~6名质检工，在车间

收稿日期：20210820

基金项目：国家自然科学基金青年基金（62006073）

长时间在高光下观察瓷砖寻找表面瑕疵。这样就导致

了检测效率低下、质检质量层次不一且检测成本高居

不下。

随着目标检测技术的快速发展，传统机器视觉的

方法被应用于工业中的缺陷检测。如Zhang等

[1]

利用

瓷砖表面缺陷的色彩空间分布差的方法对瓷砖的缺

陷进行检测，检测到的缺陷种类有裂纹、划痕、斑点

作者简介：王淑青（1969—），女，湖北工业大学教授，主要研究方向为人工智能。

·218· 包装工程 2022年5月

和破损。李光亚等

[2]

提出了一种基于Gabor变换与区

域生长的瓷砖表面缺陷视觉检测方法，针对瓷砖的裂

缝、孔洞、麻面、色差缺陷进行检测。张军等

[3]

采用

在自适应形态学预处理后，通过小波变换与形态学融

合的差影法提取裂纹边缘、花纹和部分背景信息，筛

除掉难以处理的花纹与背景区域，成功得到了缺陷轮

[4]

廓。权小霞等提出一种基于局部方差加权信息熵的

检测算法对瓷砖进行缺陷检测，该算法对瓷砖的缺陷

识别率达到93%，并且解决了瓷砖表面背景复杂的问

题。李军华等

[5]

提出一种特征融合的瓷砖表面缺陷检

测算法，该方法通过改进后的SIFT和颜色矩融合特

征作为瓷砖图像的区域，然后通过SVM分类器对瓷

砖进行缺陷分类。虽然传统机器学习方法能够取得较

好的结果，但是传统的机器视觉检测需要特定的预处

理方法来提取有代表性的特征，过程烦琐，并且在检

测速度方面有明显的不足，工业生产过程很难满足实

际生产线上的需求。

文中以瓷砖为研究对象，针对以上问题，提出一

种基于YOLOv5的瓷砖表面缺陷检测检测方法，该

研究首先将获取到的数据集进行数据增强处理，再人

工标注分类，然后将训练图片输入YOLOv5的网络

模型进行训练，得到最好的权重数据模型，最后对测

试的图片进行预测与分析。

1 YOLOv5算法在瓷砖质量检测中的

应用

YOLO模型是一种快速紧凑的对象检测模型，与

其他网络相比，同等尺寸下性能更强，并且一直在稳

步改进。随着YOLOv1到YOLOv4

[6-9]

的提出，极大

地推动了机器视觉和目标检测技术的发展。正当计算

机视觉的研究人员正在努力研究YOLOv4的时候，

Ultralytics LLC团队推出了一个更先进的目标检测网

络模型，即YOLOv5，该模型相较于YOLOv4推理

速度更快，检测精度更高。YOLOv5可以在Tesla P100

上实现140帧/s的快速检测，能够满足工业生产线实

时检测要求。同时YOLOv5最小的权重文件大小只

有27 MB，因此该模型能够更简单、方便地移植到工

业生产线中，对瓷砖表面进行缺陷检测。

1.1 YOLOv5网络模型的介绍

YOLOv5的网络结构分为Input、Backbone、Neck

和Prediction 4部分

[10]

。其网络模型结构见图1。

Input端包含Mosaic数据增强、自适应锚框计算

和自适应图片缩放。Mosaic数据增强将4张图片通

过随机缩放、随机裁剪、随机排布的方式进行拼接，

极大地丰富了数据集样本，使得网络具有更好的鲁棒

图1 YOLOv5模型网络

Fig.1 YOLOv5 model network

第43卷第9期王淑青，等：基于YOLOv5的瓷砖表面缺陷检测 ·219·

性。YOLOv3

[11]

、YOLOv4中训练不同的数据集时，

计算初始锚框的值是通过单独的程序运行的。

YOLOv5将计算初始锚框功能嵌入到代码中，每次训

练时，自适应的计算不同训练集中的最佳锚框值。

YOLOv5 设定的初始锚框为[10，13，16，30，33，

23]、[30，61，62，45，59，119]、[116，90，156，

198，373，326]。自适应图片缩放则可以在推理时降

低计算量，提高目标检测的速度。

Backbone模块主要是由Focus、CSP结构构成

[12]

。

Focus结构是YOLOv5新提出来的结构，其主要作用

就是对图片进行切片操作，见图2。将分辨率为

640×640×3原始图像输入Focus结构，通过切片运算，

首先得到320×320×12 Feature map，然后经过32个卷

积核的卷积运算，最后得到320×320×32 Feature map。

CBL模块表示Conv2D+BatchNormal +LeakyRelu，它

是一个基本的卷积模块。CSP结构主要对特征图进行

特征提取，从图像中提取丰富的信息。与其他大型卷

积神经网络相比，CSP结构可以减少卷积神经网络优

化过程中的梯度信息重复。其参数量占整个网络参数

量的大部分。通过调整CSP模块的宽度和深度，可

以得到YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x4

种不同参数的型号。YOLOv5将SPP模块改变到了

Backbone模块，其主要作用是为了增加网络的感受

野，获取不同尺度的特征。

图2 切片操作

Fig.2 Slicing operation

YOLOv5继承了YOLOv4的优点，在Neck部分

都采用FPN+PAN结构。YOLOv4的Neck结构中，

采用的都是普通的卷积操作。Yolov5的Neck结构中，

采用借鉴CSPnet设计的CSP2结构，加强了网络特

征融合的能力。

Prediction包括Bounding box损失函数和非极大

值抑制（NMS）

[13]

。YOLOv5中边界框损失函数采

用GIoU_Loss损失值计算。非极大抑制可以消除多余

的框，找到最佳的物体检测位置。

1.2 修改分类器

对于COCO数据集

[14]

，有80个对象类别，输出

张量的维数为3×(5+80)=255，其中3表示每个网格预

测的3个边界框，5表示每个预测框的坐标(x, y, w, h)

和置信度(c)。

在瓷砖缺陷检测场景中，有5种类型的缺陷，分

别是边裂的瓷砖、缺角的瓷砖、白色点瑕疵、深色点

块瑕疵和光圈瑕疵，所以需要修改YOLOv5分类器，

修改后输出维度变为3×(5+5)=30。为了适用于瓷砖缺

陷检测场景，文中减少了该模型网络参数的数量，降

低计算的运算量，提高网络检测的准确性和速度。

2 数据预处理

2.1 数据集的采集

文中缺陷瓷砖数据集来自于广东佛山某瓷砖生

产厂。通过在生产线上架设高分辨率高速度工业线阵

相机（CCD）一共收集到7 100张不同类型的缺陷瓷

砖，图片的分辨率有2种，分别为8 192×6 000、

4 096×3 500。针对某些在特定视角下才能拍摄到的缺

陷，每块瓷砖拍摄了3张图，包括低角度光照黑白图、

高角度光照黑白图、彩色图，见图3。该瓷砖厂生产

线所产生的瓷砖瑕疵种类主要包括：瓷砖的边裂、缺

角、白色点块瑕疵、深色点块瑕疵和光圈瑕疵5种类

别，缺陷的瓷砖见图4。

2.2 数据增强处理

由于使用工业CCD相机获取的数据集图片分辨

率过大，而被检测对象的长宽尺寸远小于原始图像尺

寸，所以文中采用一种新的图像预处理方法，即根据

缺陷特征中心的位置对原图像进行切图处理，将切图

获得的图片尺寸设置为640像素×640像素，切图后

获得的图像缺陷特征明显。由于机器学习需要大量的

数据，因此在训练数据之前需要对数据集进行增强处

理以获得大量的数据集图片。针对切图后获取的图片

分别采取水平翻转、竖直翻转、镜像翻转的方法对缺

陷瓷砖数据集图片进行处理，并将处理后的图片加入

到训练集中，经不同方法处理后的图像见图5。经过

数据增强处理后最终得到了14 118张样本图片，包

含不同缺陷类型的瓷砖样本，其中每张样本图片至少

包含一种缺陷类型，各类瓷砖缺陷种类的数量分布见

图6。在算法处理部分还借助Albumentation库进行

数据增强，包括亮度、对比度、滤波、平移缩放旋转、

Cutout等数据增强方式，扩充训练数据集，提升模型

的泛化能力。

2.3 数据标注

训练YOLOv5模型前需要对数据类型进行标注，

使用LabelImg数据标注工具对图片进行标注，标注

缺陷类别分为5类，分别是瓷砖的边裂类别为0，标

签为Edge defect；缺角类别为1，标签为Angle defect；

白色点瑕疵类别2，标签为White dot defect；深色点

块瑕疵类别3，标签为Dark dot block defect；光圈瑕

疵类别4，标签为Aperture defect；标注后将会自动

·220· 包装工程

2022年5

月

a 低角度光照黑

黑白图

高角度光照黑白

高

白图

c 彩色图

图3

CCD相机拍摄

摄图片

Fig.3 Pictu

ures taken by CCCD camera

边

b 缺角 c 白色点块瑕疵

疵 d 深色点块瑕疵深

光圈瑕疵

光

边裂

图

缺陷瓷砖类

类型

Fig.4 Types of tile ddefects

转

d 镜像

翻转

a 原始图像 b 水平翻转 c 竖直翻转

图5 数据增强强

Fig.55 Data enhanceement

生成成YOLO数据据格式的数据据集，文件以

txt

作为后缀

，

文件件名与图片名名保持相同。数数据标注后保保存的文本文件件

部分分内容见表

1。使用代码

码对标注后的数数据集随机划划

分，将90%的标标注图像作为训训练集，10%

%作为测试集

。

表1 数据标注

Tab.1 Data aannotation

缺陷

类别别

0 0

1 1

2 2

0.635 15625

0.628 90625

0.603 90625

0.595 3122 5

0.648 4377 5

0.579 6877 5

0.335 9377 5

0.073 4377 5

0.020 3122 5

0.037 5

0.034 3755

0.015 6255

图6 瓷砖缺陷陷种类的数量分布

Fig.6 The nuumber distributtion of the typees of tile defeccts

注：其中每行均注均代表1个缺陷瓷瓷砖目标的位置置信息；x、y、

w、

h是相对于图

图片尺度的归一一化值，介于0~

~1之间，x、y

分

别代表标注注框中心点在x轴轴和y轴方向的的坐标，w、h分别别

为标注框的宽和高。

第43卷第9期王淑青，等：基于YOLOv5的瓷砖表面缺陷检测 ·221·

3 实验与分析

3.1 实验配置

实验环境使用 Windows 10 操作系统，选用

Pytorch 架构，开发语言为Python，使用GeForce RTX

2080Ti的显卡进行运算，并且配置了CUDA和

CUDNN环境对GPU运算进行加速，加快模型的推

理时间。

3.2 YOLOv5网络训练

网络学习模型的训练基于Pytorch的深度学习框

架，文中使用Adam优化器优化训练的网络，其训练

部分参数设置：输入图片尺寸为640像素×640像素，

迭代批量设置大小为16，总迭代次数为300，动量为

0.937，权重衰减系数为0.000 5，选用自动锚点检测，

采用Mosaic数据增强策略，初始学习率为0.001。当

迭代次数至200时，将学习率降低至0.000 1。大约

在200次迭代后，模型收敛。网络训练的整个过程及

结果都保存在results文件中，并且可以通过Wandb

（Weights & Biases）将模型在线可视化。文中使用

GIoU_loss作为损失函数，见式（1），具体内容见参

考文献[15]。

U

GIoU

IoU



(1)

使用训练好的网络模型对瓷砖测试集进行预测，

按照式（2）分别计算准确率和召回率。



P



(2)





R



式中：T

为被判为正类的正类；F

为被判为正

类的负类；F

为被判为负类的正类。平均精度（P

）

表示PrecisionRecall曲线下面的面积，对该图片每

。

类的平均精度求均值，即P

mAP

，其计算式见式（3）



(3)

mAP

式中：N为该图片不同类别目标的总和。

训练完成后，根据results中的训练数据信息进行

可视化绘图，其损失函数（GIoU_loss）、准确率

（Precision）、召回率（Recall）、平均精度均值

（*******）见图7。

从图7中可知，随着迭代次数的增加，GIoU_loss

损失值在不断的减少，在迭代300次时，损失值<0.04，

模型的最终查准率稳定在98.8%，召回率稳定在

99.6%，平均精度均值稳定在99.5%。从各项评估指

标可以看出该网络模型在训练阶段较为理想。

图7 模型性能评估

Fig.7 Model performance evaluation

·222· 包装工程 2022年5月

3.3 检测结果与分析

使用工业CCD相机在线获取瓷砖生产流水线图

像，用训练好的网络对获得的瓷砖图像进行检测，其

检测效果图片见图8。图8中目标框右上方的数值表

示不同类别标签的置信度，从图8中可以看出，该模

型网络对有明显缺陷特征的边裂、缺角瓷砖检测置信

度高于95%，对不明显小目标的缺陷特征，如白色瑕

疵点、深色瑕疵点和光圈瑕疵瓷砖检测置信度高于

90%。表明该模型网络能够很好地鉴别文中所述的5

种瓷砖缺陷类别。

为了更好地展示YOLOv5的实验结果，在训练

平台信息配置不变的条件下，分别使用Faster

SSD

[17]

和YOLOv4深度学习模型在同一数

RCNN

[16]

、

据集上进行训练和测试分析。不同模型算法的比较检

测结果见表2。

a 边裂

b 缺角

c 白色瑕疵点

d 深色瑕疵点

e 光圈瑕疵

图8 缺陷瓷砖检测效果

Fig.8 Detection effects

第43卷第9期王淑青，等：基于YOLOv5的瓷砖表面缺陷检测 ·223·

表2 不同模型算法的比较检测结果

Tab.2 Comparison of detection results between different model algorithms

各缺陷准确度/%

算法

边裂

Faster RCNN

SSD

YOLOv4

文中算法

平均准确度/%

缺角

93.5

87.6

95.5

99.5

白色瑕疵

89.6

80.5

93.2

96.2

深色瑕疵

85.7

81.8

88.7

91.8

光圈瑕疵

89.9

79.9

92.4

96.4

89.8

83.0

92.5

96.3

处理图片的

速度/(帧·s

−1

)

90.5

85.4

92.8

97.6

由表2可知，文中所用模型的检测平均准确度为

96.3%，分别较Faster RCNN、SSD、YOLOv4网络模

型的检测平均准确度值提高了6.5%、13.3%、3.8%。

同时该模型每秒内处理图片数量的能力高达72帧/s，

相较于其他3个网络模型分别提高了54、46、41帧/s。

该结果表明文中所用算法优于Faster RCNN、SSD、

YOLOv4这3种目标检测网络模型，并且能够满足实

时检测需求。

纹检测[J]. 包装工程, 2018, 39(9): 146-150.

ZHANG Jun, ZHANG Hai-yun, ZHAO Yu-gang, et al.

Crack Detection of Ceramic Tiles Based on Machine

Vision[J].

146-150.

[4] 权小霞, 李军华, 汪宇玲. 基于局部方差加权信息熵

的瓷砖表面缺陷检测[J]. 中国陶瓷, 2019, 55(10):

46-55.

QUAN Xiao-xia, LI Jun-hua, WANG Yu-ling. Tile Sur-

face Defect Detection Based on Local Variance

Weighted Information Entropy[J]. China Ceramics,

2019, 55(10): 46-55.

[5] 李军华, 权小霞, 汪宇玲. 多特征融合的瓷砖表面缺

陷检测算法研究[J]. 计算机工程与应用, 2020, 56(15):

191-198.

LI Jun-hua, QUAN Xiao-xia, WANG Yu-ling. Research

on Defect Detection Algorithm of Ceramic Tile Surface

with Multi-Feature Fusion[J]. Computer Engineering

and Applications, 2020, 56(15): 191-198.

[6] REDMON J, DIVVALA S, GIRSHICK R, et al. You

Only Look Once: Unified, Real-Time Object Detec-

tion[C]// Proceedings of the IEEE Conference on Com-

puter Vision and Pattern Recognition, 2016: 779-788.

[7] REDMON J, FARHADI A. YOLO9000: Better, Faster,

Stronger[C]// IEEE Conference on Computer Vision &

Pattern Recognition, IEEE, 2017: 6517-652.

[8] REDMON J, FARHADI A. Yolov3: An Incremental

Improvement[EB/OL]. (2018-04-08)[2021-01-15].

/1804.02767.

[9] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YO-

LOv4: Optimal Speed and Accuracy of Object Detec-

tion[EB/OL]. (2020-04-23)[2021-01-15]. arxiv.

org/abs/2004.10934.

[10] 王莉

, 何牧天, 徐硕, 等. 基于YOLOv5s网络的垃圾

分类和检测[J]. 包装工程, 2021, 42(8): 50-56.

WANG Li, HE Mu-tian, XU Shuo, et al. Garbage Clas-

Packaging Engineering, 2018, 39(9):

4 结语

为了实现生产线上瓷砖缺陷的自动化检测，并且

提高检测的准确度，文中提出了一种基于YOLOv5

的瓷砖表面缺陷检测方法。该方法可以对瓷砖生产过

程中多种典型缺陷（包括边裂、缺角、瓷砖表面白色

瑕疵、深色瑕疵点或光圈瑕疵等）进行检测识别，经

过实验测试，该模型的平均准确度达到96.3%，且检

测速度快，能满足视频图像实时性要求，为实际工业

场景下瓷砖缺陷检测提供了新的思路。下一步将收集

更多的瓷砖缺陷种类数据集来提高模型的泛化能力，

并且将模型应用到工控机上，以实现移动端实时瓷砖

缺陷检测。

参考文献：

[1] ZHANG Huai-liang, PENG Ling, YU Sheng, et al. De-

tection of Surface Defects in Ceramic Tiles with Com-

plex Texture[J]. IEEE Access, 2021, 9: 92788-92797.

[2] 李光亚, 邹国锋, 傅桂霞. 基于Gabor变换与区域生

长的瓷砖表面缺陷视觉检测方法研究[J]. 现代计算

机, 2019(24): 37-42.

LI Guang-ya, ZOU Guo-feng, FU Gui-xia. Research on

Visual Detection Method of Tile Surface Defects Based

on Gabor Transformation and Region Growing[J].

Modern Computer, 2019(24): 37-42.

[3] 张军, 张海云, 赵玉刚, 等. 基于机器视觉的瓷砖裂

·224· 包装工程 2022年5月

sification and Detection Based on YOLOv5s Net-

work[J]. Packaging Engineering, 2021, 42(8): 50-56.

[11] SONG Yan-an, ZHANG Hui, LIU Li, et al. Rail Surface

Defect Detection Method Based on YOLOv3 Deep

Learning Networks[C]// 2018 Chinese Automation

Congress (CAC), 2018: 1563-1568.

[12] ZHOU Fang-bo, ZHAO Huai-lin, ZHEN Nie. Safety

Helmet Detection Based on YOLOv5[C]// 2021 IEEE

International Conference on Power Electronics, Com-

puter Applications (ICPECA), IEEE, 2021: 6-11.

[13] MISRA D. Mish: A Self Regularized Non-Monotonic

Activation Function[EB/OL]. (2019-08-23)[2020-11-

20]. /abs/1908.08681.

[14] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft

COCO: Common Objects in Context[C]// Computer Vi-

sion – ECCV 2014, 2014: 740-755.

[15] REZATOFIGHI S H, TSOI N, GWAK J, et al. Genera-

lized Intersection over Union: A Metric and a Loss for

Bounding Box Regression[C]// 2019 IEEE/CVF Confe-

rence on Computer Vision and Pattern Recognition

(CVPR), IEEE, 2019: 658-666.

[16] REN Shao-qing, HE Kai-ming, GIRSHICK R, et al.

Faster R-CNN: Towards Real-Time Object Detection

with Region Proposal Networks[J]. IEEE Transactions

on Pattern Analysis and Machine Intelligence, 2017,

39(6): 1137-1149.

[17] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: Sin-

gle Shot MultiBox Detector[C]// Proceedings of Euro-

pean Conference on Computer Vision, Heidelberg:

Springer, 2016: 21-37.

责任编辑：曾钰婵

基于YOLOv5 的瓷砖表面缺陷检测

发布评论取消回复

最近发表

相关推荐

标签列表

基于YOLOv5 的瓷砖表面缺陷检测

发布评论 取消回复

最近发表

相关推荐

标签列表

发布评论取消回复