变电图像分析算法交底材料（二）
承接上篇
··························································································································
球状刀闸开关状态识别
图例：
文章图片
图像要求：1.文字区域清晰可见。球状刀闸分合整体区域大于 200x200（1080p）。2.球状刀闸有两块颜色和文字区域，无特殊角度要求，只需要其中一边明显清晰就可以识别，如下图所示：
文章图片
自有数据集上识别准确率：95%以上。
识别速度：400ms/帧。
分合文字状态识别
图例：
文章图片
图像要求：1.字符区域完整清晰无遮挡，文字分合整体区域大于 200x200（1080p）。
自有数据集上识别准确率：95%以上。
识别速度：400ms/帧。
备注：保证目标清晰明确。摄像机焦距合适。分合文字开关主要依靠颜色和中文字符判断其状态，因此光照会对其造成一定的影响，过亮会出现反光的情况，导致判断不准确。夜晚拍摄会有色差，无法分辨绿色或者红色，晚上拍摄也会影响文字的识别准确率。
指针式分合开关状态识别
图例：
文章图片
图像要求：1.红色指针区域完整清晰无遮挡，指针加分合字符整体区域大于 200x200（1080p）。2.摄像机与目标区域与目标区域法线之间的夹角不大于45度3.尽量避免反光情况
自有数据集上识别准确率：95%以上。
识别速度：600ms/帧。
1.1.4 油位状态识别算法
室外油位视窗读数识别
支持图例：
文章图片
文章图片
文章图片
图像要求：1.视窗外观清晰，视窗内部油位位置清晰。油位视窗区域200x200以上（1080p）。2.摄像机与油位视窗连线与油位计法线之间的夹角不大于30度；
自有数据集上识别准确率：90%左右。
识别速度：800ms/帧。
备注：图像中OSD会对目标造成干扰甚至是遮挡（如下图）。油位视窗主要识别视窗中的黑线或者白线，因此在夜晚环境或者阳光过于强烈的环境中会导致线条不明显，从而影响识别结果。
如下图，左图由于光线不合适，几乎无法看到油位视窗的位置，油位位置无法识别。第二张图片中，任务巡检中这几个OSD对油位视窗造成了干扰。
文章图片
文章图片
1.1.5 数字识别算法
计数器数字识别
支持图例：
文章图片
文章图片
图像要求：1.数字区域清晰可见，整体数字区域在70x70以上（1080p）。2.摄像机与目标区域与目标区域法线之间的夹角不大于15度(表计上的数字可以到30度)；3. 摄像机安装位置及角度应避免目标区域有反光；
自有数据集上识别准确率：85%。
识别速度：500ms/帧。
LED数字识别
图例：
文章图片
图像要求：1.数字区域清晰可见，整体数字区域70x70以上（1080p）。2.摄像机与目标区域与目标区域法线之间的夹角不大于30度；3. 摄像机安装位置及角度应避免目标区域有反光；
自有数据集上识别准确率：88%。
识别速度：500ms/帧。
备注：小数点识别效果不佳，目前提供的数字识别不包含小数点。led数字会有反光、光晕的情况，这些状态下识别效果不佳（70%左右），拍摄时尽量保证光照条件合适，如下图所示：
文章图片
1.1.5 汇控柜类状态识别算法
把手状态识别
图例：
文章图片
图像要求：1.目标区域清晰可见，待检测目标区域100x100（1080p）以上 2.摄像机与目标区域与目标区域法线之间的夹角不大于45度；
自有数据集上识别准确率：95%。
识别速度：400ms/帧。
备注：保证目标清晰明确。
柱状压板状态识别
图例：
文章图片
图像要求：1.单个压板区域大于50x100（1080p）。2.摄像机与目标区域与目标区域法线之间的夹角不大于20度；
自有数据集上识别准确率：95%以上。
识别速度：400ms/帧。
备注：保证目标清晰明确。保证压板的完整性，如果有压板在图像边界处，在图片中不完整，会造成识别不准。下图为倾斜图片示例，该图片最后一排右下角两个压板由于俯视角度过大，开合状态较难分辨。
文章图片
一字压板状态识别
图例：
文章图片
图像要求：1.单个压板区域大于50x100（1080p）2.摄像机与目标区域与目标区域法线之间的夹角不大于20度；
自有数据集上识别准确率：92%以上。
识别速度：400ms/帧。
备注：保证目标清晰明确。保证压板的完整性，如果有压板在图像边界处，在图片中不完整，会造成识别不准。
空气开关状态识别
图例：
文章图片
图像要求：1.单个空气开关区域大于 100x50（1080p）。2.摄像机与目标区域与目标区域法线之间的夹角不大于20度；
目前在我们自己的数据集上识别准确率：95%。
识别速度：400ms/帧。
备注：保证目标清晰明确。保证空气开关的完整性。
指示灯亮灭识别
图例：
文章图片
图像要求：1.指示灯清晰完整即可。单个指示灯区域大于 50*50（1080p）。2.摄像机与目标区域与目标区域法线之间的夹角不大于20度；3. 摄像机安装位置及角度应避免目标区域有反光；
自有数据集上识别准确率：90%。（主要在小指示灯识别上容易判错）识别速度：400ms/帧。
1.2缺陷识别类算法
1.2.1 表计模糊识别
图例：
文章图片
对表计外观是否存在雨水等模糊现象进行识别。
在现有数据集上的评价值：77%（按照电科院的标准，最终评价值=0.5AP+0.3Recall+0.2*Precision,下同）。
识别速度：800ms/帧。
1.2.2 表计破损识别
图例：
文章图片
对表计及外壳外观是否存在破碎/裂纹等现象进行识别。
在现有数据集上的评价值：79%。
识别速度：800ms/帧。
1.2.3 绝缘子破损识别
图例:
文章图片
对绝缘子串是否存在破碎/裂纹等缺陷进行识别。
在现有数据集上的评价值：53%。识别速度：800ms/帧。
1.2.4 呼吸器硅胶变色识别
图例:
文章图片
对呼吸器硅胶变色的缺陷进行识别。
在现有数据集上的评价值：90.2%。
识别速度：800ms/帧。
1.2.5 呼吸器油封破碎识别
图例:
文章图片
对呼吸器油封及硅胶桶破碎的缺陷进行识别。在现有数据集上的评价值：79%。
识别速度：800ms/帧。
1.2.6 高空悬浮物识别
图例：
文章图片
对变电站区域内塑料袋/飘带等高空悬浮物进行识别。
在现有数据集上的评价值：47.4%。
识别速度：800ms/帧。
1.2.7 鸟窝异物识别
图例：
文章图片
对变电站区域内鸟窝异物进行识别检测。
在现有数据集上的评价值：78.4%。
识别速度：800ms/帧。
1.2.8 地面油污识别
图例：
文章图片
对变电站区域地面渗漏油缺陷进行识别检测。
在现有数据集上的评价值：60.9%。
识别速度：800ms/帧。
1.2.9 部件油污识别
图例：
文章图片
对变电区域内部件渗漏油缺陷进行识别检测。
在现有数据集上的评价值：47.4%。
识别速度：800ms/帧。
1.2.10 金属锈蚀识别
图例：
文章图片
对变电区域内的金属锈蚀缺陷进行识别检测。
在现有数据集上的评价值：44.1%。
识别速度：800ms/帧。
2. 典型问题释疑
2.1表计读数识别对表计拍摄角度有什么要求
【变电图像分析算法交底材料（二）】表计的识别对图像拍摄角度没有明显特别要求，主要对表计目标尺寸有要求，最好在300*300像素以上。
表计识别目前的局限主要在以下几点：
指针相对表盘背景对比不明显时，识别略差，如下图（右图的角度也能接受，但对比度不明显）
文章图片
文章图片
文章图片
颜色相同的指针存在无法分辨的问题（即两个指针输出两个相同的读数）
文章图片
2.2 表计区域300*300像素以下是否就没法识别
我们建议表计区域300*300像素以上为佳，表计尺寸较小但表计指针部分相对表盘背景明显同样可测，但容易不稳定，受光照等外部条件影响大。如下图。
文章图片
2.3 图像中存在多个表计，能否同时识别
可以同时识别。但应用端需要做些对应，哪个读数对应哪个表。并且多个表计的朝向没有特别要求。
文章图片
2.4哪些算法需要配置，预置点偏离后算法是否还能准确识别
目前只有表计类(确切说是指针类)算法需要人工配置，也就这类算法对预置点的偏离和人为移动相对敏感，算法可以修正平移偏差，但大的旋转变化会引起读数识别错误。
2.5表计种类很多，同一种表计外观也不尽相同，目前支持哪些表计的识别
包括但不限于上述类型的表计，原则上，无论表计外观如何，所有指针型表计都可以识别（包含下图类型），也包括单指针/颜色不同的双指针，但是需要提供对应的素材评估以及进行训练
文章图片
文章图片
文章图片
2.6隔离开关一般有A/B/C三相，可以同时识别吗
一张图像中包含A/B/C三相，可支持同时识别，但需要上层应用做对应（分属哪个开关）。分析服务器只给出位置和开关状态信息。同理，一张图片弱包含多个目标也需要上层应用做对应。
2.7夜晚条件能否识别
原则上夜晚是无法进行正常的巡检。很多的分析算法是依赖于颜色信息的
推荐阅读
- 如何寻找情感问答App的分析切入点
- D13|D13 张贇 Banner分析
- Java|Java OpenCV图像处理之SIFT角点检测详解
- 自媒体形势分析
- 2020-12(完成事项)
- Android事件传递源码分析
- Python数据分析(一)（Matplotlib使用）
- 泽宇读书会——如何阅读一本书笔记
- Java内存泄漏分析系列之二（jstack生成的Thread|Java内存泄漏分析系列之二：jstack生成的Thread Dump日志结构解析）
- ffmpeg源码分析01（结构体）