今天给大侠带来基于FPGA的实时图像边缘检测系统设计，由于篇幅较长，分三篇。今天带来第一篇，上篇，话不多说，上货。
导读 随着科学技术的高速发展，FPGA在系统结构上为数字图像处理带来了新的契机。图像中的信息并行存在，因此可以并行对其施以相同的操作，使得图像处理的速度大大提高，这正好适合映射到FPGA架构中用硬件算法得以实现。
本篇阐述了基于FPGA设计一个能够实时采集、实时处理并实时显示的数字图像处理系统的设计思想和流程，分析了摄像头接口的时序；阐述了图像信息的捕获原理；详细介绍了图像边缘检测部分各模块的功能；重点介绍了具有去噪功能的中值滤波模块的设计；简单描述了边缘检测算子的选用；系统的介绍了SDRAM的工作原理以及控制方式；介绍了VGA时序；最后针对整个系统做了验证和总结，包括仿真波形的验证以及板级验证。
该系统基于实体FPGA开发板实现了图像数据的实时采集、实时边缘检测和实时显示，运行稳定，实时性能较高，从而也表明FPGA确实具有海量数据高速传输的能力。
本篇为本人当年的毕业设计部分整理，各位大侠可依据自己的需要进行阅读，参考学习。
第一篇内容摘要：本篇会介绍前言，包括课题研究的背景和意义、相关技术在国内外的发展现状及应用、图像边缘检测技术的主要应用、FPGA技术在国内外的发展现状及应用、系统设计的主要内容及方案、系统的设计流程。
还会介绍基于FPGA实现图像的实时采集部分，包括图像信息的实时采集，摄像头型号及其参数，SCCB总线特点及其工作原理，基于FPGA驱动摄像头接口，图像信息的实时捕获等相关内容。
一、前言
1.1 课题研究的背景和意义
信息化是本世纪最主要的特征之一，在这样一个信息化的时代，计算机显得尤为重要，在各行各业都起着举足轻重的作用。在图像处理领域，数字图像处理技术发展得尤为迅速，并广泛应用于航空航天、电子通信、医学等各个领域，随着技术的不断发展，新开发的产品在图像质量、图像存储容量以及图像处理速度等方面也都有了新的需求。数字图像处理，往往是基于像素进行一些运算，从而有效提高图像质量。在图像处理过程中，处理算法往往比较简单，然而由于参与运算的图像数据量大，大多数图像数据还需要多次重复使用，因此图像处理的速度便成为了整个系统设计的瓶颈。
目前，图像处理的算法研究已经日趋成熟，在这种背景下，有效提高图像处理的时效性，解决实际系统设计的瓶颈问题，便有了很大的应用前景。随着科学技术的高速发展，FPGA在系统结构上为数字图像处理带来了新的契机。图像中的信息并行存在，因此可以并行对其施以相同的操作，使得图像处理的速度大大提高，这正好适合映射到FPGA架构中用硬件算法得以实现。
数字图像处理技术包括图像增强、图像复原、模式识别等，图像中亮度变化明显的点可能就是边缘点，能够有效地检测出图像的边缘，将对图像的后续处理起到事半功倍的作用。通过边缘检测过程，我们可以保留图像中对象的边界信息，这在很大程度上减少了待处理的数据量，从而有效简化了图像的分析过程。
FPGA结构灵活、现场可编程、并行处理信息，兼顾速度和灵活性。另外，其通用性强、适于模块化设计、易于维护和扩展、开发周期较短，适合用来做实时图像处理。因此，基于FPGA设计一个基于VGA实时显示图像边缘检测信息的系统有着广泛的应用前景和深远的现实意义。
1.2 相关技术在国内外的发展现状及应用
1.2.1 图像边缘检测技术的主要应用
1）边缘检测在储粮害虫方面的应用
农业是我国的主要根基，虫害是储粮的大敌，近年来，对储粮产生威胁的害虫种类和密度均呈上升趋势，导致国家的储粮损失日益严重。为了降低储粮损失，有效防治害虫，就必须要尽可能准的分析它们的种类、数量、发展趋势及其潜在危害。利用计算机实时采集储粮害虫的相关图像、数字化处理、分析识别，自动提取储粮害虫的种类、数量等相关信息，并由计算机系统输出数据、发出指令，这就构成了当今的科学保粮专家系统。基于机器视觉实时监测虫害信息并智能化处理是虫情检测的发展趋势，虫害图像处理算法则是关键核心问题，其中，图像的边缘检测技术起到了非常关键的作用。
2）图像边缘检测技术在电厂中的应用
在电厂中，其安全和经济运行主要取决于其锅炉燃烧的稳定性。20世纪80年代，出现了一种将计算机技术、数字图像处理技术以及燃烧学等技术相结合应用的跨学科技术——锅炉图像火检技术。其原理是利用计算机分析火焰图像，从而得到关于炉内运行情况的大量原始信息。利用计算机对火焰图像进行数字处理，提取火焰亮度均值、火焰燃烧中心以及火焰锋面位置等参数，从而分析描述炉内燃烧的整体水平、火焰中心位置以及火焰充满程度等信息。该技术的核心之一就是图像边缘检测技术。
目前，边缘检测技术已渗透到各个领域，例如医学细胞检测领域、产品外观检测领域、模式识别领域等。
1.2.2 FPGA技术在国内外的发展现状及应用
FPGA即现场可编程门阵列（Field－Programmable Gate Array），是当前用于IC设计的主流形式之一，具有近乎完美的现场编程架构，极具发展潜力。FPGA所能实现的数据流的高速传输性能是目前没有任何技术能够与之抗衡的，在这个处处都追求速度的社会，FPGA几乎无处不在。随着信息产业和微电子技术的发展，可编程逻辑嵌入式系统设计技术已经成为信息产业最热门的技术之一，应用范围遍及航空航天、医疗、通讯、网络通讯、安防、 广播、汽车电子、工业、消费类市场、测量测试等多个热门领域。2008年北京奥运会的主舞台中——画卷就用到了4000个FPGA芯片，这是FPGA在图像领域中的应用；FPGA在人脸、车牌等物体检测中得到了广泛应用，航空航天领域中导弹轨迹的实时监测也少不了它；奥迪选择了两个FPGA芯片用于它的导航定位系统，这是FPGA在汽车电子领域中的应用。
FPGA最主要的优势有四点：①FPGA用硬件描述语言（VHDL或Verilog）进行描述，并发执行，除此之外，FPGA内部集成锁相环，可以把外部时钟倍频，核心频率可高达几百兆，在高速领域，FPGA无法被取代；②FPGA可现场编程，具有近乎完美的现场编程架构，可根据用户需求实现定制；③基于FPGA可以实现SOC的设计（内部集成ARM）；④FPGA可以内嵌CPU，甚至可以嵌入多核。
随着科技的发展，人们对数字图像处理技术的要求也越来越苛刻，FPGA具有高速运算、微型体积、较低功耗等诸多优点，这使得FPGA技术在数字图像处理领域中必将起着不可替代的作用。
1.3 课题研究的主要内容及方案
1.3.1 题研究的主要内容
21世纪是一个高速的信息时代，在众多信息中，图像类信息是其中的一大类，对图像信息实时、高速、准确的处理一直都是学者们研究的一大热点。图像处理一般指数字图像处理：就其技术本身而言，包括图像增强、图像复原、图像匹配、模式识别等，无论是那一种技术，都脱离不开同一个话题——图像边缘检测，换言之，图像处理技术的好坏很大程度上就取决于是否能够对图像边缘的信息处理妥当；就其处理形式而言，包括静态处理和实时处理，所谓图像的静态处理，就是对静态图像的处理，而实时的图像处理，就是对持续更新的图像信息进行处理。
本课题研究的主要内容就是基于VGA实时显示由摄像头所捕获图像的边缘信息，整个系统设计基于FPGA实现：首先是基于FPGA实现图像数据的实时采集；接着对捕获到的信息进行边缘检测，这里分为三步完成（先是将捕获到的彩色图像转换成为亮度文件，接着采用中值滤波对图像进行有效去噪，然后采用sobel算子对图像进行边缘检测）；最后基于FPGA驱动VGA接口实时显示检测得到的图像边缘信息。
1.3.2 系统的设计流程
本课题基于FPGA实现，主要涉及到以下内容：1、摄像头接口的驱动；2、图像数据的实时捕获；3、彩色图像到灰度图像的转换；4、中值滤波；5、边缘检测；6、图像数据实时存储；7、图像信息实时显示。具体设计流程如图1-1所示。
文章图片
图1-1 系统设计流程
二、基于FPGA实现图像的实时采集
2.1 图像信息的实时采集
2.1.1 摄像头型号及其参数
人对视觉的感知往往以图像的形式再现，图像可以由光学设备获取，也可以由人为创作。随着数字采集技术和处理技术的发展，越来越多的图像以数字形式存储，即数字图像。数字图像以二维数字组的形式表示，用数值表示各像素灰度值的集合，用来表示图像的数据体称为图像数据。数字图像处理的过程就是利用计算机对获取的图像数据进行去噪、增强、特征提取的过程。本课题的主要任务就是实现图像的实时采集、实时处理并实时显示，因此我们的首要任务就是实现图像的实时采集，这里我选用摄像头作为我获取图像的设备，基于FPGA按照相应的时序驱动摄像头接口。
本系统选用由豪威公司生产的Ov7725 CMOS Sensor摄像头进行设计和调试。Ov7725 属于VGA分辨率的CMOS Sensor，其分辨率最高达640*480，成像质量优越，功耗小，开发简单，受到很多中低端产品的青睐。Ov7725是一款集成1/4英寸单芯片VGA相机及图像处理器的高性能传感器。由于该型号摄像头的质量和性能可靠，因此在PC相机、玩具、手机等众多移动产品中均有诸多应用。
1）Ov7725 CMOS Sensor摄像头的参数及特点
（1）图像饱和度、锐度、噪声抑制等可调节；
（2）自动调节边缘的增强与衰弱，自动调节噪声的抑制；
（3）具有标准的SCCB（相机控制总线）接口，可以配置输出 RAW RGB、RGB422、RGB565、RGB444、YUV422等格式的视频流；
（4）支持VGA、QVGA以及4030到CIF（352288）分辨率的图像尺寸；
（5）能通过配置实现帧同步模式；
（6）高灵敏度，适合低照度使用；
（7）自动曝光（AEC）、自动白平衡（AWB）、自动带通滤波（ABF）、自动黑白电平校准（ABLC）；
（8）拥有640480的感光阵列，最高支持640480@60hz图像输出。
2）Ov7725 CMOS Sensor摄像头的内部功能模块框架与说明
文章图片
图2-1 Ov7725 CMOS Sensor 内部模块框架
如图2-1所示为Ov7725 CMOS Sensor摄像头的内部模块框架，从框架中可以看出，我们可以通过SCCB接口来配置Ov7725的寄存器。其工作原理如下：在XCLK的驱动下，首先由感光元件阵列进行相关图像的采样，并默认输出640*480阵列的原始模拟数据；然后通过12bit的A/D转换，将原始模拟数据转换成为数字信号（原始数字信号格式为 RAW RGB）；最后通过DSP进行相关的算法处理，并最终输出10bit 视频流数据。
3）Ov7725传感器的控制信号接口及其功能描述
表2-1 Ov7725传感器控制信号的功能描述
文章图片
4）Ov7725传感器的寄存器说明
Ov7725 CMOS Sensor一共有172个配置寄存器，在这172个寄存器中，有的只能读，有的只能写，有的则既可读又可写。在传感器正式工作之前，必须首先对寄存器进行正确的配置，否则将无法得到预期的工作模式，更别说得到较好的画质和相应的图像效果。然而这172个寄存器并非都需要我们配置，需要我们配置的只是个别重要的寄存器。其配置的方式就是通过SCCB总线进行相关操作，其余寄存器则采用默认值。表2-2中所介绍的寄存器主要与视频图像输出格式、采样画质、曝光参数等有关。
表2-2 Ov7725传感器的寄存器介绍
文章图片
文章图片
2.1.2 SCCB总线特点及其工作原理
1）SCCB总线特点
SCCB（Serial Camera Control Bus）接口，即串行相机控制总线。Ov7725的SCCB总线实际上就是我们常用的IIC通信总线，用于完成对绝大多数OmniVision 系列图像传芯片功能的控制。Ov7725的SCCB接口有两根信号线：一根是时钟线SCL；一根是数据线SDA。通过这两根线我们就能够完成Ov7725寄存器的配置，从而驱动Ov7725使其实时采集到我们所需要的图像信息。
SCCB总线的控制方式简单，通信速率较高，具有以下特点：
（1）SCCB总线只需要两根线，一根数据线SDA，一根时钟线SCL；
（2）SCCB总线不需要片选信号就可以实现多个设备的链接，可以通过从机的唯一地址识别码来访问，最终实现器件信息的配置；
（3）SCCB总线上的所有器件都具有“自动应答”功能，从而保证了数据交换的正确性。同时SCCB总线还具有“时钟同步”功能，其时钟频率最大约为400KHz。
2） SCCB总线的接口时序
SCCB总线是由数据线SDA和时钟线SCL构成的串行总线，可以实现数据的发送和接收，
SCCB总线通过串行方式发送8位数据，基本时序如下：首先发送数据的最高位，最后发送数据的最低位；每发送完一组8bit的数据，都需要通过接收从机发送的一个响应信号来判断本次发送数据是否正确。
在我们按照SCCB协议发送或接收数据时，需要特别注意以下几点：
（1）开始信号和结束信号
当时钟信号SCL为高电平时，数据线SDA由高电平跳变到低电平的时刻即为开始信号，自此时起数据开始传输；当时钟信号SCL为高电平时，数据线SDA由低电平跳变到高电平的时刻即为结束信号，数据传输在此时结束。
2）应答信号ACK
每8位数据发送完毕之后，外围设备向发送数据的控制器（FPGA芯片）发出低电平应答信号表示已经接收到数据，这个信号叫做应答信号。控制器（FPGA芯片）接收到应答信号之后，会据此判断并作出是否继续传递信号的决定。如果控制器（FPGA芯片）没有接收到应答信号，控制器就会认为是受控制的外围设备出现故障，因此需要重新进行配置，直到成功接收到外围设备所发出的正确的应答信号。
（3）数据传输
SCCB总线在进行数据传输时，时钟信号SCL为高电平，同时数据线SDA上的数据必须保持稳定，只有这样才能够保证所传输数据的稳定性和可靠性。因此只有当时钟信号为低电平时，数据线上的高电平信号或者低电平信号才允许变化。
3）使用 SCCB总线配置Ov7725的寄存器
基于上述的分析，我们对SCCB总线时序已经有了一定的了解，接下来就可以按照指定的流程来配置Ov7725的寄存器：通过发送器件地址、寄存器地址、寄存器参数数据等参数的配置，最终完成寄存器的读操作和写操作。
（1）SCCB总线寄存器的写入时序
SCCB总线在给寄存器写数据的时候，需要按照一个严格的时序来执行：先写设备地址，再写寄存器地址，最后写入寄存器的参数，即可完成一个寄存器的配置，
Phase 1：CMOS传感器的唯一ID地址。豪威（OmniVision）相机的设备地址是0x42，最后1bit是用来判断读/写的：写数据时ID地址是0x42，而读数据时ID地址是0x43；
Phase 2：传感器里面有许多的寄存器，这些寄存器都有着自己唯一的地址，这里我们只关心Sub-address；
Phase 3：在Phase中发送完寄存器的地址之后，该阶段发送的数据就是寄存器的配置数据。
由官网手册可以知道这里面的X代表低电平，也就是逻辑“0”。
（2）SCCB总线寄存器的读数据时序
SCCB总线从寄存器往外读数据的时候，也需要遵循一个严格的顺序：先写设备地址，再写寄存器地址，然后再写入一次设备地址，最后读出数据。
Phase 1：CMOS传感器的唯一ID地址。豪威（OmniVision）相机的设备地址是0x42，最后1bit是用来判断读/写的，即写数据时ID地址是0x42；
Phase 2：传感器里面有许多的寄存器，这些寄存器都有着自己唯一的地址，这里我们只关心Sub-address；
Phase 3：CMOS 传感器的唯一ID地址。豪威（OmniVision）相机的设备地址是0x42，最后1bit是用来判断读/写的，即读数据时ID地址是0x43；
Phase 4：读取传感器发送的指定的寄存器的值。
由官网手册可以知道这里面的X代表低电平，也就是逻辑“0”，NA表示高电平，也就是逻辑“1”。
2.1.3 基于FPGA驱动摄像头接口
理解了SCCB总线的时序，我们就可以按照相应的时序编写控制代码，如图2-9所示为工程RTL级视图中的sccb_config_ctrl模块，其功能是实现摄像头接口的驱动，该模块代码及说明见附录。
文章图片
2.2 图像信息的实时捕获等相关内容
通过摄像头的采集，我们得到了视频数据流，但是我们所要处理的是单帧的图像数据，因此需要实时捕获数据流中的图像数据，为后续的图像处理做准备。如图2-10所示为工程RTL级视图中的coms_capture_rgb565模块，其功能是实现图像信息的实时捕获，该模块代码及说明见附录
文章图片
【fpga开发|基于FPGA的实时图像边缘检测系统设计（上）】
推荐阅读
- fpga开发|基于FPGA的实时图像边缘检测系统设计
- 数字IC面经|数字IC笔面试（一）——联发科提前批笔试题记录
- FPGA图像处理及仿真测试|FPGA实现图像二值形态学滤波——腐蚀膨胀
- python|（七）PyTorch深度学习（全连接层网络）
- python|基于MediaPipe的手势识别
- 算法|永远退出机器学习界！从业八年，Reddit网友放弃高薪转投数学（风气太浮夸）
- 大数据|【康奈尔大学】机器学习领域读博这段旅程的一些感悟
- 技术学习笔记|机器学习入门笔记（二）行业分析
- 人工智能|「博士毕业一年，我拿下 ACL Best Paper」