OpenGL + OpenGL ES +Metal 系列文章汇总Metal介绍 Metal是苹果在2018年推出用于取代在苹果端的业务的图形编程接口,在2018年之前使用的是基于OpenGL ES 封装的
GLKit
,通过Metal相关API直接操作GPU,能最大限度的利用GPU能力。特点
Metal具有以下特点
- 低CPU开销
- 最佳GPU性能,即metal 能在GPU上发挥最大的性能
- 最大限度的提高CPU/GPU 的并发性
- 有效的资源管理
文章图片
特点 图形管道 graphics pipelines
Metal中图形管道与OpenGL ES是一致的,并没有什么差别,如图所示
文章图片
metal中的图形管道
- 通过CPU将顶点数据传递到顶点着色器
- 顶点着色器将处理好的顶点进行图元装配
- 然后进行光栅化,得到每个像素点的颜色值
- 然后将颜色传入片元着色器进行处理
- 最后将数据存储到帧缓存区,并显示到屏幕上
苹果对metal的使用有以下几点建议:
-
Separate Your Rendering Loop
分开渲染循环:不希望将渲染的处理放到VC中,希望将渲染循环封装在一个单独的类中 -
Respond to View Events
响应视图的事件,即MTKViewDelegate
协议,也需要放在自定义的渲染循环中 -
Metal Command Objects
创建一个命令对象,即创建执行命令的GPU设备、MTLCommandQueue
命令队列以及驱动GPU的MTCommandBuffer
渲染缓存区
metal命令对象之间的关系如下图所示
文章图片
metal命令对象间的关系
- 命令缓存区(command buffer)是从命令队列(command queue)创建的
- 命令编码器(command encoder)将命令编码到命令缓存区中
- 提交命令缓存区并将其发送到GPU
- GPU执行命令并将结果呈现为可绘制
Metal API MTKView
在MetalKit中提供了一个视图类
MTKView
,类似于GLKit中GLKView
,它是NSView(macOS中的视图类)或者UIView(iOS、tvOS中的视图类)的子类。用于处理metal绘制并显示到屏幕过程中的细节。所以在使用metal时,首先需要先创建
MTKView
对象,有两种创建方式- 直接修改storyboard中view的类
- 使用init创建
由于metal是操作GPU的,所以需要获取GPU使用权限,即拿到GPU对象,Metal中提供了
MTLDevice
协议表示GPU接口,在iOS中一般是通过默认的方式MTLCreateSystemDefaultDevice()
获取GPU_view.device = MTLCreateSystemDefaultDevice();
metal的使用必须使用真机,且必须是6s及以上的机型MTLDevice协议表示可以执行命令的GPU,提供了如下功能
如果设备不支持mental,将会返回空
如果想使用多个MTLDevice实例,或者从一个MTLDevice切换到另一个,则需要为每个MTLDevice创建单独的一组对象
- 创建新的命令队列
- 从内存分配缓冲区
- 创建纹理
- 查询设备功能
文章图片
MTLDevice提供的功能
MTLCommandQueue
在获取了GPU后,还需要一个渲染队列,即命令队列Command Queue类型是
MTLCommandQueue
,该队列是与GPU交互的第一个对象,队列中存储的是将要渲染的命令MTLCommandBuffer
。队列的获取需要通过
MTLDevice
对象获取,且每个命令队列的生命周期很长,因此commandQueue可以重复使用,而不是频繁创建和销毁。_commandQueue = [_device newCommandQueue];
在绘制之前,首先需要配置好MTKView、MTLDevice以及MTLCommandQueue后,其次是准备渲染到屏幕上的数据,即准备缓存数据
MTLCommandBuffer
,例如顶点数据等。简单的渲染流程就是
- 先通过
MTLCommandBuffer
创建渲染缓存区, - 其次通过
MTLRenderPassDescriptor
创建渲染描述符, - 然后再通过创建的渲染缓存区和渲染描述符创建命令编辑器
MTLRenderCommandEncoder
进行编码 - 最后是结束编码,提交渲染命令,在完成渲染后,将命令缓存区提交至GPU
命令缓存区 Command Buffer主要是用于存储编码的命令,其生命周期是知道缓存区被提交到GPU执行为止,单个的命令缓存区可以包含不同的编码命令,主要取决于用于构建它的编码器的类型和数量。
命令缓存区的创建可以通过调用
MTLCommandQueue
的commandBuffer
方法。且command buffer对象的提交只能提交至创建它的MTLCommandQueue
对象中commandBuffer在未提交命令缓存区之前,是不会开始执行的,提交后,命令缓存区将按其入队的顺序执行,commandBuffer的提交方式有以下两种,不同的提交方式表示不同的执行顺醋
-
enqueue
:顺序执行,enqueue方法在命令队列中为命令缓存区保留一个位置,此时并未提交命令缓存区,当最终提交命令缓存区后,按照命令队列的顺序依次执行 -
commit
:插队尽快执行,如果前面有commit还是需要排队等着
文章图片
渲染缓存区提交的方式-苹果原话
MTLRenderCommandEncoder表示单个渲染过程中相关联的渲染状态和渲染命令,有以下功能:
-
指定图形资源
,例如缓存区和纹理对象,其中包含顶点、片元、纹理图片数据 - 指定一个
MTLRenderPipelineState
对象,表示编译的渲染状态,包含顶点着色器和片元着色器的编译&链接情况 -
指定固定功能
,包括视口、三角形填充模式、剪刀矩形、深度、模板测试以及其他值 - 绘制3D图元
文章图片
MTLRenderCommandEncoder命令编辑器提供的功能
MTLRenderPassDescriptor
,渲染描述符通过MTKView
的currentRenderPassDescriptor
获取MTLRenderPassDescriptor *renderPassDescriptor = view.currentRenderPassDescriptor;
然后通过commandBuffer结合渲染描述符创建命令编辑器
id renderEncoder = [commandBuffer renderCommandEncoderWithDescriptor:renderPassDescriptor];
通过苹果官方文档-MTLRenderCommandEncoder,着重说下使用渲染命令编码器执行渲染的过程
文章图片
命令编码器执行渲染的流程
- 通过调用
MTLCommandBuffer
对象的makeRenderCommandEncoder(descriptor :)
方法来创建MTLRenderCommandEncoder
对象。 - 调用
setRenderPipelineState(_ :)
方法以指定MTLRenderPipelineState
,该状态定义图形渲染管道的状态,包括顶点和片段函数。 - 指定用于顶点和片元函数输入和输出的资源,并在对应的参数中设置每个资源的位置(即索引),即将顶点数据等通过commandEncoder调用
setVertexBytes:length:atIndex:
函数传递到metal文件的顶点着色器和片元着色器函数 - 指定其他的固定功能状态,例如通过commandEncoder调用
setViewport:
函数设置视口大小等 - 绘制图形
- 调用
endEncoding()
方法以终止渲染命令编码器。
- Metal苹果官方使用链接
Metal Best Practices Guide
Metal Programming Guide
- Metal中常用的API
MTKView
- Metal中的常用协议
MTLDevice
MTLCommandQueue
MTLCommandBuffer
MTLCommandEncoder
- 【Metal|Metal 简述 & API】Metal案例(苹果官方提供)
Metal Sample Code