锐客网

  1. 首页 > 睿知 > it技术 > >

HEXA娱乐开发日志番外000——Gstreamer编程入门

HEXA开发日志目录

番外篇从此开始，番外用于讲一些HEXA开发过程中的一些在日志中不便展开的一些点点滴滴。
前言
  • 如题，本篇要讲的是Gstreamer的简单使用，最好是看官方文档，除非看英文文档对你来说太痛苦，那就来看这篇好了。
  • 本篇虽然是讲编程，不讲命令行，但是在编程或编写命令行之前的准备工作都是类似的，可以作为参考。
Gstreamer简介 它的来历我还没有了解，目前我只知道它是一个在Linux环境上很容易制作流媒体应用的程序框架。
单说Gstreamer的话，它只是个框架，如果把框架比喻为骨架的话，插件就是它的血肉了，框架+插件就可以构成一个处理流媒体的流水线，基于Gstreamer的应用可以通过对流水线的控制实现各种流媒体处理的功能。
应用开发者只要在丰富的插件中找到适合自己应用的，再把他们连成流水线，立刻就可以构建好一个流媒体处理模块。关于使这个过程变得容易的原因，一方面是插件非常丰富，大多数情况下，没有必要自己制作插件；另一方面原因是插件的连接非常方便，在五花八门的插件中，有很简单的方法可以确定插件之间是否可以连接。
Gstreamer编程模型 我理解的Gstreamer编程要分为以下几步
  1. 构想流水线
    在编程之前，首先要在脑中构造一个流程，即输入是什么，大概要经过哪些处理，最后输出什么。
    输入要想好输入的形式或设备，比如处理视频的话，可以是摄像头、某种格式的视频文件或是网络流等，音频可以是话筒或某种格式的音频文件等。
    处理过程可以大致考虑一下，应该需要哪种编解码器或是格式转换器，需要哪种muxer或demuxer。
    输出也是要想好形式或设备，比如视频的话，可以是显示器、液晶屏、某种格式的文件或是网络流等，音频可以是扬声器或某种格式的音频文件等。
  2. 插件选型
    要在插件库中找出能够满足构想的那些插件，并确认它们能够连接起来，构成我们想要的流水线。那就需要确认以下问题
    • 当前开发环境下哪些插件是可用的？
    • 怎么知道那些从名字上看似乎可用的插件是不是能满足需求？
    • 怎么知道这些看上去能用的插件能不能接起来？
  3. 写代码
    把构想中的对象和代码对应起来，实现流水线。
经过上述过程后，基本的编程就算完成了。下面以我写的simple.c为例，用上述过程复盘一下。
构想流水线
官方例子 下图来自官方文档，看起来这是一个简单的ogg视频文件播放器。整个大方框是一个pipeline，大方框中的小方框（例如file-source）是构成pipeline的一个个插件中的元件，有src/sink字样的蓝色小方框是用来对接元件的东西，其中src表示输出，sink表示输入。

HEXA娱乐开发日志番外000——Gstreamer编程入门
文章图片

【HEXA娱乐开发日志番外000——Gstreamer编程入门】单从字面上也不难理解这些元件
  • file-source
    即以文件作为源，这里具体就是某个ogg视频文件了。
  • ogg-demuxer
    demuxer即分离器，从最后的结果看，它是把ogg文件中音/视频分开了。
  • vorbis-decoder
    很明显，这应该是一个音频解码器
  • audio-sink
    看图标，这应该就是扬声器的驱动之类的了
  • theora-decoder
    很明显+1，这应该是一个视频解码器
  • video-sink
    看图标+1，这应该就是显示器的驱动之类的了
上面这个例子的输入是ogg视频文件，中间要demuxer分离音视频，然后分别解码，最后输出给音视频设备播放。其中的每个元件都是可以替换的，比如想把输入源换成rtmp流，只要把file-source换成rtmp-src元件就行了；再比如想做一个编码器只要把整个图左右翻转一下，播放设备sink换成采集设备src，xxx-decoder换成xxx-encoder，xxx-demuxer换成xxx-encoder就可以了。
我的流水线
  • 输入
    视频方面是机器人摄像头采集的原始图像，音频方面反正还没有合适的采集设备，先不考虑
  • 输出
    rtmp网络流
  • 处理
    在上面的输入和输出之间肯定要有个编码器
    后面加音频的话，音视频需要合成为一个流，所以必然需要一个合成器(muxer)
摄像头==>编码器==>合成器==>rtmp流，我的流水线就这么简单，然后我们来插件选型。
插件选型
  • 当前开发环境下哪些插件是可用的？
    这很简单，只要使用Gstreamer的命令行工具gst-inspect，如果是1.x版本在终端中输入以下命令就能列出所有插件的名字
gst-inspect-1.0 很多插件...... rtmp:rtmpsink: RTMP output sink rtmp:rtmpsrc: RTMP Source 很多插件......

这里我只列了两个比较好认的，rtmp是插件名字，rtmpsink和rtmpsrc是这个插件的2个元件类型，第二个冒号后面是对这个元件的说明。
  • 怎么知道那些从名字上看似乎可用的插件是不是能满足需求？
    这个问题隐含一个已知，我们要先大概知道一些名字，然后才能从名字上过滤掉大量的无关插件，比如关于摄像头，需要知道v4l、uvc等。
    首先，找摄像头信号源，可以用正则表达式搜索video.*source，然后再用搜索引擎大概了解一下就能初步选出来了。把那些比较像的找出来后，只要再用用搜索引擎，很容易确定其中的video4linux2: v4l2src: Video (video4linux2) Source是大概率可用的。
    其次，找输出插件，正则表达式搜rtmp.*sink，和找输入类似的，rtmp: rtmpsink: RTMP output sink看起来比较像，先就是它了。
    最后，要把中间那些插件找到，先找编码器，正则表达式搜索video.*encoder，在我的机器人上有3个插件中的6个元件备选，如果在开发环境里装了Gstreamer的libav类插件，就搜出更多了。
    此处筛选可以基于这样一个原则，基于已知的知识找出最像的那个作为备选就好。
    因为官方给我推荐过libimxvpu，所以我就用名字叫imxvpu的插件就行了，它有4个元件，分别是imxvpuenc_mjpeg，imxvpuenc_mpeg4，imxvpuenc_h264，imxvpuenc_h263，看起来就是选一种编码格式就行了，先随便选一个，就先选h264吧。如果没有些先验只是，关于合成器(mux)就不是那么好找了，如果知道rtmp和flash有关，这一步可以先确定一个，不知道也没关系，就直接进行下一步好了。
  • 怎么知道这些看上去能用的插件能不能接起来？
    • 为什么会有不能连接的情况？
      所有插件不是一个人或一队人写的，这就好像一个国际公司的两个部门要对接一样，两个部门至少要各出一个人作为接口与对方部门交流，如果这俩部门处在不同的国家，那么这两个接口很可能讲着不同的语言，他们之间就无法有效传达信息了。
      因此，两个元件要想连接，必须知道讲话的接口讲得是什么语言，听话的接口听得懂什么语言，如果语言一致，就是能连接的。
    • 怎么看元件能“讲或听得懂哪种语言”？
      我们可以用gst-inspect-1.0 <元件名>进一步看一下元件详细信息，以便对元件有进一步了解，下面看一下rtmpsink的信息。
# gst-inspect-1.0 rtmpsink Factory Details: Rankprimary (256) Long-nameRTMP output sink KlassSink/Network DescriptionSends FLV content to a server via RTMP AuthorJan Schmidt Plugin Details: Namertmp DescriptionRTMP source and sink Filename/usr/lib/arm-linux-gnueabihf/gstreamer-1.0/libgstrtmp.so Version1.2.4 LicenseLGPL Source modulegst-plugins-bad Source release date2014-04-18 Binary packageGStreamer Bad Plugins (Ubuntu) Origin URLhttps://launchpad.net/distros/ubuntu/+source/gst-plugins-bad1.0GObject +----GInitiallyUnowned +----GstObject +----GstElement +----GstBaseSink +----GstRTMPSink ... Pad Templates: SINK template: 'sink' Availability: Always Capabilities: video/x-flv ...Element Properties: ... location: RTMP url flags: readable, writable String. Default: null

稍微解读一下
  1. Factory Details和Plugin Details都是一些更详尽的描述，比如Source module gst-plugins-bad是说这个插件属于gst-plugins-bad插件库的，如果你想看代码，可以去github搜这个名字。/usr/lib/arm-linux-gnueabihf/gstreamer-1.0/libgstrtmp.so是这个插件库文件的位置。
  2. Pad Templates
    Pad概念后面再讨论，总之这里是描述这个元件可以“讲什么语言”或“听什么语言”的。这里有个SINK template: 'sink'是说它有“听”的能力，如果能“说”，就会有SRC template了。
    Capabilities是对SINK template: 'sink'的能力的具体描述，即video/x-flv，可以理解为一种视频格式，也就是说这个元件能接收video/x-flv格式的视频输入，如果对方的SRC template能输出这个格式，那么就可以连接。
    这里的flv字眼说明，这个元件前面的合成器可以搜索mux、flv或flash找到哦。
  3. Element Properties
    这里是属性列表，是插件自己定制的，所以别的插件可能有不同的属性列表。location属性的值就是rtmp流推送的地址。如果是官方例子中的file-source，应该也会有location属性，它代表着要播放的视频文件路径，即同样的属性名在不同插件中的意思可能不同，属性名和含义完全是插件设计者决定的。
至此，判断插件能否对接的方法有了，即对比SINK template和SRC template的Capabilities，如果有重叠的部分，就是可以对接的。
我完成插件选型后设计的流水线如下，下一步就是用代码实现它了。

HEXA娱乐开发日志番外000——Gstreamer编程入门
文章图片
我的流水线
写代码
最简单的实现，只要遵循以下套路就能满足大多数需求了。
#include #include int main (int argc,char *argv[]) { GMainLoop *loop; GstElement *pipeline, *元件0, *元件1, ..., *元件n; /* Initialisation */ gst_init (&argc, &argv); loop = g_main_loop_new (NULL, FALSE); /* 创建流水线 */ pipeline = gst_pipeline_new ("自己起的流水线名"); /* 创建元件 */ 元件0 = gst_element_factory_make ("元件名0", "自己起的元件实例名0"); 元件1 = gst_element_factory_make ("元件名1", "自己起的元件实例名1"); //其他元件.../* 如果需要给一些原件设置属性 */ g_object_set (G_OBJECT (元件0), "属性名", 属性值, NULL); /* 把元件与流水线绑定 */ gst_bin_add_many (GST_BIN (pipeline), 元件0, 元件1, ..., 元件n, NULL); /* 连接元件，也可以用gst_element_link_many一句连接 */ if (gst_element_link (元件0, 元件1)){ g_print ("link success %d\n", __LINE__); } else{ return -1; } if (gst_element_link (元件1, 元件2)){ g_print ("link success %d\n", __LINE__); } else{ return -1; } //...... if (gst_element_link (元件n-1, 元件n)){ g_print ("link success %d\n", __LINE__); } else{ return -1; }/* 启动播放*/ gst_element_set_state (pipeline, GST_STATE_PLAYING); /* 运行主循环，ctrl+c可以退出这个循环 */ g_main_loop_run (loop); /* 释放内存之类的收尾动作 */ //略... return 0; }

套路是不是很简单，也就是以下几个步骤
  1. 创建流水线pipeline，想好名字就行了；
  2. 创建元件元件0~元件n，第一个参数是元件类型，第二个参数是给这个元件的实例起的名字，两者就像类和对象、数据类型和变量的关系一样；
  3. 对一些需要配置的元件设置属性(g_object_set)；
  4. gst_bin_add_many相当于把元件装配到流水线上，准备连接；
  5. 按顺序连接元件(gst_element_link或gst_element_link_many)；
  6. 设置流水线状态为GST_STATE_PLAYING，这个状态就意味着流水线开始播放了；
  7. 用g_main_loop_run运行一个死循环，只要流水线正常运行，这个循环就不会退出，如果用户ctrl+c或者播放出错了，这个循环就退出了；
  8. 在循环退出后进行收尾工作。
我的代码比这个套路多了一点点东西，不过要是没有多这一点点，也是可以运作的。
上面套路中涉及的概念和数据类型如下表，其中GstElementFactory并没有出现。这是因为gst_element_factory_make把使用GstElementFactory的过程封装了，官方讲elements的文档里有对此说明。
概念 数据类型
元件类型 GstElementFactory
元件实例 GstElement
流水线 GstElement
工厂(factory)？元件(element)？这些名字是不是很形象？其设计思想就是，先请不同的工厂制造出各种元件，然后把元件组装成一条流水线，这条流水线上流动的就是流媒体的不同形态，包括文件或内存等不同形式、编/解码前/后等不同状态。
总结 Gstreamer的编程模型还有很多其他的机制来满足更复杂的需求。例如，当两个元件有多种方式对接时，如何指定用哪种方式对接，再比如，如何对流水线甚至单个元件进行更细致的控制等，这些东西也许会继续出文章说明。
下一篇 也许会有。。。

    推荐阅读


    上一篇：暑假打工记

    下一篇：中医流传之趣闻趣事