为了账号安全,请及时绑定邮箱和手机立即绑定

Kurento实战之三:知识点小导游

标签:
Java

欢迎访问我的GitHub

github.com/zq2599/blog_demos

内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;

本篇概览

  • 作为《Kurento实战》的第三篇,咱们一起将重要的知识点梳理清楚,并从整体上观察和理解Kurento,这样后面的学习和开发能更好的融会贯通,还能高效发挥Kurento的能力;

WebRTC很重要

  1. Kurento 是一个 WebRTC 媒体服务器和一组客户端API,因此,基础WebRTC知识储备是强制的、必要的,建议您提前有所了解;
  2. 没有Kurento时基于WebRTC的点对点音视频流处理逻辑如下:

在这里插入图片描述
3. 有Kurento后变成下面这种,客户端实际上和KMS(Kurento Media Server)建立了点对点连接,收到的数据也来自KMS,这些数据可以是原生的,又或许是被KMS处理过的(如上一篇文章中戴一顶帽子的demo):

在这里插入图片描述

和GStreamer的关系

  • 对WebRTC有了了解后,应该对GStreamer有基本的了解,然后再去学习Kurento会有更好的效果,这样当你在学习Kurento的过程中,遇到pipeline、element、src、sink这些概念时会有种本该如此的感觉:这些概念在GStream中同样存在且十分重要,它们发挥的作用和在Kurento中十分相似;
  • Kurento的KMS中,录制、播放、编解码等能力都来自GStream库;
  • GStreamer 是个开源多媒体框架,可以构建流媒体应用,以管道(Pipeline)方式将各步骤串联,每个步骤的元素(Element)基于GObjec通过插件(plugins)方式实现;
  • 下面是个典型的pipeline,功能是将一个多媒体文件的音视频分离,再分别输出到音频和视频设备上:

在这里插入图片描述

  • 作为对比,再来看看Kurento的pipeline,下面是滤镜demo的pipeline示意图,功能是给视频中的人头上戴一顶帽子:

在这里插入图片描述

  • 上面两个图对比可见,基于GStreamer的Kurento也有pipeline、element、src、sink,但Kurento有自己的特点:KMS、WebRtcEndpoint、JsonRpc这些概念都和网络服务相关,回到Kurento的官方文档首页看看它的定位,如下图所示:

在这里插入图片描述

  • 看到这里,聪明的您对GStreamer和Kurento应该有了更深刻全面的认识:Kurento在设计上和GStreamer基本对齐,并且将GStreamer的已有能力和WebRtc实时音视频技术在Pipeline+Element机制下整合组装,打造出高效可扩展的音视频技术方案;
  • 随着Kurento学习的深入,会接触到更多的GStreamer知识,如下图是Kurento源码的脚手架文件夹中的模板代码:

在这里插入图片描述

Kurento的客户端

  1. 为了更好的使用KMS的能力,Kurento官方提供了java和nodejs两个版本的客户端;
  2. 如果您擅长的编程语言不是java或nodejs也没关系,可以参考[Kurento Protocol] doc-kurento-zh-cn.readthedocs.io/zh_CN/v6.6.1/mastering/kurento_protocol.html 自己来实现客户端(作为java程序员的欣宸涌现出一丝优越感…);
  3. 客户端的作用:提供API给业务调用,通过这些API可以向KMS发送指令,让KMS为业务服务,例如编排pipeline,如下图,重点是业务应用服务,集成了Kurento的客户端后就能向KMS发送指令了:

在这里插入图片描述

基本概念梳理

Kurento中涉及的概念并不算多,且很多都向GStreams对其了,总的来说比较好理解,在此将所有重要概念梳理出来便于后面的学习:

  • module:Kurento本身是插件化的框架,所有插件(plugin)都被称为module;
  • 官方将所有module分为三大类:main、built-in、custome,下图很形象的解释了它们在Kurento中的定位:

在这里插入图片描述

  • 紧接着官方抛出了Kurento toolbox的概念,并且将熟悉的各种能力都展现在toolboox中:

在这里插入图片描述

  • toolbox中的所有element与前面划分的module都是有归属关系的,我这里用思维导图整理好了,希望能帮助您梳理清楚这些关系:

在这里插入图片描述

  • 上述思维导图中唯有Group Communications的位置无法从前面的信息中得到,最终通过翻阅源码的方法确定了属于kms-elements(因为其源码在kms-elements工程中)

  • 几千字写完,曾经的疑惑和记录的笔记都成了这篇文章的一部分,希望本文能帮助您快速抓住重点,少走弯路少踩坑,接下来就要开始编码实战了,您准备好了么?

我是欣宸,期待与您一同畅游Java世界…

点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
JAVA开发工程师
手记
粉丝
21
获赞与收藏
27

关注作者,订阅最新文章

阅读免费教程

  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消