音频与视频合流：

ffmpeg -i new.mp4 -i happy.aac new_1.mp4

此时如果音频和视频的时长不一致，比如视频时长短，则视频停留最后一帧，音频继续播放，反之亦然。

为了视频和音频同时同时停止，需要加入shortest参数

ffmpeg -i new.mp4 -i happy.aac -shortest new_1.mp4

即合并后的时长等于音频与视频中时长较短的保持一致。

WebRTC的主要用途：

音视频实时通信

3A处理(混音消除、降噪、自动增益)

网络传输质量(一系列解决方案)

小结

• 音视频流的分离开与合并

• 多媒体文件的裁剪与拼接

• 多媒体格式互转

• FFmpeg filter

-------------------------------

avfilter

• 视频画中画

• 音频混音/视频混屏

• 视频转场

• 增加/删除水印

• 音视频倍速播放

学习音视频的难点

• 基础不牢地动山摇

• I/P/B帧，GOP

• 采样率，采样大小，通道数

• 以上这些是学习音视频的必由之路

音视频重要的库

• FFmpeg 音视频必须的库

• WebRTC 网络传输

  
  

音视频的未来

• 音视频开发特别有意思

• 具有广阔的未来

与人工智能会紧密结合

ffmpeg -i new_5.mp4 -i new_5.mp4 -filter_complex "[0:a][1:a]amix=inputs=2:duration=shortest:weights='0.1 0.9'" amixer.aac

 视频速度加倍

ffplay -i h.mp4 -an -vf "setpts=PTS*0.5"

音频速度加倍

ffplay -i h.mp4 -vn -af "atempo=2.0"

音频速度减半

ffplay -i h.mp4 -vn -af "atempo=0.5"

音视频同步增速

ffmpeg -i h.mp4 -filter_complex "[0:v]setpts=PTS*0.5[vo];[0:a]atempo=2.0[ao]" -map "[vo]" -map "[ao]" speed2.mp4

前提条件：把各个视频的分辨率搞成一样的

ffmpeg -i new_5.mp4 -i new_5.mp4 -i new_5.mp4 -filter_complex "[0:v]fade=t=out:st=18:d=3[v0];[1:v]fade=t=in:st=0:d=3[tmp];[tmp]fade=t=out:st=18:d=3[v1];[2:v]fade=t=in:st=0:d=3[v2];[v0][v1][v2]concat=n=3:v=1:a=0[vo];[0:a][1:a][2:a]concat=n=3:v=0:a=1[ao]" -map "[vo]" -map "[ao]"   r.mp4

   三个多媒体文件的渐进渐出

四个视频合在一起的命令

ffmpeg -i new_5.mp4 -i  new_5.mp4 -i new_5.mp4 -i new_5.mp4 -filter_complex "nullsrc=size=640*480[base];[0:v]setpts=PTS-STARTPTS,scale=320:240[a];[1:v]setpts=PTS-STARTPTS,scale=320:240[b];[2:v]setpts=PTS-STARTPTS,scale=320:240[c];[3:v]setpts=PTS-STARTPTS,scale=320:240[d];[base][a]overlay=shortest=1[tmp1];[tmp1][b]overlay=shortest=1:x=320[tmp2];[tmp2][c]overlay=shortest=1:y=240[tmp3];[tmp3][d]overlay=shortest=1:x=320:y=240" new.mp4

实现画中画

ffmpeg -i killer_d.mp4 -i video.mpt -fliter_complex "[1:v]scale=160:90[out];[0:v][out]overlay=W-w-30:10" new.mp4

1代表第2个输入，v代表视频部分

FFmpeg滤镜种类

• 简单滤镜 -vf

• 复杂滤镜 -filter_complex

Overlay滤镜

• 最常使用的滤镜

• 以第一个输入为背景，后面的叠加到背景上

滤镜描述符规则

• 逗号表示前一个输出是后一个输入

• 分号表示两个滤镜是并列关系 

• 冒号用于区分不同的参数

例子

• 直接播放

ffplay -i new_5.mp4 -vf "movie=1.jpeg,scale=64:48[water];[in][water]overlay=30:10"

movie是一个关键字, water代表水印，in代表背景,离左边30像素，离上面10个像素。

• 先转换成文件，再播放文件

ffmpeg -i new_5.mp4 -vf "movie=1.jpeg,scale=64:48[water];[in][water]overlay=30:10" video_w.mp4

ffplay video_w.mp4

ffmpeg -f image2  -r 1 -i i-%03d.jpg -r 1 video.mp4

-f:指图片格式，一般为image2或image1

ffprobe output-003.jpg

转换图片为相同大小，再把图片转换为视频

l

ffmpeg -f image2 -r 2  -i i-%03d.jpg -r 24 video3.mp4

ffprobe video3.mp4

如果每秒输入两张，如果已存在20张图片，那么就会变为10s的视频。24fps, 每秒采用12张图片。

视频生成图片

ffmpeg -i new_5.mp4 -r 1 -f image2 output-%03d.jpg

生成缩略图

ffmpeg -i new_5.mp4 -r 1 -s 160*90 -f image2 output-%03d.jpg

查看图片

open output-001.jpg

每秒生成0.5帧，即两秒生成一帧

ffmpeg -i new_5.mp4 -r 0.5 -s 160*90 -f image2 output-%03d.jpg

音视频裁剪

理论基础

• I帧

• P帧

相对于前一帧的增量，依赖I帧

• B帧

相对于前面的I帧和后面的P帧，。。。依赖I帧和P帧

裁剪方式：

• 第一种：

重新解码编码来进行裁剪

• 第二种：

在原有的data上直接定位到某一点，然后把数据拿出来

裁剪时如果不幸定位到B帧上了，就找前一个I帧和后一个I帧开始

裁剪命令

• ffmpeg -ss 00:00:00 -t 10 10 -i test.mp4 new_3.mp4 修饰输入文件在没有处理的时候怎么做

• 一般从第一秒开始都没有问题，因为一般都是从I帧开始的

• ffmpeg -i test.mp4  -ss 00:00:00 -t 10 10 new_5.mp4 修饰的是输出文件

• 想裁剪得更准确，一般先解码再重新编码会好点

GOP

GOP即Group of picture(图像组)

媒体格式互转

• MP4转FLV

  ffmpeg -i test.mp4 testflv.flv

  ffplay testflv.flv  会比原视频更模糊，如果不加copy,它采用的策略是向比较小的码率去转化

  ffmpeg -i test.mp4 -c copy testflv2.flv

  ffplay testflv2.flv 相当于复制一次源文件 

• FLV转TS

       ffmpeg -i test.mp4 -c copy testflv2.ts

• MP4转MOV

  ffmpeg -i test.mp4 -c copy testflv2.mov

  ffmpeg 一般把高清的转化为低清的，一般不能把低清的转变为高清的，当然通过一些算法来实现的方式就另说了

  
  

抽取视频流

ffmpeg -i  out.mp4 -an -c:v copy new.mp4

ffplay new.mp4

抽取音频流

ffmpeg -i out.mp4 -vn -c:a copy out.aac

ffplay out.aac

查看一个音视频属性

ffprobe out.mp4

抽取音视频流

• 多媒体文件

  
  

  

• 音视频轨