流播放器音视频同步的一点思考

Java 发表评论

音视频同步是一个坑,一个绕不过去的坑,一个无可奈何的坑,一个主动跳进去的坑。

时间戳是前提。没有时间戳或者时间戳错误,一切播放端音视频同步的方法基础都是不牢靠的。

生成的音视频流要音视频同步。可以转成文件要本地播放器来验证一下

rtmp播放器特点:
1,不能堆积数据。如果播放数据堆积,那么给人的感觉就是延迟太大了。预留的数据不能太少了,不然视频帧还好说,音频播放的时候就会出现卡顿的现象。
2,通道数不确定,可能只有视频,而没有音频。

0,当前音频帧的时间戳m1,视频帧的时间戳m2
1,音频未播放数据需要的时间t1,视频未播放的帧数(或者播放完这些帧需要的时间t2)。
2,没有音频只有视频
3,当音频存余的数据量太多时就删除掉
   当视频存取的帧数太多时就删除掉
   特别是当两者都堆积数据时,要一起删除掉。这里是rtmp播放器与一般的视频文件播放不一样的地方。
4,当音视频两者的时间戳差太多时,删除掉时间差的多的。

(这里阈值我们设置为1.0s,这个最好可以定义,这里就是定义缓冲区的大小,如果这里定义的小了,就会出现时断时续,一直跳帧的情况)
音视频冗余的将要播放的数据在1.0s内是正常的。
如果 音视频帧的冗余时间都超过了1.0秒,就要对数据进行抛弃处理。
如果 音视频的不同步超过0.5s(这个值看实际情况,一般视觉上差个0.1s就能感觉出来),就要进行同步操作。

从理论上来说,如果传输数据正常,数据是持续产生的,我们持续播放,不会出现需要我们丢弃数据的情况。
实际情况是,网络情况有点抖动,有的时候没有数据(这种情况我们不管),有的时候,大量数据涌了过来(这个时候我们就要进行数据抛弃了)。

发送(编码发送)部分:
这里我们要保证输出的文件是音视频同步的。
需要加一个事件校正,因为音频和视频编码之后,时间戳可能有点偏差。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

昵称 *