javaee论坛

普通会员

225648

帖子

324

回复

338

积分

楼主
发表于 2017-06-08 10:52:07 | 查看: 818 | 回复: 1

                                     播放器音视频同步及网络抖动解决方案

直接上代码看注释吧可能理解的更深刻一点:

音视频同步有三种,视频同步音频,音频同步视频,音视频同步到其他时钟,本文介绍视频同步音频,其他方式不适用。项目采用openal做音频渲染,sdl同理,opengl做视频渲染。


//具体算法方案请看注释

< code_snippet_id="2237928" snippet_file_name="blog_20170302_1_3879001" code_snippet_id="2237928" snippet_file_name="blog_20170302_1_3879001" name="code" class="cpp">//得到当前音频从包里拿出的pts减去第一帧pts所得时间再减去openal缓存的时间。//解决网络抖动问题long long m_audio_real_pts = (m_audio_list_node_pts - m_first_audio_pts) - lvs_openal_getnumqueuedsize_realpts();int delay = 0;int diff = 0;;//算出一帧视频本应该显示的时间delay = 40;// update delay to sync to audio long long video_real_pts = yuv_data_node.pts - m_first_video_pts;printf("yuv_data_node.ActualLen : %lld video_real_pts :%lld\n",yuv_data_node.ActualLen,video_real_pts);//音频过快大于200毫秒 并且有音频存在的情况下 ,以及音频队列或缓存不为传输中间空 //解决网络抖动问题if (m_audio_real_pts - video_real_pts > 200 && m_isfind_first_audio_pts == 1 && (m_list_Raw_data_pcm.size() != 0 || lvs_openal_getnumqueuedsize() != 0 )){ m_timer_realtime_video = 1;}//视频过快大于200毫秒 并且有音频存在的情况下,以及音频队列或缓存不为传输中间空 //解决网络抖动问题else if (video_real_pts - m_audio_real_pts > 200 && m_isfind_first_audio_pts ==1 &&(m_list_Raw_data_pcm.size() != 0 || lvs_openal_getnumqueuedsize() != 0 )){ m_timer_realtime_video = delay* 5; //如果 视频显示过快 则停留 5帧的时间}else{ diff = video_real_pts - m_audio_openal_pts; if(abs(diff) < AV_NOSYNC_THRESHOLD) //求浮点数x的绝对值 { if(diff <= -delay) { delay = 10; //如果 视频显示过慢,离音频 过于远 则 显示时间为10ms } else if(diff >= delay) { delay = 2 * delay; //如果 视频显示过快 则停留 两帧的时间 } } m_timer_realtime_video = delay;}


//变量名称

< code_snippet_id="2237928" snippet_file_name="blog_20170302_2_9910049" code_snippet_id="2237928" snippet_file_name="blog_20170302_2_9910049" name="code" class="cpp">static int m_timer_realtime_video ; //每一次回调渲染数据定时器时间,可根据时间戳变化,毫秒static long long m_audio_list_node_pts; //当前从pcm的list中取出的时间最新 //解决网络抖动问题static long long m_audio_openal_pts; //音频当前正在播放时间戳 //解决网络抖动问题//存放解码后yuv数据的liststatic list<Raw_data_yuv> m_list_Raw_data_yuv;//存放解码后pcm数据的liststatic list<Raw_data_pcm> m_list_Raw_data_pcm;


//实现效果



< style="white-space:-wrap; word-wrap:break-word; color:rgb(85,85,85); background-color:rgb(255,255,255); font-family:宋体; font-size:9pt">

如有错误请指正:

交流请加QQ群:62054820
QQ:379969650.



普通会员

0

帖子

279

回复

289

积分
沙发
发表于 2024-03-02 05:00:59

如果这就是爱,再转身的时候就该留下

您需要登录后才可以回帖 登录 | 立即注册

触屏版| 电脑版

技术支持 历史网 V2.0 © 2016-2017