通過閱讀本文,您可以了解iOS端依賴FFmpeg的其他播放器(本文以ijkplayer tag k0.8.8為例)集成Native RTS SDK實現超低延時直播的方法。
前提條件
您已完成ijkplayer源碼的編譯。具體操作,請參見ijkplayer中README.md介紹。
操作步驟
下載并解壓ijkplayer源碼。下載地址,請參見ijkplayer。
下載并解壓Native RTS SDK。下載地址,請參見SDK下載。
ijkplayer集成Native RTS SDK作為插件,ijkplayer集成Native RTS SDK有以下兩種方式:
集成方式
描述
優點
缺點
拓展FFmpeg
拓展ijk中FFmpeg的demuxer。
使用更加簡單,不需要根據ARTC的URL做邏輯區分。
需要重新編譯FFmpeg庫。
拓展ijk
ijkplayer中添AVInputFormat。
不需要編譯FFmpeg。
ff_ffplay.c中需要添加部分邏輯代碼。
在ijkplayer根目錄下,執行./init-ios.sh進行初始化。
需注意Xcode14版本已不支持armv7、i386、x86_64等架構,需要在init-ios.sh文件中提前去除相關架構。
以Xcode14編譯為例:
# FF_ALL_ARCHS_IOS8_SDK="armv7 arm64 i386 x86_64" FF_ALL_ARCHS_IOS11_SDK="arm64" FF_ALL_ARCHS=$FF_ALL_ARCHS_IOS11_SDK
進入ijkplayer的iOS目錄下,如果已經有編譯ffmpeg命令,出現有build目錄下的ffmpeg-$arch,先執行./compile-ffmpeg.sh clean,清理一遍。
復制Native RTS SDK中的rtsdec.c文件至ijkplayer/ios/ffmpeg-$arch/libavformat目錄。
修改Makefile文件并編譯rtsdec.c文件。
修改allformats.c文件。
修改ijkplayer/ios/ffmpeg-$arch/libavformat/allformats.c,默認支持ARTC協議。
修改FFmpeg編譯腳本ijkplayer/config/module-lite.sh,使其支持PCM解碼(Native RTS SDK輸出為PCM數據)。
export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-decoder=pcm_s16be_planar" export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-decoder=pcm_s16le" export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-decoder=pcm_s16le_planar"
可選:如果想支持HTTPS協議的流,需要同時在文件中添加openssl支持。
export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-openssl"
編譯。
在ijkplayer/ios目錄下,執行./compile-ffmpeg.sh all運行該腳本,同時可以參考a步驟在腳本中提前去除相關架構。編譯完成之后,檢查并確保ijkplayer/ios/build/universal目錄下有對應的FFmpeg編譯輸出文件。
可選:如果想支持HTTPS協議的流,需要先執行./compile-openssl.sh all運行該腳本,同時可以參考a步驟在腳本中提前去除相關架構,編譯完成后,會在ijkplayer/ios/build/universal/lib生成libssl.a和libcrypto.a兩個文件。然后再編譯./compile-ffmpeg.sh all。
復制Native RTS SDK中的RtsSDK.framework文件至ijkplayer/ios/IJKMediaDemo/IJKMediaDemo目錄中。
使用Xcode打開ios/IJKMediaDemo/IJKMediaDemo.xcodeproj。
添加RtsSDK.framework的依賴。
加入Native RTS SDK的動態庫。
導入Native RTS SDK的頭文件rts_api.h和rts_messages.h分別至ijkplayer/ios/build/universal/lib目錄中。
在ff_ffplay.c中添加RTS邏輯。
導入頭文件rts_api.h。
#include "rts_api.h"
修改ijkplayer/ijkmedia/ijkplayer/ff_ffplay.c文件,設置ARTC的AVInputFormat函數指針。
extern AVInputFormat ff_rtc_demuxer; extern int artc_reload(AVFormatContext *ctx); extern void av_set_rts_demuxer_funcs(const struct rts_glue_funcs *funcs); extern void artc_set_rts_param(char* key, char* value); extern long long artc_get_state(AVFormatContext *ctx, int key); int version = 2; const struct rts_glue_funcs* rts_funcs = get_rts_funcs(version); // set to ffmpeg plugin av_set_rts_demuxer_funcs(rts_funcs); artc_set_rts_param((char*)"AutoReconnect", (char*)"false");
在ijkplayer根目錄下,執行./init-ios.sh進行初始化。
需注意Xcode14版本已不支持armv7、i386、x86_64等架構,需要在init-ios.sh文件中提前去除相關架構。
以Xcode14編譯為例:
# FF_ALL_ARCHS_IOS8_SDK="armv7 arm64 i386 x86_64" FF_ALL_ARCHS_IOS11_SDK="arm64" FF_ALL_ARCHS=$FF_ALL_ARCHS_IOS11_SDK
進入ijkplayer的iOS目錄下,如果已經有編譯ffmpeg命令,出現有build目錄下的ffmpeg-$arch,先執行./compile-ffmpeg.sh clean,清理一遍。
運行FFmpeg編譯腳本ijkplayer/config/module-lite.sh,使其支持PCM解碼(Native RTS SDK輸出為PCM數據)。
export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-decoder=pcm_s16be_planar" export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-decoder=pcm_s16le" export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-decoder=pcm_s16le_planar"
可選:如果想支持HTTPS協議的流,需要同時在文件中添加openssl支持。
export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-openssl"
編譯。
在ijkplayer/ios目錄下,執行./compile-ffmpeg.sh all運行該腳本,同時可以參考a步驟在腳本中提前去除相關架構。編譯完成之后,檢查并確保ijkplayer/ios/build/universal目錄下有對應的FFmpeg編譯輸出文件。
可選:如果想支持HTTPS協議的流,需要先執行./compile-openssl.sh all運行該腳本,同時可以參考a步驟在腳本中提前去除相關架構,編譯完成后,會在ijkplayer/ios/build/universal/lib生成libssl.a和libcrypto.a兩個文件。然后再編譯./compile-ffmpeg.sh all。
復制Native RTS SDK中的RtsSDK.framework文件至ijkplayer/ios/IJKMediaDemo/IJKMediaDemo目錄中。
工程中導入Native RTS SDK中的rtsdec.c文件。
工程中導入Native RTS SDK的頭文件rts_api.h和rts_messages.h分別至ijkplayer/ios/build/universal/lib目錄中。
在ff_ffplay.c中添加RTS邏輯。
導入頭文件rts_api.h。
#include "rts_api.h"
修改ijkplayer/ijkmedia/ijkplayer/ff_ffplay.c文件,設置ARTC的AVInputFormat函數指針。
if(strncmp(is->filename, "artc://", 7) == 0) { extern AVInputFormat ff_rtc_demuxer; extern int artc_reload(AVFormatContext *ctx); extern void av_set_rts_demuxer_funcs(const struct rts_glue_funcs *funcs); extern void artc_set_rts_param(char* key, char* value); extern long long artc_get_state(AVFormatContext *ctx, int key); int version = 2; const struct rts_glue_funcs* rts_funcs = get_rts_funcs(version); // set to ffmpeg plugin av_set_rts_demuxer_funcs(rts_funcs); artc_set_rts_param((char*)"AutoReconnect", (char*)"false"); is->iformat = &ff_rtc_demuxer; } else { if(ffp->iformat_name) is->iformat = av_find_input_format(ffp->iformat_name); }
編譯IJKMediaPlayer工程。
完成“拓展FFmpeg”或"拓展ijk"其中一個操作后,可以直接使用Archive編譯執行ijkplayer/ios/IJKMediaPlayer/IJKMediaPlayer.xcodeproj工程,最終在Products下生成IJKMediaFramework.framework 文件。
可選:如果想支持HTTPS協議的流,需要在編譯執行前,在工程的Build Phases的Link Binary With Libraries中導入前面生成的ijkplayer/ios/build/universal/lib下的libssl.a和libcrypto.a文件。
導入Native RTS SDK中RtsSDK.framework和ijkplayer中IJKMediaFramework.framework文件至自定義工程中。
調用ijkplayer接口實現超低延時直播功能。
創建ijkplayer
//生成artc協議url _url = @"artc://xxxx"; //創建自定義playerView [self.view addSubview:self.playerView]; ... IJKFFOptions *options = [IJKFFOptions optionsByDefault]; //硬解碼 [options setPlayerOptionIntValue:1 forKey:@"videotoolbox"]; //軟解碼 //[options setPlayerOptionIntValue:0 forKey:@"videotoolbox"]; _ijkPlayer = [[IJKFFMoviePlayerController alloc] initWithContentURL:[NSURL URLWithString:_url] withOptions:options]; _ijkPlayer.view.autoresizingMask = UIViewAutoresizingFlexibleWidth|UIViewAutoresizingFlexibleHeight; _ijkPlayer.view.frame = self.playerView.bounds; _ijkPlayer.scalingMode = IJKMPMovieScalingModeAspectFit; //縮放模式 _ijkPlayer.shouldAutoplay = YES; //開啟自動播放 [self.playerView addSubview:_ijkPlayer.view];
播放控制
開始播放。
開始播放需要在主線程中調用。每次重新開始播放前,建議主動調用下停止播放和釋放播放器的流程。
dispatch_async(dispatch_get_main_queue(), ^{ [_ijkPlayer prepareToPlay]; [_ijkPlayer play]; });
停止播放和釋放播放器。
// 停止播放 [_ijkPlayer stop]; // 釋放播放器 [_ijkPlayer shutdown]; _ijkPlayer = nil;
監聽RTS事件
ijkplayer監聽Native RTS SDK的消息回調
打開ijkplayer/ios/IJKMediaPlayer/IJKMediaPlayer.xcodeproj工程,給相關文件添加相關適配方法。
修改ff_ffplay.c文件,在
static int audio_open(FFPlayer *opaque, int64_t wanted_channel_layout, int wanted_nb_channels, int wanted_sample_rate, struct AudioParams *audio_hw_params){}
方法后面插入如下代碼塊。extern int artcDemuxerMessage(struct AVFormatContext *s, int type, void *data, size_t data_size); //aliyun rts:receive artc message int onArtcDemuxerMessage(struct AVFormatContext *s, int type, void *data, size_t data_size) { return artcDemuxerMessage(s, type, data, data_size); } int artcDemuxerMessage(struct AVFormatContext *s, int type, void *data, size_t data_size) { //aliyun rts:send message to app FFPlayer *ffp = (FFPlayer *)s->opaque; const char *data_msg = (const char *)data; ffp_notify_msg4(ffp,FFP_MSG_ARTC_DIRECTCOMPONENTMSG,type,0,data_msg,data_size); return 0; }
修改ff_ffplay.c文件,在
static int is_realtime(AVFormatContext *s){}
方法中插入如下RTS代碼塊。static int is_realtime(AVFormatContext *s) { if( !strcmp(s->iformat->name, "rtp") || !strcmp(s->iformat->name, "rtsp") || !strcmp(s->iformat->name, "sdp") // ***rts代碼塊 begin*** || !strcmp(s->iformat->name, "artc") // ***rts代碼塊 end*** ) return 1; if(s->pb && ( !strncmp(s->filename, "rtp:", 4) || !strncmp(s->filename, "udp:", 4) ) ) return 1; return 0; }
修改ff_ffplay.c文件,在
static int read_thread(void *arg){}
方法內插入如下RTS代碼塊。static int read_thread(void *arg) { ...... ic = avformat_alloc_context(); if (!ic) { av_log(NULL, AV_LOG_FATAL, "Could not allocate context.\n"); ret = AVERROR(ENOMEM); goto fail; } // ***rts代碼塊 begin*** ic->opaque = ffp; ic->control_message_cb = onArtcDemuxerMessage; // ***rts代碼塊 end*** ...... if (ffp->skip_calc_frame_rate) { av_dict_set_int(&ic->metadata, "skip-calc-frame-rate", ffp->skip_calc_frame_rate, 0); av_dict_set_int(&ffp->format_opts, "skip-calc-frame-rate", ffp->skip_calc_frame_rate, 0); } // ***rts代碼塊 begin*** if(strncmp(is->filename, "artc://", 7) == 0) { extern AVInputFormat ff_rtc_demuxer; is->iformat = &ff_rtc_demuxer; } else { if(ffp->iformat_name) is->iformat = av_find_input_format(ffp->iformat_name); } // ***rts代碼塊 end*** ...... pkt->flags = 0; // ***rts代碼塊 begin*** if(strncmp(is->filename, "artc://", 7) == 0) { bool videoExist = is->video_stream >= 0; bool audioExist = is->audio_stream >= 0; // av_log(NULL, AV_LOG_INFO, "videoDuration %lld audioDuration %lld rate %f videoframeQue %d audioFrameque %d\n", // is->videoq.duration, is->audioq.duration, ffp->pf_playback_rate, // frame_queue_nb_remaining(&is->pictq), frame_queue_nb_remaining(&is->sampq)); if(!videoExist) { if(is->audioq.duration > 300 ) { // accelerate if(ffp->pf_playback_rate <= 1.0) { ffp->pf_playback_rate = 1.3; ffp->pf_playback_rate_changed = 1; av_log(NULL, AV_LOG_INFO, "aliyun rts set rate to %f\n", ffp->pf_playback_rate); } } else if(is->audioq.duration < 200) { // restore speed if(ffp->pf_playback_rate > 1.0) { ffp->pf_playback_rate = 1.0; ffp->pf_playback_rate_changed = 1; av_log(NULL, AV_LOG_INFO, "aliyun rts restore rate 1.0\n"); } } } else if((!videoExist || (videoExist && is->videoq.duration > 300)) && (!audioExist || (audioExist && is->audioq.duration > 300))) { if(ffp->pf_playback_rate <= 1) { ffp->pf_playback_rate = 1.3; ffp->pf_playback_rate_changed = 1; av_log(NULL, AV_LOG_INFO, "aliyun rts set rate 1.1\n"); } } else if((videoExist && is->videoq.duration <= 100) || (audioExist && is->audioq.duration <= 100)){ if(ffp->pf_playback_rate > 1) { ffp->pf_playback_rate = 1; ffp->pf_playback_rate_changed = 1; av_log(NULL, AV_LOG_INFO, "aliyun rts set rate 1\n"); } } } // ***rts代碼塊 end*** ...... }
修改ff_ffmsg.h文件,增加RTS消息的接口聲明。
#define FFP_MSG_ARTC_DIRECTCOMPONENTMSG 3000
將RTS消息發送到上層。
修改IJKMediaPlayback.h文件,增加外部調用RTS消息監聽名字聲明。
IJK_EXTERN NSString *const IJKMPMoviePlayerRtsMsgNotification;
修改IJKMediaPlayback.m文件,增加外部調用RTS消息監聽名字定義。
NSString *const IJKMPMoviePlayerRtsMsgNotification = @"IJKMPMoviePlayerRtsMsgNotification";
修改IJKFFMoviePlayerController.m文件,
postEvent:
方法內增加RTS消息監聽的處理。- (void)postEvent: (IJKFFMoviePlayerMessage *)msg { ...... case FFP_MSG_ARTC_DIRECTCOMPONENTMSG:{ NSString *rtsMsg = [[NSString alloc] initWithUTF8String:avmsg->obj]; int type = avmsg->arg1; if (!rtsMsg) { rtsMsg = @""; } NSDictionary *dic = @{@"type":@(type),@"msg":rtsMsg}; [[NSNotificationCenter defaultCenter] postNotificationName:IJKMPMoviePlayerRtsMsgNotification object:dic]; break; } default: // NSLog(@"unknown FFP_MSG_xxx(%d)\n", avmsg->what); break; }
Archive編譯執行IJKMediaPlayer.xcodeproj工程,得到最新的IJKMediaFramework.framework。
ijkplayer增加執行Native RTS SDK的重試方法
修改ff_ffplay.h文件,增加rts_reload_flag變量的定義。
int rts_reload_flag;
修改ff_ffplay.c文件,在
static int audio_open(FFPlayer *opaque, int64_t wanted_channel_layout, int wanted_nb_channels, int wanted_sample_rate, struct AudioParams *audio_hw_params){}
方法后面插入如下方法塊。extern int artc_reload(AVFormatContext *ctx); void ffp_rts_reload(FFPlayer *ffp){ if(rts_reload_flag == 0) { rts_reload_flag = 1; } }
修改ff_ffplay.c文件,在
static int read_thread(void *arg){}
方法內插入如下RTS代碼塊。static int read_thread(void *arg) { ...... #ifdef FFP_MERGE if (is->paused != is->last_paused) { is->last_paused = is->paused; if (is->paused) is->read_pause_return = av_read_pause(ic); else av_read_play(ic); } #endif // ***rts代碼塊 begin*** if(rts_reload_flag){ rts_reload_flag = 0; av_log(ffp, AV_LOG_ERROR, "param == ffp_rts_reload\n"); VideoState *is = ffp->is; AVFormatContext *ic = is->ic; artc_reload(ic); } // ***rts代碼塊 end*** ...... }
修改ijkplayer.h文件,增加ijkmp_rts_reload方法定義。
void ijkmp_rts_reload(IjkMediaPlayer *mp);
修改ijkplayer.c文件,實現ijkmp_rts_reload方法。
void ijkmp_rts_reload(IjkMediaPlayer *mp) { ffp_rts_reload(mp->ffplayer); }
上層增加rtsReload接口。
修改IJKFFMoviePlayerController.h文件,增加外部調用rtsReload方法聲明。
- (void)rtsReload;
修改IJKFFMoviePlayerController.m文件,增加外部調用rtsReload方法實現。
- (void)rtsReload { ijkmp_rts_reload(_mediaPlayer); }
Archive編譯執行IJKMediaPlayer.xcodeproj工程,得到最新的IJKMediaFramework.framework。
調用監聽RTS消息回調方法實現直播降級
監聽RTS消息回調。
[[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(reviceMsg:) name:IJKMPMoviePlayerRtsMsgNotification object:nil];
監聽RTS消息回調方法中實現直播降級邏輯。
直播降級是將前綴為artc://的播放器url源字符串直接修改為rtmp://的前綴或者改為http://xxxx.flv的形式,然后更新播放器UrlSource,并開始播放的策略。
// 直播降級,傳統直播URL,如http://xxx.flv、rtmp://xxx等 - (void)convertArtcToRtmpPlay { // 獲取當前的播放url,截取url的前綴 NSArray *urlSeparated = [self.url componentsSeparatedByString:@"://"]; NSString *urlPrefix = urlSeparated.firstObject; // 判斷url前綴是否是artc,如果是的話就降級為傳統直播 if ([urlPrefix isEqualToString:@"artc"]) { // http://xxx.flv 建議使用 _url = [[@"http://" stringByAppendingString:urlSeparated.lastObject] stringByAppendingString:@".flv"]; // rtmp://xxx // _url = [@"rtmp://" stringByAppendingString:urlSeparated.lastObject]; // 停止播放并銷毀播放器 [_ijkPlayer stop]; [_ijkPlayer shutdown]; _ijkPlayer = nil; // 重新設置播放源 _ijkPlayer = [[IJKFFMoviePlayerController alloc] initWithContentURL:[NSURL URLWithString:_url] withOptions:options]; ...... // 進行播放 dispatch_async(dispatch_get_main_queue(), ^{ [_ijkPlayer prepareToPlay]; [_ijkPlayer play]; }); } }
需要提前導入RtsSDK的API。
#import <RtsSDK/rts_messages.h>
然后處理播放器事件回調。
-(void)reviceMsg:(NSNotification*)notification{ NSDictionary *dic = [notification object]; NSNumber *type = dic[@"type"]; switch (type.intValue) { case E_DNS_FAIL: case E_AUTH_FAIL: case E_CONN_TIMEOUT: case E_SUB_TIMEOUT: case E_SUB_NO_STREAM: { // 直播降級 [self convertArtcToRtmpPlay]; } break; case E_STREAM_BROKEN: { static BOOL retryStartPlay = YES; // 第一次收到RTS媒體超時先重試播放一次,然后如果再次收到就直接降級播放 if (retryStartPlay) { dispatch_async(dispatch_get_main_queue(), ^{ [_ijkPlayer rtsReload]; }); retryStartPlay = NO; } else { // 直播降級 [self convertArtcToRtmpPlay]; } } break; case E_RECV_STOP_SIGNAL: { // 停止播放并銷毀播放器 [_ijkPlayer stop]; [_ijkPlayer shutdown]; _ijkPlayer = nil; } break; default: break; } }