LVM-幀文本生成(DLC)
LVM-幀文本生成(DLC)組件主要用于生成視頻(僅支持處理MP4格式的視頻)文本。
支持的計(jì)算資源
算法說明
通過采樣若干視頻幀,由BLIP模型基于視頻幀生成視頻文本。
輸入/輸出
輸入樁
通過讀OSS數(shù)據(jù)組件,讀取訓(xùn)練數(shù)據(jù)所在的OSS路徑。
配置此算法參數(shù)視頻數(shù)據(jù)OSS路徑,選擇視頻數(shù)據(jù)所在的OSS目錄,或視頻元數(shù)據(jù)文件。詳情請(qǐng)參見下文中的參數(shù)說明。
使用任意LVM數(shù)據(jù)處理(DLC)組件作為輸入。
輸出樁
輸出結(jié)果。詳情請(qǐng)參見下文中的參數(shù)說明。
配置組件
在Designer工作流頁面添加LVM-幀文本生成(DLC)組件,并在界面右側(cè)配置相關(guān)參數(shù):
參數(shù)類型 | 參數(shù) | 是否必選 | 描述 | 默認(rèn)值 | |
字段設(shè)置 | 視頻數(shù)據(jù)OSS路徑 | 否 | 首次運(yùn)行時(shí),若無上游組件,需手動(dòng)選擇視頻數(shù)據(jù)所在的OSS目錄。運(yùn)行時(shí)會(huì)在該路徑的上一級(jí)目錄下生成視頻元數(shù)據(jù)文件video_meta.jsonl。后續(xù)處理此視頻數(shù)據(jù)時(shí),也可以直接選擇之前生成的video_meta.jsonl文件。 | 無 | |
輸出文件的OSS路徑 | 是 | 生成結(jié)果的存儲(chǔ)目錄。包含以下文件:
| 無 | ||
輸出的文件名 | 是 | 生成結(jié)果的文件名。 | result.jsonl | ||
參數(shù)設(shè)置 | 生成候選文本數(shù)目 | 是 | 每幀生成的候選文本數(shù)。 | 1 | |
均勻采樣幀數(shù)目 | 是 | 采樣的視頻幀數(shù)。系統(tǒng)會(huì)在視頻中根據(jù)視頻時(shí)長(zhǎng)均勻地采集幀畫面進(jìn)行分析。 | 3 | ||
執(zhí)行調(diào)優(yōu) | 多進(jìn)程個(gè)數(shù) | 是 | 設(shè)置進(jìn)程數(shù)。 | 4 | |
選擇資源組 | 公共資源組 | 否 | 選擇節(jié)點(diǎn)規(guī)格(CPU或GPU實(shí)例規(guī)格)、專有網(wǎng)絡(luò)。該算法需使用GPU規(guī)格實(shí)例。 | 無 | |
專有資源組 | 否 | 選擇CPU核數(shù)、內(nèi)存、共享內(nèi)存、GPU卡數(shù)。 | 無 | ||
最大運(yùn)行時(shí)長(zhǎng) | 否 | 組件最大運(yùn)行時(shí)長(zhǎng),超過這個(gè)時(shí)間,作業(yè)會(huì)被終止。 | 無 |