圖像-文本對過濾
LVM圖像處理算法提供了圖像清洗、圖像內(nèi)容清理、圖像基本信息的提取、圖像caption生成的功能。您可以根據(jù)實際需求組合不同的算法,從而過濾出合適的圖像數(shù)據(jù)并生成相應(yīng)的文本描述,方便為后續(xù)的圖像生成模型訓(xùn)練提供優(yōu)質(zhì)的圖像數(shù)據(jù)。本文為您介紹Designer中圖像-文本對過濾預(yù)置模板的使用說明。
使用限制
圖像-文本對過濾預(yù)置模板僅支持華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)地域使用。
準(zhǔn)備圖像數(shù)據(jù)
PAI為您提供示例數(shù)據(jù)可作參考:
下載圖像元數(shù)據(jù)文件和圖像文件。
圖像元數(shù)據(jù)文件:image_meta.jsonl,可作為圖像文本算法輸入項。
圖像文件:data.zip,可作為一般圖像處理算法的輸入項。
解壓并上傳圖像文件至OSS。具體操作,請參見簡單上傳至OSS。
修改圖像元數(shù)據(jù)文件。
將圖像元數(shù)據(jù)文件中的字段
your_oss_path
替換為上傳圖片的OSS Bucket目錄。例如,將圖片上傳至OSS Bucket的image_algorithm_test/image_data目錄下,則your_oss_path
需替換成image_algorithm_test/image_data
。上傳圖像元數(shù)據(jù)文件至步驟 2同一OSS Bucket中。具體操作,請參見簡單上傳至OSS。
創(chuàng)建并運行工作流
進入Designer頁面。
登錄PAI控制臺。
在頂部左上角根據(jù)實際情況選擇地域。
在左側(cè)導(dǎo)航欄選擇工作空間列表,單擊指定工作空間名稱,進入對應(yīng)工作空間。
在左側(cè)導(dǎo)航欄選擇模型開發(fā)與訓(xùn)練 > 可視化建模(Designer),進入Designer頁面。
創(chuàng)建工作流。
在預(yù)置模板頁簽下,選擇業(yè)務(wù)領(lǐng)域 > 多模態(tài)大模型,單擊圖像-文本對過濾模板卡片上的創(chuàng)建。
配置工作流參數(shù)(或保持默認),單擊確定。
在工作流列表,選擇已創(chuàng)建的工作流,單擊進入工作流。
配置工作流。
分別配置LVM圖像預(yù)處理算法組件,詳情請參見圖像預(yù)處理算子。
運行工作流。運行結(jié)束后,查看生成的文件:
meta.jsonl文件:運行時會在圖像數(shù)據(jù)OSS路徑的上一級目錄下生成圖像元數(shù)據(jù)文件meta.jsonl。
結(jié)果文件:在輸出文件的OSS路徑中查看結(jié)果文件。
關(guān)于結(jié)果文件詳細說明,請參見圖像預(yù)處理算子中輸出文件的OSS路徑參數(shù)介紹。