在創建標注任務的過程中,需要選擇數據集。本文為您介紹如何創建用于數據標注的數據集,以及數據集的具體格式要求。
前提條件
操作步驟
進入智能標注(iTAG)。
登錄PAI控制臺。
在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間。
在左側導航欄,選擇數據準備>智能標注(iTAG)。
單擊上傳數據,跳轉至管理中心>資產管理頁面的創建原始數據集彈窗。
具體參數配置說明如下:
自定義數據集名稱和數據集描述(可選)。
上傳數據集。
導入形式為文件
對比項
方式一:本地上傳
方式二:OSS上傳
操作流程
根據下文的文件格式要求,在本地創建.csv或.xlsx或.manifest格式文件。
在創建原始數據集頁面配置如下關鍵參數:
數據導入選擇本地上傳。
導入形式選擇文件。
配置OSS Bucket和OSS文件路徑。
單擊上傳文件,上傳本地已創建的文件。
前提條件:需要的數據文件已存在于阿里云OSS中。
在創建原始數據集頁面配置如下關鍵參數:
數據導入選擇OSS上傳。
導入形式選擇文件。
配置數據文件的Endpoint,OSS Bucket和OSS文件路徑。
單擊授權檢測,檢測文件路徑授權是否通過。
文件后綴類型要求
.csv、.xlsx或.manifest。
文件格式要求
.csv或.xlsx文件中的一列可以是待標注的文本內容,或者是圖片,音頻或視頻的URL。
文件Demo參考
導入形式為文件夾
本文以圖像為例進行說明,視頻、音頻類文件操作同理。
對比項
方式一:本地上傳
方式二:OSS上傳
操作流程
在本地創建一個包含圖像的文件夾。
本地上傳文件夾僅支持單個文件夾上傳,包含子文件夾內數據,重復上傳會覆蓋之前的上傳數據。支持識別的文件類型為圖片/視頻/音頻。
在創建原始數據集頁面配置如下關鍵參數:
數據導入選擇本地上傳。
導入形式選擇文件夾。
配置OSS Bucket和OSS文件路徑。
單擊上傳文件夾,上傳本地已創建的文件夾。
將圖像文件上傳至阿里云OSS,生成OSS存儲路徑URL,具體操作,請參見上傳文件。
在創建原始數據集頁面配置如下關鍵參數:
數據導入選擇OSS上傳。
導入形式選擇文件夾。
配置數據文件目錄的Endpoint,OSS Bucket和OSS文件路徑。
單擊授權檢測,檢測文件路徑授權是否通過。
數據集上傳后,需要確認導入字段,包括數據類型和數據集字段名。
確認數據安全等級,不同安全等級的數據有不同的要求。
單擊創建。