考試中心為管理者提供了一個用于標注考試的平臺,用于培訓及考核新標注人員,通過考試驗證學習成效,確保標注人員掌握必備知識與技能,以提升標注的準確性與一致性,篩選合格人員。另外,考試中心也能服務于持續教育與技能強化。本文介紹如何創建、關聯和處理考試等相關操作。
使用流程說明
創建考試
進入智能標注(iTAG)。
登錄PAI控制臺。
在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間。
在左側導航欄,選擇數據準備>智能標注(iTAG)。
單擊考試中心,跳轉至管理中心>租戶配置頁面的考試中心頁簽。
單擊創建考試。
數據選擇
選擇數據集,單擊下一步。
預覽數據集內容,設置分包策略,單擊下一步。
模板選擇
選擇模板,單擊編輯進行配置。
完成配置后,單擊下一步。配置模板的具體操作,請參見模板概述。
考試配置
參數
說明
基本信息
考試名稱
自定義考試名稱。
考試模式
考試模式分為以下兩種。
自動閱卷:自動映射答案,完成批卷,需要在數據集中包含一列答案字段用于映射。
手動閱卷:人工完成每一份試卷的審核,需要配置閱卷人員,無需配置答案。
考試人員/組
設置考試人員和管理員,如果后期創建正式任務,并關聯此考試,會自動添加考試人員/組。
管理員/組
合格閾值
取值范圍為1%~100%,考卷正確率達到閾值即為合格。
最大考試次數
考試人員可以重試的次數。
考試說明
您可以選擇關聯文檔、上傳文件、填寫說明或圖片引導的方式對考試注意事項進行補充說明。
智能標注
標注方式
包括以下兩種方式:
不使用:不使用智能標注配置。
使用離線預標注結果:傳的數據集中已經包含了預標注結果,iTAG平臺支持展示預標注結果。
高級配置
子任務包超時廢棄
開啟后,當任務包超過規定的時間還沒有被領取過,則廢棄此子任務包。
單擊創建任務,完成創建。
關聯考試
您可以按照如下操作步驟,為標注任務關聯一個或多個已創建的考試。關聯考試后,該任務需要標注人員通過考試后才可進行標注。
在左側導航選擇管理中心>任務管理。
在任務管理頁簽下,單擊目標任務名稱,進入任務詳情頁面。
在頁簽欄選擇任務配置>分發信息,關聯目標考試。
管理考試
在管理中心>租戶配置頁面的考試中心頁簽,您可以對已創建的考試進行如下操作:
單擊操作列的考試詳情,查看該考試包含的子任務包及詳細考試頁面。
對于已經完成的考試,單擊操作列的導出考試,可以下載考試情況,進行錯題等深度統計。
單擊操作列的追加試卷數量,可以增加試卷數量。
單擊操作列的獲取標注結果,可以獲取標注結果。具體操作,請參見導出標注結果數據。
單擊考試名稱,在考試配置>分發信息頁面,管理者可以修改允許重試次數,來確定是否通過考試。單次不通過可重考,多次不通過將取消資格并進行任務剔除。
處理考試
在左側導航選擇標注大廳>考試,在考試任務頁簽下的可領取的考試區域,單擊開始考試。
在考試頁面進行打標,標注完成后,單擊右上角的提交考試。
校閱考試
當標注人員結束考試,且考試模式選擇手動閱卷,需要由閱卷人員進行人工校閱。
在左側導航選擇標注大廳>考試,在質檢任務頁簽下的可校閱的考試區域,單擊檢查。
在校驗頁面進行檢查或修改,完成后,單擊右上角的提交考試。