工作流模板與算子
本文中含有需要您注意的重要提示信息，忽略該信息可能對您的業(yè)務(wù)造成影響，請務(wù)必仔細(xì)閱讀。
本文介紹智能媒體管理IMM提供的工作流模板ID（TemplateId）及其對應(yīng)支持的算子。
簡介
在創(chuàng)建IMM項目或數(shù)據(jù)集時，可以為項目或數(shù)據(jù)集設(shè)置工作流模板（Template），模板定義了部分接口所需要執(zhí)行的工作流。在為存儲在對象存儲（OSS）、相冊與網(wǎng)盤服務(wù)（PDS）等產(chǎn)品中的文件建立元數(shù)據(jù)索引時，引擎將根據(jù)配置的工作流模板來決定要執(zhí)行的算子操作，算子對元數(shù)據(jù)進行采集并將元數(shù)據(jù)索引到元數(shù)據(jù)存儲引擎中。
注意事項
在通過綁定OSS Bucket或調(diào)用IndexFileMeta - 索引文件元信息、BatchIndexFileMeta - 批量索引文件元信息接口建立元數(shù)據(jù)索引時，根據(jù)數(shù)據(jù)集和項目配置的工作流模板來決定要執(zhí)行的算子操作。
在數(shù)據(jù)集中建立元數(shù)據(jù)索引時，數(shù)據(jù)集的模板優(yōu)先級高于項目設(shè)置的模板。當(dāng)數(shù)據(jù)集模板為空時，則使用項目設(shè)置的模板。
工作流模板不會對用戶主動使用其他API（例如視頻轉(zhuǎn)碼、圖片人臉檢測、圖片打分、人臉聚類等）產(chǎn)生限制，但可能因為索引中不存在對應(yīng)元數(shù)據(jù)，實際不產(chǎn)生效果。
建立索引過程會產(chǎn)生算子計費和索引存儲費用。費用詳情請參見計費項。
工作流模板
IMM提供的工作流模板如下表所示。
TemplateId | 說明 |
Official:DefaultEmptyId | 空模板。 在建立元數(shù)據(jù)索引時，所有算子都不操作，不會產(chǎn)生元數(shù)據(jù)信息。 |
Official:OSSBasicMeta | OSS基本元數(shù)據(jù)模板。 在建立元數(shù)據(jù)索引時，執(zhí)行OSSMeta算子，采集OSS基本元數(shù)據(jù)。 |
Official:AllFunction | 全功能模板（僅供測試）。 在建立元數(shù)據(jù)索引時，執(zhí)行所有算子，采集OSS基本元數(shù)據(jù)、MIME信息、人臉信息、標(biāo)簽檢測、圖片打分、地址位置信息、視頻信息、圖片EXIF信息、辦公文檔正文內(nèi)容等數(shù)據(jù)。 重要 該模板包含IMM提供的全部能力。僅供測試使用，IMM會根據(jù)功能上線情況隨時增減該模板算子，因此可能引起計費項增減，請在使用時注意。如果您有特定功能需求，請選擇其他模板。 |
Official:FaceManagement | 人臉識別模板。 在建立元數(shù)據(jù)索引時，對圖片類文件的人臉進行檢測和索引。可配合人臉聚類相關(guān)接口實現(xiàn)人物相冊，或配合人臉?biāo)阉鹘涌趯崿F(xiàn)門禁、考勤打卡能力。 |
Official:ImageManagement | 圖片管理模板。 在建立元數(shù)據(jù)索引時，對圖片進行分析，獲取其尺寸、拍攝位置、人臉、標(biāo)簽等信息，用于構(gòu)建全功能智能相冊。 |
Official:CognitionImageManagement | 圖片語義搜索模板。 在建立元數(shù)據(jù)索引時，除對圖片進行分析，獲取其尺寸、拍攝位置、人臉、標(biāo)簽等信息外，增加對圖片的理解能力。配合 SemanticQuery - 自然語言查詢 接口的語義搜索功能，提供更加準(zhǔn)確優(yōu)質(zhì)的圖片內(nèi)容檢索能力。幫助您構(gòu)建大模型時代智能相冊。 重要 該模板目前僅在北京地域支持，且目前處于免費邀測狀態(tài)。若您希望使用，請聯(lián)系您的客戶經(jīng)理或通過工單聯(lián)系我們。 |
Official:DocumentManagement | 文檔全文檢索模板。 在建立元數(shù)據(jù)索引時，提取文檔類文件的文本并進行索引。配合搜索接口實現(xiàn)文檔的全文檢索能力。 |
Official:MediaMeta | 媒體信息管理模板。 在建立元數(shù)據(jù)索引時，提取圖片、視頻等文件的多媒體信息，如尺寸、拍攝時間、地點、時長、編碼格式等。可用于媒體文件的分類管理、統(tǒng)計等場景。 |
Official:CognitionDocumentManagement | 文檔語義搜索模板。 在建立元數(shù)據(jù)索引時，通過大模型能力，對文檔內(nèi)的文本進行分析和理解。配合 SemanticQuery - 自然語言查詢 接口的語義搜索功能，實現(xiàn)基于語義的智能文檔檢索。 重要 該模板目前僅在北京地域支持，且目前處于免費邀測狀態(tài)。若您希望使用，請聯(lián)系您的客戶經(jīng)理或通過工單聯(lián)系我們。 |
算子
IMM支持的算子如下表所示。
使用算子可能產(chǎn)生對應(yīng)計費項目，詳情請參考：算子與計費項對應(yīng)關(guān)系。
算子 | 說明 |
OSSMeta算子 | 產(chǎn)生OSS文件的文件名、文件類型、文件大小、文件HASH、文件修改時間、ETag、標(biāo)簽等數(shù)據(jù)。 |
MIME算子 | 產(chǎn)生MIME數(shù)據(jù)。 |
FaceDetection算子 | 產(chǎn)生人臉信息數(shù)據(jù)。 |
LabelClassification算子（圖片） | 產(chǎn)生圖片標(biāo)簽信息數(shù)據(jù)。 |
LabelClassification算子（視頻） | 產(chǎn)生視頻標(biāo)簽信息數(shù)據(jù)。 |
ImageScoring算子 | 產(chǎn)生圖片打分?jǐn)?shù)據(jù)。 |
ExtractImageEmbeddings算子 | 產(chǎn)生圖片特征信息數(shù)據(jù)。 |
ReGEO算子 | 產(chǎn)生地址位置信息數(shù)據(jù)。 |
MediaMeta算子 | 產(chǎn)生視頻信息數(shù)據(jù)。 |
EXIF算子 | 產(chǎn)生圖片EXIF信息數(shù)據(jù)。 |
ExtractDocumentText算子 | 產(chǎn)生辦公文檔信息數(shù)據(jù)。 |
工作流模板與算子的對應(yīng)關(guān)系
IMM提供的TemplateId及其對應(yīng)的算子如下表所示，其中支持表示在建立元數(shù)據(jù)索引時會執(zhí)行該算子操作，不支持表示在建立元數(shù)據(jù)索引時不會執(zhí)行該算子操作。
TemplateId | 算子 | |||||||||
OSSMeta（OSS 元信息） | MIME （文件類型） | FaceDetection （人臉檢測） | LabelClassification算子 （標(biāo)簽檢測） | ImageScoring （圖片打分） | ExtractImageEmbeddings （圖片特征提?。?/b> | ReGEO （地理位置） | MediaMeta （視頻信息） | EXIF （圖片信息） | ExtractDocumentText （文檔信息） | |
Official:DefaultEmptyId | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 |
Official:OSSBasicMeta | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 |
Official:AllFunction | 支持 | 支持 | 支持（包括視頻文件和圖片文件） | 支持（包括視頻文件和圖片文件） | 支持 | 不支持 | 支持 | 支持 | 支持 | 支持 |
Official:FaceManagement | 支持 | 不支持 | 支持（包括視頻文件和圖片文件） | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 |
Official:ImageManagement | 支持 | 支持 | 支持 | 支持 | 支持 | 不支持 | 支持 | 不支持 | 支持 | 不支持 |
Official:CognitionImageManagement | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
Official:DocumentManagement | 支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 |
Official:MediaMeta | 支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | 支持 | 支持 | 不支持 |
Official:CognitionDocumentManagement | 支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 |
工作流模板使用示例
如下以使用全功能模板（Official:AllFunction）建立圖片元數(shù)據(jù)索引為例，介紹如何使用工作流模板。
調(diào)用CreateDataset - 創(chuàng)建數(shù)據(jù)集接口在IMM項目test-project下使用Official:AllFunction模板，創(chuàng)建名稱為allfunction的數(shù)據(jù)集。具體操作，請參見創(chuàng)建數(shù)據(jù)集。
請求示例
{ "ProjectName": "test-project", "DatasetName": "allfunction", "Description": "全功能模板數(shù)據(jù)集", "TemplateId": "Official:AllFunction" }返回示例
{ "RequestId": "9AB4BD43-C4E5-06AA-A8AB-****", "Dataset": { "FileCount": 0, "BindCount": 0, "ProjectName": "test-project", "CreateTime": "2022-07-08T10:43:32.429344821+08:00", "DatasetMaxTotalFileSize": 90000000000000000, "DatasetMaxRelationCount": 100000000000, "DatasetMaxFileCount": 100000000, "DatasetName": "allfunction", "DatasetMaxBindCount": 10, "UpdateTime": "2022-07-08T10:43:32.429344821+08:00", "DatasetMaxEntityCount": 10000000000, "TotalFileSize": 0, "TemplateId": "Official:AllFunction" } }
調(diào)用IndexFileMeta - 索引文件元信息接口為OSS文件oss://test-bucket/test-object.jpg建立元數(shù)據(jù)索引。具體操作，請參見建立元數(shù)據(jù)索引。
請求示例
{ "ProjectName": "test-project", "DatasetName": "allfunction", "File": { "URI": "oss://test-bucket/test-object.jpg", "CustomLabels": { "category": "人物" } }, "Notification": { "MNS": { "TopicName": "test-topic" } } }返回示例
{ "RequestId": "5AA694AD-3D10-0B6A-86B4-****", "EventId": "17C-1Kofq1mlJxRYF7vNGF****" }
調(diào)用GetFileMeta - 獲取文件元數(shù)據(jù)接口查詢OSS文件oss://test-bucket/test-object.jpg的元數(shù)據(jù)信息。具體操作，請參見查詢文件信息。
請求示例
{ "ProjectName": "test-project", "URI": "oss://test-bucket/test-object.jpg", "DatasetName": "allfunction" }返回示例
{ "RequestId": "F79E92D5-FA41-0AD6-8948-****", "Files": [ { "ProduceTime": "2020-08-19T17:11:11+08:00", "ObjectACL": "default", "ContentType": "image/jpeg", "ProjectName": "test-project", "Size": 22868, "URI": "oss://test-bucket/test-object.jpg", "Addresses": [ { "Language": "zh-Hans", "Township": "塘溝鎮(zhèn)", "AddressLine": "江蘇省宿遷市沭陽縣塘溝鎮(zhèn)陳龍莊", "Country": "中國", "City": "宿遷市", "District": "沭陽縣", "Province": "江蘇省" } ], "ObjectType": "file", "CustomLabels": { "category": "照片" }, "OwnerId": "****", "FileModifiedTime": "2021-05-13T10:22:44+08:00", "ImageWidth": 270, "OSSStorageClass": "Standard", "MediaType": "image", "ObjectId": "75d5de2c50754e3dadd5c35dbca5f9949369e****", "CreateTime": "2022-07-08T14:34:01.400716231+08:00", "Filename": "1.jpg", "Labels": [ { "CentricScore": 0.859000027179718, "Language": "zh-Hans", "LabelConfidence": 1, "LabelName": "女士", "LabelLevel": 2, "ParentLabelName": "面部" }, { "CentricScore": 0.7770000100135803, "Language": "zh-Hans", "LabelConfidence": 1, "LabelName": "服裝", "LabelLevel": 2, "ParentLabelName": "衣服" }, { "CentricScore": 0.8809999823570251, "Language": "zh-Hans", "LabelConfidence": 1, "LabelName": "長發(fā)", "LabelLevel": 2, "ParentLabelName": "外貌特征" }, { "CentricScore": 0.8899999856948853, "Language": "zh-Hans", "LabelConfidence": 1, "LabelName": "黑發(fā)", "LabelLevel": 2, "ParentLabelName": "外貌特征" }, { "CentricScore": 0.8330000042915344, "Language": "zh-Hans", "LabelConfidence": 1, "LabelName": "肖像攝影", "LabelLevel": 2, "ParentLabelName": "藝術(shù)品" }, { "CentricScore": 0.8299999833106995, "Language": "zh-Hans", "LabelConfidence": 0.9879999756813049, "LabelName": "美人", "LabelLevel": 2, "ParentLabelName": "外貌特征" }, { "CentricScore": 0.8399999737739563, "Language": "zh-Hans", "LabelConfidence": 0.9589999914169312, "LabelName": "人物特寫", "LabelLevel": 2, "ParentLabelName": "其他場景" }, { "CentricScore": 0.8429999947547913, "Language": "zh-Hans", "LabelConfidence": 0.949999988079071, "LabelName": "人像", "LabelLevel": 2, "ParentLabelName": "面部" }, { "CentricScore": 0.8519999980926514, "Language": "zh-Hans", "LabelConfidence": 0.925000011920929, "LabelName": "人", "LabelLevel": 2, "ParentLabelName": "面部" }, { "CentricScore": 0.8859999775886536, "Language": "zh-Hans", "LabelConfidence": 0.9129999876022339, "LabelName": "女孩", "LabelLevel": 2, "ParentLabelName": "面部" }, ... ], "Orientation": 1, "Figures": [ { "Beard": "none", "MaskConfidence": 0.6959999799728394, "Gender": "female", "Boundary": { "Left": 70, "Top": 75, "Height": 134, "Width": 101 }, "BeardConfidence": 1, "FigureId": "b51a7c91-1ce7-44d8-ae53-****", "Mouth": "close", "Emotion": "none", "Age": 25, "MouthConfidence": 0.996999979019165, "FigureType": "face", "GenderConfidence": 1, "HeadPose": { "Pitch": 21.562999725341797, "Roll": 12.322999954223633, "Yaw": 11.529999732971191 }, "Mask": "none", "EmotionConfidence": 0.9819999933242798, "HatConfidence": 1, "GlassesConfidence": 0.9990000128746033, "Sharpness": 1, "FigureClusterId": "figure-cluster-id-unavailable", "FaceQuality": 0.9990000128746033, "Attractive": 0.9819999933242798, "AgeSD": 5, "Glasses": "none", "FigureConfidence": 0.9980000257492065, "Hat": "none" } ], "EXIF": "{\"Compression\":{\"value\":\"6\"},\"DateTime\":{\"value\":\"2020:08:19 17:11:11\"},\"DateTimeOriginal\":{\"value\":\"2020:08:19 17:11:11\"},\"ExifTag\":{\"value\":\"82\"},\"FileSize\":{\"value\":\"22868\"},\"Format\":{\"value\":\"jpg\"},\"GPSLatitude\":{\"value\":\"34deg \"},\"GPSLatitudeRef\":{\"value\":\"North\"},\"GPSLongitude\":{\"value\":\"119deg \"},\"GPSLongitudeRef\":{\"value\":\"East\"},\"GPSMapDatum\":{\"value\":\"WGS-84\"},\"GPSTag\":{\"value\":\"120\"},\"GPSVersionID\":{\"value\":\"2 2 0 0\"},\"ImageHeight\":{\"value\":\"270\"},\"ImageWidth\":{\"value\":\"270\"},\"JPEGInterchangeFormat\":{\"value\":\"294\"},\"JPEGInterchangeFormatLength\":{\"value\":\"2700\"},\"Orientation\":{\"value\":\"1\"},\"ResolutionUnit\":{\"value\":\"2\"},\"XResolution\":{\"value\":\"72/1\"},\"YResolution\":{\"value\":\"72/1\"}}", "ContentMd5": "HZwoCnxPZ/fvhz4o****==", "ImageHeight": 270, "ImageScore": { "OverallQualityScore": 0.6140000224113464 }, "ETag": "\"1D9C280A7C4F67F7EF873E28****\"", "DatasetName": "allfunction", "FileHash": "\"1D9C280A7C4F67F7EF873E28****\"", "CustomId": "abc", "UpdateTime": "2022-07-08T14:34:01.400716231+08:00", "OSSCRC64": "56344477456500****", "OSSTaggingCount": 0, "LatLong": "34.000000,119.000000", "OSSObjectType": "Normal" } ] }