本文介紹圖像生產(imageenhan)類目下的圖文生圖GenerateImageWithTextAndImage的語法及示例。

服務說明

由于產品業務和安全合規調整,圖文生圖服務將于2023年06月19日起停止更新,后續不再支持新用戶開通接入服務。同時,圖文生圖API服務計劃于2023年09月30日完成服務下線,請老用戶提前做好服務遷移計劃。2023年06月19日之后,會繼續支持老用戶,老用戶如果對圖文生圖API服務使用有疑問,可通過搜索釘釘群(23109592)加入阿里云視覺智能開放平臺咨詢群聯系我們。

功能描述

依托達摩院自研文生圖大模型,輸入文本和參考圖,可以基于文本描述和原圖的相似度生成目標圖,使得生成的圖片更可控。

說明 阿里云視覺智能開放平臺視覺AI能力API接入、接口使用或問題咨詢等,請通過釘釘群(23109592)加入阿里云視覺智能開放平臺咨詢群聯系我們。

應用場景

  • 圖片設計:根據原圖和參考圖及其相似度參數,幫助設計師基于參考圖快速可控的輸出符合預期的圖片。
  • 內容創作:在較為廣泛的電商主圖、人物、背景、封面、動漫、游戲等創意內容的創作過程中,通過文字和相似度對參考圖進行二次生成。

特色優勢

  • 效果可控:生成效果可以通過prompt和參考圖、相似度進行調節,使得生成效果更符合預期。
  • 生成效果佳:在非現實、朋克機甲等類型的圖片生成效果佳。

輸入限制

  • 支持的圖片類型:JPEG、PNG、JPG、BMP、WEBP、GIF。
  • 圖片大小不超過10 MB。
  • 不限制圖片分辨率。

計費說明

關于圖文生圖的計費方式及報價,請參見計費介紹

調用步驟

該能力為異步能力,需分兩步進行調用。

第一步調用GenerateImageWithTextAndImage接口提交任務,請求成功后,得到一個任務ID。

第二步調用GetAsyncJobResult接口查詢結果,根據任務ID查詢任務執行狀態和結果。如果任務還在處理中,可稍等一段時間后再進行查詢。

調試

您可以在OpenAPI Explorer中直接運行該接口,免去您計算簽名的困擾。運行成功后,OpenAPI Explorer可以自動生成SDK代碼示例。

請求參數

名稱 類型 是否必選 示例值 描述
Action String GenerateImageWithTextAndImage

系統規定參數。取值:GenerateImageWithTextAndImage

Text String 大雪中的雪人精靈,4K,攝影

文本內容。支持中英文,中文不超過75個字,英文不超過75個字母,超過部分會自動截斷。

建議文本內容盡可能詳細準確,詳細的文本描述內容有助于獲得更佳的圖片生成效果。

Resolution String 1024*1024

生成的圖像分辨率。支持512*512、1024*1024、1024*768、768*1024、720*1280、1280*720像素,默認1024*1024像素。

Number Integer 1

圖片生成數量。支持1~4張,默認1張。

RefImageUrl String https://viapi-test.oss-cn-shanghai.aliyuncs.com/viapi-3.0domepic/imageenhan/GenerateImageWithTextAndImage/GenerateImageWithTextAndImage11.jpg

參考圖地址。參考圖分辨率請盡量和需要生成的圖像分辨率接近,生成過程會先按照參數AspectRatioMode設定的模式,將參考圖縮放裁剪到resolution參數指定的分辨率,再參考縮放裁剪后的圖片進行圖像生成,供用戶參考。

推薦使用上海地域的OSS鏈接,對于文件在本地或者非上海地域OSS鏈接的情況,請參見文件URL處理

Similarity Float 0.2

參考程度。值在0~1之間,默認值為0.2。

  • 0:完全不參考參考圖,只基于文本生成圖像。
  • 1:完全復制參考圖。
AspectRatioMode String center_crop

圖像縮放裁剪模式。包括center_crop和resize,默認為center_crop。

  • center_crop:最大限度保留圖像中心部分,將邊緣進行裁剪。
  • resize:將圖像拉伸到最終分辨率。

返回數據

名稱 類型 示例值 描述
RequestId String 141fb6d1-28e8-4d93-8165-d966f7092e6a

請求ID。

Data Object

返回的結果數據內容。該數據需要在異步任務執行成功后,通過調用GetAsyncJobResult接口,對其Result字段進行JSON反序列化之后得到。

ImageUrls Array of String http://vibktprfx-prod-prod-gen-model-cn-shanghai.oss-cn-shanghai.aliyuncs.com/text2image/cv_diffusion_text-to-image-synthesis_results/images/8df0b0588fe011ed9f3dde652e7536a6_1.jpg?Expires=1673244813&OSSAccessKeyId=LTAI4FoLmvQ9urWXgSRp****&Signature=6cjXWuOYMpBLD8V1%2BJOq8zvSBb****

輸出圖像的URL。

說明 該URL地址為臨時地址,有效期為30分鐘,過期后將無法訪問。若需要長時間或者永久保存文件,請在30分鐘內訪問URL地址,下載文件轉存到自己的OSS或者其他存儲空間。
Message String 該調用為異步調用,任務已提交成功,請以requestId的值作為jobId參數調用同類目下GetAsyncJobResult接口查詢任務執行狀態和結果。

提交異步任務后的提示信息。

查詢結果

該接口為異步接口,當前并未返回真實的請求結果,您需要通過返回的RequestId調用GetAsyncJobResult接口來獲取該接口的真實請求結果。詳情請參見GetAsyncJobResult

SDK參考

阿里云視覺AI圖像生產類目下的圖文生圖能力推薦使用SDK調用,支持多種編程語言,調用時請選擇AI類目為圖像生產(imageenhan)的SDK包,文件參數通過SDK調用可支持本地文件及任意URL,具體可參見SDK總覽

示例

請求示例

http(s)://imageenhan.cn-shanghai.aliyuncs.com/?Action=GenerateImageWithTextAndImage      //更多關于訪問域名(Endpoint)信息,請參見:http://m.bestwisewords.com/document_detail/143103.html
&Text=大雪中的雪人精靈,4K,攝影
&Resolution=1024*1024
&Number=1
&RefImageUrl=https://viapi-test.oss-cn-shanghai.aliyuncs.com/viapi-3.0domepic/imageenhan/GenerateImageWithTextAndImage/GenerateImageWithTextAndImage11.jpg
&Similarity=0.2
&AspectRatioMode=center_crop
&公共請求參數

正常返回示例

XML格式

HTTP/1.1 200 OK
Content-Type:application/xml

<GenerateImageWithTextAndImageResponse>
    <RequestId>141fb6d1-28e8-4d93-8165-d966f7092e6a</RequestId>
    <Message>該調用為異步調用,任務已提交成功,請以requestId的值作為jobId參數調用同類目下GetAsyncJobResult接口查詢任務執行狀態和結果。</Message>
</GenerateImageWithTextAndImageResponse>

JSON格式

HTTP/1.1 200 OK
Content-Type:application/json

{
  "RequestId" : "141fb6d1-28e8-4d93-8165-d966f7092e6a",
  "Message" : "該調用為異步調用,任務已提交成功,請以requestId的值作為jobId參數調用同類目下GetAsyncJobResult接口查詢任務執行狀態和結果。"
}

返回示例補充說明

//查詢結果:請求示例
http(s)://imageenhan.cn-shanghai.aliyuncs.com/?Action=GetAsyncJobResult
&JobId=E75FE679-0303-4DD1-8252-1143B4FA8A27
&<公共請求參數>

//查詢結果:返回示例
{
  "RequestId" : "43A0AEB6-45F4-4138-8E89-E1A5D63200E3",
  "Data" : {
    "Status" : "PROCESS_SUCCESS",
    "JobId" : "186AC396-0EEC-46F1-AAA1-BF3585227427",
    "Result" : "{\"ImageUrls\":[\"http://vibktprfx-prod-prod-gen-model-cn-shanghai.oss-cn-shanghai.aliyuncs.com/text2image/cv_diffusion_text-to-image-synthesis_results/images/8df0b0588fe011ed9f3dde652e7536a6_1.jpg?Expires=1673244813&OSSAccessKeyId=LTAI4FoLmvQ9urWXgSRp****&Signature=6cjXWuOYMpBLD8V1%2BJOq8zvSBb****\"]}"
  }
}

//Result反序列化
{
  "ImageUrls" : ["http://vibktprfx-prod-prod-gen-model-cn-shanghai.oss-cn-shanghai.aliyuncs.com/text2image/cv_diffusion_text-to-image-synthesis_results/images/8df0b0588fe011ed9f3dde652e7536a6_1.jpg?Expires=1673244813&OSSAccessKeyId=LTAI4FoLmvQ9urWXgSRp****&Signature=6cjXWuOYMpBLD8V1%2BJOq8zvSBb****"]
}

錯誤碼

關于圖文生圖的錯誤碼,詳情請參見常見錯誤碼

版權說明

  • ?成圖?歸屬于誰?

    我們為您提供的是圖??成技術服務,在您購買產品并?付調?API技術服務費后,?成圖?的著作

    權將永久歸您所有。您可?于商業?途,并??負責?成圖?的使??險及合規問題,我們對此不承

    擔任何法律責任。

  • 圖?是如何?成的?

    圖?與您輸?的內容有關,并通過深度合成算法?動?成,本服務算法是根據開源數據集及互聯?的

    公開信息積累訓練?成。因此,我們對?成圖?的準確性、完整性和功能性不做任何保證,亦不承擔

    任何法律責任。

  • 圖?引發不適該怎么辦?

    本服務?成的所有內容均由AI模型?動?成,我們在訓練過程中已通過將訓練數據持續過濾來提升

    內容理解和?成的準確性,但仍不排除其中有部分信息存在?定的敏感性、不合理或導致理解歧義的

    問題存在,可能會引發您的不適。

    您可以通過釘釘群(23109592)聯系我們,我們將及時聯系您并采取合理有效的處理措施。

安全聲明

  • 請確保上傳的圖片或文件來源符合相應的法律法規。
  • 通過體驗調試上傳的臨時文件有效期為1小時,在24小時后會被系統自動清理刪除。