MySQL節(jié)點
DataWorks的MySQL節(jié)點可進(jìn)行MySQL任務(wù)的開發(fā)和周期性調(diào)度,以及與其他作業(yè)的集成操作。本文為您介紹使用MySQL節(jié)點進(jìn)行任務(wù)開發(fā)的主要流程。
前提條件
已創(chuàng)建業(yè)務(wù)流程。
數(shù)據(jù)開發(fā)(DataStudio)基于業(yè)務(wù)流程執(zhí)行不同引擎的具體開發(fā)操作,因此,創(chuàng)建節(jié)點前需先創(chuàng)建業(yè)務(wù)流程,操作詳情請參見創(chuàng)建業(yè)務(wù)流程。
已創(chuàng)建MySQL數(shù)據(jù)源。
您需先將您的MySQL數(shù)據(jù)庫創(chuàng)建為DataWorks的MySQL數(shù)據(jù)源,才可通過該數(shù)據(jù)源訪問相應(yīng)數(shù)據(jù)庫的數(shù)據(jù)。詳情請參見MySQL數(shù)據(jù)源。
說明MySQL節(jié)點僅支持通過連接串形式添加MySQL數(shù)據(jù)源。
(可選,RAM賬號需要)進(jìn)行任務(wù)開發(fā)的RAM賬號已被添加至對應(yīng)工作空間中,并具有開發(fā)或空間管理員(權(quán)限較大,謹(jǐn)慎添加)角色權(quán)限。添加成員并授權(quán),詳情請參見為工作空間添加空間成員。
使用限制
MySQL節(jié)點僅支持對連接串模式創(chuàng)建的生產(chǎn)環(huán)境MySQL數(shù)據(jù)源進(jìn)行MySQL任務(wù)的開發(fā)。您可以參考配置MySQL數(shù)據(jù)源進(jìn)入數(shù)據(jù)源管理頁面,單擊目標(biāo)數(shù)據(jù)源操作列的編輯,在數(shù)據(jù)源編輯頁面查看創(chuàng)建數(shù)據(jù)源時所使用的模式。
當(dāng)前節(jié)點類型不支持MySQL8.0及以上版本。
網(wǎng)絡(luò)聯(lián)通說明
網(wǎng)絡(luò)連通說明
MySQL節(jié)點需要訪問MySQL服務(wù),您需要確保Serverless資源組和MySQL數(shù)據(jù)庫的網(wǎng)絡(luò)已連通,關(guān)于Serverless資源組網(wǎng)絡(luò)連通方案,詳情請參見:網(wǎng)絡(luò)連通方案。
配置白名單
若MySQL數(shù)據(jù)庫存在白名單訪問控制,您需要在MySQL數(shù)據(jù)庫添加Serverless資源組對應(yīng)的白名單,獲取Serverless資源組白名單,詳情請參見:添加白名單。
測試連通性
您可以通過添加DataWorks數(shù)據(jù)源的方式來測試是否可以連通。詳情請參見:測試連通性。
創(chuàng)建并使用MySQL節(jié)點進(jìn)行任務(wù)開發(fā)
進(jìn)入數(shù)據(jù)開發(fā)頁面。
登錄DataWorks控制臺,單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)建模與開發(fā) > 數(shù)據(jù)開發(fā),在下拉框中選擇對應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開發(fā)。
創(chuàng)建業(yè)務(wù)流程。
如果您已有業(yè)務(wù)流程,則可以忽略該步驟。
鼠標(biāo)懸停至圖標(biāo),選擇新建業(yè)務(wù)流程。
在新建業(yè)務(wù)流程對話框,輸入業(yè)務(wù)名稱。
單擊新建。
創(chuàng)建MySQL節(jié)點。
鼠標(biāo)懸停至圖標(biāo),選擇 。
您也可以找到相應(yīng)的業(yè)務(wù)流程,右鍵單擊業(yè)務(wù)流程,選擇
。在新建節(jié)點對話框中,輸入名稱,并選擇節(jié)點類型及路徑。
說明節(jié)點名稱必須是大小寫字母、中文、數(shù)字、下劃線(_)和小數(shù)點(.),且不能超過128個字符。
單擊確認(rèn),進(jìn)入MySQL節(jié)點編輯頁面。
使用MySQL節(jié)點進(jìn)行MySQL任務(wù)開發(fā)。
選擇數(shù)據(jù)源。
在選擇數(shù)據(jù)源下拉框,選擇進(jìn)行任務(wù)開發(fā)需要使用的目標(biāo)數(shù)據(jù)源。如果下拉列表中沒有需要的數(shù)據(jù)源,請單擊右側(cè)的新建數(shù)據(jù)源,在數(shù)據(jù)源管理頁面新建,詳情請參見配置MySQL數(shù)據(jù)源。
說明標(biāo)準(zhǔn)模式工作空間下,此處僅下拉展示已配置開發(fā)環(huán)境與生產(chǎn)環(huán)境的MySQL數(shù)據(jù)源。
MySQL節(jié)點僅支持對連接串模式創(chuàng)建的生產(chǎn)環(huán)境MySQL數(shù)據(jù)源進(jìn)行MySQL任務(wù)的開發(fā)。您可以參考配置MySQL數(shù)據(jù)源進(jìn)入數(shù)據(jù)源管理頁面,單擊目標(biāo)數(shù)據(jù)源操作列的編輯,在數(shù)據(jù)源編輯頁面查看創(chuàng)建數(shù)據(jù)源時所使用的模式。
選擇資源組。
在工具欄單擊圖標(biāo),在參數(shù)對話框選擇已創(chuàng)建的調(diào)度資源組。
說明訪問公共網(wǎng)絡(luò)或VPC網(wǎng)絡(luò)環(huán)境的數(shù)據(jù)源需要使用與數(shù)據(jù)源測試連通性成功的調(diào)度資源組。詳情請參見網(wǎng)絡(luò)連通方案。
如果您后續(xù)執(zhí)行任務(wù)需要修改使用的資源組,您可單擊帶參運(yùn)行圖標(biāo),選擇需要更換的調(diào)度資源組。
使用SQL語句創(chuàng)建任務(wù)。
在SQL編輯區(qū)域使用SQL語句創(chuàng)建任務(wù)。
示例查詢xc_emp表的內(nèi)容,語句如下。實際使用時,您可以根據(jù)MySQL支持的語法,編寫需要執(zhí)行的語句。
select * from xc_emp;
運(yùn)行結(jié)果如下。
如果任務(wù)執(zhí)行失敗,您可以查看任務(wù)運(yùn)行失敗的錯誤提示,參考常見問題:任務(wù)執(zhí)行報錯暫不支持的jdbc驅(qū)動進(jìn)行排查處理。
保存并運(yùn)行SQL語句。
在工具欄,單擊圖標(biāo),保存編寫的SQL語句,單擊圖標(biāo),運(yùn)行創(chuàng)建的SQL任務(wù)。
任務(wù)調(diào)度配置。
如果您需要周期性執(zhí)行創(chuàng)建的節(jié)點任務(wù),可以單擊節(jié)點編輯頁面右側(cè)的調(diào)度配置,根據(jù)業(yè)務(wù)需求配置該節(jié)點任務(wù)的調(diào)度信息:
配置任務(wù)調(diào)度的基本信息,詳情請參見配置基礎(chǔ)屬性。
配置時間調(diào)度周期、重跑屬性和上下游依賴關(guān)系,詳情請參見時間屬性配置說明及配置同周期調(diào)度依賴。
說明您需要設(shè)置節(jié)點的重跑屬性和依賴的上游節(jié)點,才可以提交節(jié)點。
配置資源屬性,詳情請參見配置資源屬性。訪問公網(wǎng)或VPC網(wǎng)絡(luò)的MySQL數(shù)據(jù)源,請選擇與MySQL數(shù)據(jù)源網(wǎng)絡(luò)連通的調(diào)度資源組,作為周期調(diào)度任務(wù)使用的資源組。詳情請參見網(wǎng)絡(luò)連通方案。
提交并發(fā)布節(jié)點任務(wù)。
單擊工具欄中的圖標(biāo),保存節(jié)點。
單擊工具欄中的圖標(biāo),提交節(jié)點任務(wù)。
在提交新版本對話框中,輸入變更描述。
單擊確定。
如果您使用的是標(biāo)準(zhǔn)模式的工作空間,任務(wù)提交成功后,需要將任務(wù)發(fā)布至生產(chǎn)環(huán)境進(jìn)行發(fā)布。請單擊頂部菜單欄左側(cè)的任務(wù)發(fā)布。具體操作請參見發(fā)布任務(wù)。
查看周期調(diào)度任務(wù)。
單擊編輯界面右上角的運(yùn)維,進(jìn)入生產(chǎn)環(huán)境運(yùn)維中心。
查看運(yùn)行的周期調(diào)度任務(wù),詳情請參見查看并管理周期任務(wù)。
如果您需要查看更多周期調(diào)度任務(wù)詳情,可單擊頂部菜單欄的運(yùn)維中心,詳情請參見運(yùn)維中心概述。
常見問題:任務(wù)執(zhí)行報錯暫不支持的jdbc驅(qū)動
問題描述
添加MySQL數(shù)據(jù)源時,選擇了非連接串模式創(chuàng)建的數(shù)據(jù)源,導(dǎo)致運(yùn)行任務(wù)時失敗,報錯信息為
sql execute failed! 暫不支持的jdbc驅(qū)動
。問題原因
出現(xiàn)上述報錯通常都是選擇了非連接串模式創(chuàng)建的MySQL數(shù)據(jù)源導(dǎo)致。
解決方案
重新選擇使用連接串模式創(chuàng)建的數(shù)據(jù)源。您可以參考配置MySQL數(shù)據(jù)源進(jìn)入數(shù)據(jù)源管理頁面,單擊目標(biāo)數(shù)據(jù)源操作列的編輯,在數(shù)據(jù)源編輯頁面查看創(chuàng)建數(shù)據(jù)源時所使用的模式。
常見問題:測試連通性通過但任務(wù)執(zhí)行報錯
可能原因1:測試連通性時資源組選擇錯誤,請確認(rèn)是否選擇使用任務(wù)調(diào)度資源組進(jìn)行連通性測試。詳情請參見(可選)測試網(wǎng)絡(luò)連通。
可能原因2:測試連通性使用的調(diào)度資源組,但任務(wù)執(zhí)行時選錯資源組,您可通過帶參運(yùn)行切換任務(wù)執(zhí)行使用的調(diào)度資源組。