Spark常見報(bào)錯(cuò)
本文匯總了AnalyticDB for MySQL Spark作業(yè)常見的錯(cuò)誤碼、報(bào)錯(cuò)信息、報(bào)錯(cuò)原因和解決辦法。您可以參考本文解決報(bào)錯(cuò)。
報(bào)錯(cuò)概覽
現(xiàn)象 | 錯(cuò)誤碼 | 報(bào)錯(cuò)信息 |
Spark訪問JDBC數(shù)據(jù)源失敗。 | JDBC_SOURCE_TABLE_NAME_DUPLICATE | Both '$jdbcTableName' and '$jdbcQueryString' can not be specified at the same time |
JDBC_NO_SUITABLE_DRIVER | ||
JDBC_COMMUNICATION_FAILURE | ||
JDBC_SSL_ERROR | ||
JDBC_COLUMN_TYPE_PARSER_ERROR | ||
業(yè)務(wù)需要處理的數(shù)據(jù)量突然變大導(dǎo)致Spark作業(yè)無法成功執(zhí)行。 | EXECUTOR_CONTAINER_OOM | |
EXECUTOR_DISK_FULL | ||
Spark作業(yè)執(zhí)行時(shí)立即失敗。 | ENI_NOT_VALID | The VPC of the specified ENI and security group are not in the same VPC |
DRIVER_FILE_NOTFOUND | ||
Spark執(zhí)行時(shí)偶發(fā)失敗。 | BROADCAST_TOO_LARGE | |
BROADCAST_MEM_NOT_ENOUGH | ||
ADB_DOMAIN_NOT_RESOLVED | ||
配置彈性網(wǎng)卡的Spark作業(yè)失敗。 | SG_MANADED_BY_CLOUD | The security group has been managed by another cloud product. |
VSWITCH_IP_NOT_ENOUGH | ||
Spark作業(yè)處于提交中狀態(tài)，無法進(jìn)入運(yùn)行中狀態(tài)。 | EXCEEDED_QUOTA | |
Spark SQL讀寫Hudi數(shù)據(jù)失敗。 | HUDI_PARTITION_NOT_EXISTS | |
Spark作業(yè)訪問OSS數(shù)據(jù)源失敗。 | DRIVER_OSS_ACCESS_DENIED | |
Spark訪問ElasticSearch數(shù)據(jù)源失敗。 | ES_DATANODE_NOT_FOUND | EsHadoopNoNodesLeftException: Connection error .* all nodes failed |
Spark作業(yè)訪問元數(shù)據(jù)失敗。 | USER_HAVE_NONE_PRIVILEGE |
報(bào)錯(cuò)原因及解決方法
您可以在應(yīng)用列表頁簽中，搜索應(yīng)用ID，單擊日志，查看目標(biāo)Spark作業(yè)的日志信息。具體操作，請參見Spark開發(fā)編輯器。
Both '$jdbcTableName' and '$jdbcQueryString' can not be specified at the same time
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：通過Spark訪問JDBC數(shù)據(jù)源時(shí)，OPTIONS配置項(xiàng)中的url和dbtable參數(shù)重復(fù)指定了數(shù)據(jù)表。
解決方法：數(shù)據(jù)表僅需指定一次，請刪除url參數(shù)中指定的表名。
SQLException .* No suitable driver found for
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：通過Spark訪問JDBC數(shù)據(jù)源時(shí)，沒有找到合適的驅(qū)動(dòng)。
解決方法：檢查作業(yè)配置的JAR包，需確保JAR包中有合適的JDBC驅(qū)動(dòng)程序。同時(shí)訪問多種JDBC數(shù)據(jù)源時(shí)，JAR包中需有所有數(shù)據(jù)源相關(guān)的JDBC驅(qū)動(dòng)程序。例如：同時(shí)訪問Hive和RDS MySQL數(shù)據(jù)源，JAR包中應(yīng)包含Hive數(shù)據(jù)源和RDS MySQL數(shù)據(jù)源的JDBC驅(qū)動(dòng)。
CommunicationsException .* Communications link failure
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：Spark作業(yè)中配置的彈性網(wǎng)卡無法訪問指定的數(shù)據(jù)源。常見于訪問RDS MySQL數(shù)據(jù)源和HDFS數(shù)據(jù)源的場景。
解決方法：
檢查當(dāng)前Spark作業(yè)中指定交換機(jī)的IP地址段是否在數(shù)據(jù)源的白名單配置中。若不在，則需配置數(shù)據(jù)源的白名單。
例如：訪問RDS數(shù)據(jù)源時(shí)，若指定交換機(jī)的IP地址段不在RDS的白名單中，則需將指定的交換機(jī)IP地址段添加到RDS的白名單。
檢查當(dāng)前Spark作業(yè)中指定的安全組是否開放了目標(biāo)數(shù)據(jù)源的端口訪問權(quán)限。具體操作，請參見添加安全組規(guī)則。
例如：訪問RDS MySQL數(shù)據(jù)源時(shí)，應(yīng)在安全組規(guī)則的入方向與出方向開放3306端口。
檢查當(dāng)前Spark作業(yè)中掛載的彈性網(wǎng)卡是否和目標(biāo)數(shù)據(jù)源在同一個(gè)VPC中。
SSL peer shut down incorrectly
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：通過Spark訪問JDBC數(shù)據(jù)源時(shí)沒有配置正確的SSL證書。
解決方法：請參考通過SSL鏈路訪問RDS MySQL數(shù)據(jù)文檔中的配置示例，配置正確的SSL證書信息。
Can't get JDBC type for <數(shù)據(jù)類型>
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：Spark訪問JDBC數(shù)據(jù)源時(shí)數(shù)據(jù)類型轉(zhuǎn)換錯(cuò)誤。例如：訪問RDS MySQL數(shù)據(jù)時(shí)，數(shù)據(jù)源中的數(shù)據(jù)類型為允許為空的SHORT INT， 映射到AnalyticDB for MySQL表中的類型是INT。
解決方法：修改AnalyticDB for MySQL中表的數(shù)據(jù)類型，確保JDBC數(shù)據(jù)源中允許為空的數(shù)據(jù)列類型也可以被正確的映射到AnalyticDB for MySQL。 例如：RDS MySQL的數(shù)據(jù)類型為SHORT INT ，映射到AnalyticDB for MySQL表為BOOLEAN。
Exit Code: 137
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：Executor進(jìn)程使用的內(nèi)存超出限制。Spark Executor除了JVM本身使用的內(nèi)存外，還包括堆外內(nèi)存（Shuffle、Cache），以及Python UDF等使用的內(nèi)存。容器使用的內(nèi)存超過了容器允許使用內(nèi)存的限制，導(dǎo)致Spark進(jìn)程被kill命令強(qiáng)制終止。常見于數(shù)據(jù)挖掘場景或者以Python語言為核心的Spark作業(yè)中。
解決方法：調(diào)大spark.executor.memoryOverhead參數(shù)，該參數(shù)表示容器內(nèi)部非Spark Executor進(jìn)程可使用的內(nèi)存容量（單位MB），默認(rèn)為Executor容器總內(nèi)存容量的百分之三十。例如您當(dāng)前配置的Executor規(guī)格是Medium（2核8 GB），則容器內(nèi)部非Spark Executor進(jìn)程可使用的內(nèi)存容量默認(rèn)為是2.4 GB。調(diào)整語句如下：
spark.executor.memoryOverhead: 4000MBNo space left on device
報(bào)錯(cuò)出現(xiàn)日志：Executor日志。
報(bào)錯(cuò)原因：磁盤空間不足。
解決方法：通過spark.adb.executorDiskSize參數(shù)掛載的額外磁盤。具體操作，請參見Spark應(yīng)用配置參數(shù)說明。
The VPC of the specified ENI and security group are not in the same VPC
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：Spark作業(yè)配置的交換機(jī)和安全組不在同一VPC內(nèi)。
解決方法：檢查Spark作業(yè)中的配置，并重新配置正確的交換機(jī)和安全組。
java.lang.ClassNotFoundException
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：提交Spark作業(yè)時(shí)，上傳的JAR包缺少類，常見于使用第三方JAR包的場景。
解決方法：檢查第三方JAR包是否完整，若不完整，需要重新打包，并確保JAR包中含目標(biāo)類。
Cannot broadcast the table that is larger than
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：廣播表的大小超過了配置的限制，導(dǎo)致廣播失敗。廣播表的詳情，請參見Broadcast。
解決方法：
Spark作業(yè)中廣播表的最大內(nèi)存為8 GB，您可以在提交Spark作業(yè)時(shí)使用
spark.sql.autoBroadcastJoinThreshold參數(shù)配置廣播表的內(nèi)存。單位MB。Spark會(huì)使用抽樣方法估算表的大小，如果表分布不均勻，估算就會(huì)出現(xiàn)錯(cuò)誤。您可以將
spark.sql.autoBroadcastJoinThreshold參數(shù)的取值配置為-1，關(guān)閉廣播特性，從而保障業(yè)務(wù)可以順利執(zhí)行。單位MB。
Not enough memory to build and broadcast the table to all
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：廣播表超過了Driver節(jié)點(diǎn)的最大內(nèi)存。廣播表的詳情，請參見Broadcast。
解決方法：您需調(diào)小spark.sql.autoBroadcastJoinThreshold參數(shù)的取值，建議不超過400。單位MB。
unkown host .* ts.adb.com
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：由于網(wǎng)絡(luò)波動(dòng)，DNS服務(wù)器連接失敗等原因?qū)е聝?nèi)部服務(wù)域名解析失敗。
解決方法：若該報(bào)錯(cuò)發(fā)生頻率較高，可以配置spark.adb.eni.adbHostAlias.enabled=true解決。
The security group has been managed by another cloud product.
報(bào)錯(cuò)出現(xiàn)日志：GetSparkAppLog返回日志。
報(bào)錯(cuò)原因：Spark作業(yè)中指定的安全組為另外一個(gè)云服務(wù)管理的安全組，不允許在AnalyticDB for MySQL Spark中使用。
解決方法：檢查Spark作業(yè)中安全組的配置，并重新配置正確的安全組。
does not have enough IP addresses
報(bào)錯(cuò)出現(xiàn)日志：GetSparkAppLog返回日志。
報(bào)錯(cuò)原因：Spark作業(yè)中指定的交換機(jī)配額已滿，無法申請更多的IP地址。
解決方法：檢查Spark作業(yè)中交換機(jī)的配置，并重新配置交換機(jī)，確保其有足夠的空閑IP。
exceeded quota
報(bào)錯(cuò)出現(xiàn)日志：GetSparkAppLog接口返回日志。
報(bào)錯(cuò)原因：Spark作業(yè)執(zhí)行所需資源超過了Job型資源組剩余的可用資源。
解決方法：修改資源組的計(jì)算最大預(yù)留資源，或等待其他作業(yè)執(zhí)行完成后再提交Spark作業(yè)。
Error fetching partition paths with prefix
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：通過Spark訪問Hudi數(shù)據(jù)時(shí)，所指定的Hudi表分區(qū)不存在。
解決方法：檢查Hudi表分區(qū)是否存在。
The bucket you access does not belong to you
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：spark.adb.roleArn參數(shù)指定的角色沒有訪問OSS的權(quán)限。
解決方法：您需為RAM用戶授予對應(yīng)權(quán)限。具體操作，請參見同賬號授權(quán)。
EsHadoopNoNodesLeftException: Connection error .* all nodes failed
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：檢索分析服務(wù)Elasticsearch版不允許Spark直連DataNode訪問數(shù)據(jù)，導(dǎo)致開源社區(qū)的默認(rèn)配置無法訪問數(shù)據(jù)。
解決方法：請參考訪問Elasticsearch數(shù)據(jù)源文檔中的配置示例，訪問ElasticSearch數(shù)據(jù)。
MetaException .* User have none of the privileges
報(bào)錯(cuò)出現(xiàn)日志：Driver日志。
報(bào)錯(cuò)原因：執(zhí)行Spark作業(yè)的用戶沒有訪問元數(shù)據(jù)的權(quán)限。
解決方法：您需要為執(zhí)行Spark作業(yè)的數(shù)據(jù)庫賬號綁定RAM用戶并根據(jù)讀寫需求授予對應(yīng)的庫表權(quán)限。具體操作，請參見綁定或解綁RAM用戶與數(shù)據(jù)庫賬號和授權(quán)數(shù)據(jù)庫賬號。