日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

快速入門

本文將幫助您快速部署和使用阿里云文件存儲 HDFS 版。您將完成創(chuàng)建文件存儲 HDFS 版文件系統(tǒng)并完成掛載操作。部署成功后,您就可以像在Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System)中一樣管理和訪問數(shù)據(jù)。

前提條件

  • 已開通文件存儲 HDFS 版服務。具體操作,請參見開通文件存儲HDFS版服務。

  • 已購買ECS實例。更多信息,請參見選購ECS實例。

    本文使用的ECS實例地域在華東1(杭州)地域。

  • 已為ECS實例安裝JDK,且JDK版本不低于1.8。

  • 已為ECS實例安裝Hadoop客戶端,建議您使用的Hadoop版本不低于2.7.2。Hadoop下載地址,請參見Hadoop Releases

    本文使用的Hadoop版本為Apache Hadoop 2.7.2。

操作視頻

步驟一:創(chuàng)建文件系統(tǒng)

您可以通過文件存儲 HDFS 版控制臺創(chuàng)建文件系統(tǒng)或調用CreateFileSystem創(chuàng)建文件系統(tǒng)。

  1. 登錄文件存儲HDFS版控制臺。

  2. 在頂部菜單欄選擇要創(chuàng)建文件系統(tǒng)實例的區(qū)域。例如華東1(杭州)。

  3. 概覽頁面,單擊創(chuàng)建文件系統(tǒng)

    說明
    • 單個文件系統(tǒng)容量上限為1 EiB。

    • 每個賬號在單個地域內最多可以創(chuàng)建3個文件系統(tǒng)。

  4. 創(chuàng)建文件系統(tǒng)面板,配置如下必要參數(shù)。其他參數(shù)請您根據(jù)實際業(yè)務需求選擇或選用默認配置。

    參數(shù)

    說明

    可用區(qū)

    下拉選擇相應的可用區(qū)。

    同一地域不同可用區(qū)之間文件系統(tǒng)與計算節(jié)點互通。若要獲取最高性能,請使用同一可用區(qū)內的文件系統(tǒng)與計算節(jié)點。

    文件系統(tǒng)名稱

    輸入想要創(chuàng)建的文件系統(tǒng)的名稱。文件系統(tǒng)命名規(guī)則如下:

    • 全局唯一且不能為空字符串。

    • 長度為6~64個字符。

    • 支持英文字母,可包含數(shù)字、下劃線(_)和短劃線(-)。

    協(xié)議類型

    選擇HDFS協(xié)議。

    存儲類型

    選擇標準型

    文件系統(tǒng)容量(單位 GiB)

    輸入您預期要配置的文件系統(tǒng)容量,防止使用超出預期的空間容量。配置的文件系統(tǒng)容量不用作計費依據(jù)。

    說明
    • 只允許輸入大于等于1024的正整數(shù)來設置文件系統(tǒng)容量。默認值為:10240 GiB。

    • 文件系統(tǒng)創(chuàng)建后,您還可以修改該文件系統(tǒng)容量。更多信息,請參見修改文件系統(tǒng)。

    吞吐模式

    選擇標準吞吐預置吞吐,預置吞吐取值范圍為1~5120 MiB/s。請根據(jù)需求選擇。

  5. 單擊確定,完成文件系統(tǒng)的創(chuàng)建。

    如果新創(chuàng)建的文件系統(tǒng)未在列表中顯示,請刷新此頁面。

    說明

    初始情況下,每個阿里云賬號都會自動生成一個VPC默認權限組,允許同一VPC網(wǎng)絡下的任何IP地址通過該掛載點訪問文件系統(tǒng)。您也可以根據(jù)業(yè)務場景創(chuàng)建權限組。具體操作,請參見創(chuàng)建權限組和規(guī)則

步驟二:創(chuàng)建掛載點

掛載點是文件存儲 HDFS 版文件系統(tǒng)在網(wǎng)絡環(huán)境中的連接點,文件系統(tǒng)必須通過掛載點傳輸數(shù)據(jù)。

  1. 返回文件存儲 HDFS 版控制臺,選擇文件系統(tǒng)。

  2. 單擊剛創(chuàng)建的文件系統(tǒng)實例,選擇掛載點頁簽。

  3. 單擊添加掛載點。

  4. 添加掛載點面板,配置如下參數(shù)。

    參數(shù)

    說明

    掛載點類型

    選擇VPC。

    權限組

    根據(jù)需求選擇權限組。

    初始情況下,每個賬號都會自動生成一個VPC默認權限組,允許同一VPC網(wǎng)絡下的任何IP地址通過該掛載點訪問文件系統(tǒng)。您也可以根據(jù)業(yè)務場景創(chuàng)建權限組。具體操作,請參見創(chuàng)建權限組和規(guī)則。

    VPC網(wǎng)絡ID

    選擇已創(chuàng)建的VPC網(wǎng)絡。如果還未創(chuàng)建,請前往VPC控制臺創(chuàng)建。

    VPC網(wǎng)絡交換機ID

    選擇VPC網(wǎng)絡下創(chuàng)建的交換機。

  5. 配置完成后,單擊確定。

步驟三:掛載文件系統(tǒng)

在使用文件系統(tǒng)前,您還需要通過掛載點掛載文件存儲 HDFS 版文件系統(tǒng)。

  1. 連接ECS實例。連接方式,請參見連接ECS實例。

  2. 配置core-site.xml。

    1. 執(zhí)行如下命令打開core-site.xml文件。

      vim ${HADOOP_HOME}/etc/hadoop/core-site.xml

      如果您尚未配置${HADOOP_HOME},可以使用下面命令將您的Hadoop安裝目錄配置到該環(huán)境變量。

      export HADOOP_HOME=/your/hadoop/installation/directory
    2. core-site.xml文件中,配置如下信息。

      <property>
           <name>fs.defaultFS</name>
           <value>dfs://f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com:10290</value>
      </property>
      <property>
           <name>fs.dfs.impl</name>
           <value>com.alibaba.dfs.DistributedFileSystem</value>
      </property>
      <property>
           <name>fs.AbstractFileSystem.dfs.impl</name>
           <value>com.alibaba.dfs.DFS</value>
      </property>

      其中,f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com文件存儲 HDFS 版掛載點地址,請根據(jù)實際情況替換。

    3. 可選:調整core-site.xml配置,優(yōu)化集群性能。具體方法,請參見性能優(yōu)化最佳實踐。

    4. core-site.xml文件同步到所有節(jié)點上。

  3. 部署文件存儲 HDFS 版Java SDK。

    1. 下載最新的文件存儲 HDFS 版Java SDK。

    2. 將下載的文件存儲 HDFS 版Java SDK部署到HDFS組件的CLASSPATH路徑下。

      cp aliyun-sdk-dfs-x.y.z.jar  ${HADOOP_HOME}/share/hadoop/hdfs
    3. 文件存儲 HDFS 版Java SDK同步到所有節(jié)點上。

  4. 執(zhí)行以下命令,驗證掛載結果。

    • 執(zhí)行命令

      ${HADOOP_HOME}/bin/hadoop fs -df
    • 返回示例

      如果返回如下類似信息,則表示掛載文件存儲 HDFS 版文件系統(tǒng)成功。

      Filesystem                                                          Size  Used       Available  Use%
      dfs://f-e389e5c7e****.cn-hangzhou.dfs.aliyuncs.com:10290  10995116277760     0  10995116277760    0%
      22/09/20 14:19:04 INFO dfs.DistributedFileSystem: FileSystem close com.alibaba.dfs.DistributedFileSystem@51ee79a3
      22/09/20 14:19:04 INFO dfs.DfsClient: DfsClient close Client-6676663918471637276
      22/09/20 14:19:04 INFO common.LeaseRenewer: close all files being written
      22/09/20 14:19:04 INFO common.LeaseRenewer: LeaseRenwerForClient-6676663918471637276 closed

步驟四:驗證掛載

掛載成功后,您可以在ECS上把文件存儲 HDFS 版文件系統(tǒng)當做Hadoop分布式文件系統(tǒng)來訪問和使用。驗證掛載

常見問題

什么是文件存儲 HDFS 版

文件存儲 HDFS 版是面向阿里云ECS實例及容器服務等計算資源的文件存儲服務。文件存儲 HDFS 版兼容了標準的HadoopFS協(xié)議接口,使您無需對現(xiàn)有大數(shù)據(jù)分析應用做任何修改,即可使用具備無限容量及性能擴展、單一命名空間、高可靠和高可用的分布式文件系統(tǒng)。相比自建HDFS存儲,使用文件存儲 HDFS 版服務可以大量節(jié)約維護成本,降低數(shù)據(jù)安全風險。

文件存儲 HDFS 版服務適用什么場景?

文件存儲 HDFS 版適用于互聯(lián)網(wǎng)行業(yè)、金融行業(yè)等有大數(shù)據(jù)計算與存儲分析需求的行業(yè)客戶進行海量數(shù)據(jù)存儲和離線計算的業(yè)務場景,充分滿足以Hadoop為代表的分布式計算業(yè)務類型對分布式存儲性能、容量和可靠性的多方面要求。

開通文件存儲 HDFS 版服務后,就開始計費嗎?

僅開通文件存儲 HDFS 版服務,不會產生費用。當您在文件存儲 HDFS 版中寫入文件數(shù)據(jù)產生實際存儲容量,則開始計費。

文件系統(tǒng)用于計費的計費存儲量是如何計算的?

按每小時計費存儲量的最大值(峰值)計費。

  • 計費存儲量=MAX[核算存儲量,實際存儲量]

  • 實際存儲量是指文件系統(tǒng)中所有文件大小的總和(不含目錄),包括文件空洞。

  • 核算存儲量是指5 MiB×Inode(包括文件和目錄)數(shù)量獲得的存儲量。Inode數(shù)量可以通過控制臺和容量監(jiān)控獲得。