日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

您可以通過FastGPU的命令行,快速地部署云上GPU集群,管理資源的生命周期。還可以便捷地為集群安裝深度學習環(huán)境,在集群運行代碼,查看運行日志以及釋放資源。

前提條件

  • 客戶端已安裝Python 3.6或以上版本。

    說明

    您的ECS實例、本地機器、阿里云Cloud Shell工具等均可以作為客戶端安裝FastGPU來構(gòu)建人工智能計算任務。

  • 已獲取阿里云訪問密鑰(AccessKey)。更多信息,請參見創(chuàng)建AccessKey

環(huán)境準備

  1. 執(zhí)行以下命令,安裝FastGPU軟件包。

    pip3 install --force-reinstall https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/fastgpu/fastgpu-1.1.5-py3-none-any.whl
  2. 執(zhí)行以下命令,配置環(huán)境變量。

    配置環(huán)境變量時,需要您提前在您的ECS實例、本地機器或阿里云Cloud Shell工具上,獲取阿里云賬號AccessKey(AccessKey ID和AccessKey Secret)、默認地域或默認可用區(qū)等信息。

    export ALIYUN_ACCESS_KEY_ID=****         # 填入您的AccessKey ID
    export ALIYUN_ACCESS_KEY_SECRET=****     # 填入您的AccessKey Secret
    export ALIYUN_DEFAULT_REGION=cn-hangzhou # 填入您希望使用的地域(Region)
    export ALIYUN_DEFAULT_ZONE=cn-hangzhou-i # (選填)填入您希望使用的地域的可用區(qū)

命令行說明

下表所有命令中的{instance_name}可以表示單個實例名稱,例如{instance_name}="task0.my_job",該命令僅對單個實例執(zhí)行。您也可以使用{instance_name}="{my_job}",大括號{}表示以my_job為后綴的GPU集群。

命令

命令說明

命令示例

fastgpu [help,-h,--help]

查看所有FastGPU命令的幫助說明。

fastgpu --help

fastgpu -h

fastgpu {command} --help

查看指定的FastGPU命令的幫助說明。

fastgpu ls --help

fastgpu ls

列出FastGPU用戶創(chuàng)建的實例。包括以下信息:

  • instance name:實例名稱。

  • age(hours):實例創(chuàng)建至今的時間,以小時為單位。

  • public_ip:實例的公網(wǎng)IP。

  • private_ip:實例的內(nèi)網(wǎng)IP。

  • GPU:GPU規(guī)格和數(shù)量。

  • instance_type:實例規(guī)格。

參數(shù)說明:

-a:列出您當前阿里云賬戶下所有實例。會提供Key-Owner(密鑰對)和instance_id(實例id)兩個額外的信息。

  • 查詢當前Linux賬戶下的實例:

    fastgpu ls

  • 查詢同一個阿里云賬號不同Linux賬戶下的所有實例:

    fastgpu ls -a

fastgpu create --config create.cfg
fastgpu create --name {instance_name} --machine {count} --instance_type {ins_type}

創(chuàng)建一個實例或一個集群。

參數(shù)說明:

  • -f, -c, --config:使用指定配置文件創(chuàng)建實例。

  • -n, --name:指定實例名稱。

  • --image, --image_name:指定安裝鏡像。安裝鏡像可通過queryimage命令查到。

  • --image_type:指定鏡像類型。如果未指定image_name,可以通過指定image_type實現(xiàn),包括Aliyun、Ubuntu、CentOS。

  • -np, --machines:指定創(chuàng)建實例數(shù)量。

  • -i, --instance_type:指定實例規(guī)格(包括實例CPU,內(nèi)存,顯卡型號等),您可以通過querygpu命令查詢所有實例規(guī)格。

  • --system_disk_size:指定系統(tǒng)盤大小,單位:GB。

  • --data_disk_size:指定數(shù)據(jù)盤大小,單位:GB。

  • --skip_setup:跳過實例初始化。

  • -nas, --nas, --enable-nas:允許實例掛載NAS。更多信息,請參見什么是文件存儲NAS

  • --zone_id:指定區(qū)域id,默認為自動指定。可通過querygpu命令查詢實例支持的區(qū)域id。

  • --spot:指定創(chuàng)建的實例為搶占式實例。更多信息,請參見搶占式實例概述

  • --confirm_cost:忽略消費確認項。

  • --install_script:指定實例安裝完成后需要執(zhí)行的命令。

  • -vpc, --vpc, --vpc_name:指定私有網(wǎng)絡名稱。

  • -cuda, --install_cuda, --cuda_install:自動化安裝CUDA。

  • 創(chuàng)建一個Ubuntu系統(tǒng)的實例,并指定實例名稱和規(guī)格,同時自動安裝CUDA:

    fastgpu create --name fastgpu_vm -np 1 --instance_type ecs.gn6v-c8g1.16xlarge --image_type ubuntu --install_cuda

  • 按照配置文件創(chuàng)建實例:

    fastgpu create -c config.cfg

fastgpu ssh {instance_name}

使用SSH連接并登錄到指定實例。

說明

您需要將本地的公網(wǎng)IP添加到安全組才可以通過SSH訪問。建議您使用fastgpu addip -a命令快速添加。

使用SSH連接到task0.my_job實例:

fastgpu ssh task0.my_job

fastgpu scp /local/path/to/upload {instance_name}:/remote/path/to/save
fastgpu scp {instance_name}:/remote/path/to/copy /local/path/to/save

將本地文件拷貝到實例中,或者是從實例中拷貝到本地。

  • 將本地文件拷貝到實例中:

    fastgpu scp /root/test.txt task0.my_job:/root/

  • 將實例中的文件拷貝到本地:

    fastgpu scp task0.my_job:/home/cuda/ ~/cuda/

  • 將本地文件拷貝到my_job集群中所有實例的/root目錄中:

    fastgpu scp /root/test.txt {my_job}:/root/

fastgpu querygpu
fastgpu query
fastgpu query -gpu {gpu_type}
fastgpu query -np  {number of gpus per node}
fastgpu query -gpu {gpu_type} -np {number of gpus per node}

查詢阿里云支持的GPU實例規(guī)格。

參數(shù)說明:

  • -gpu:查詢指定的GPU類型規(guī)格。

    支持查詢的類型:V100、 P100、A10、T4、P4、M40等。

  • -np:查詢包含指定GPU個數(shù)的實例類型。支持1、2、4、8四種規(guī)格。

  • 查詢所有實例類型:

    fastgpu querygpu

    fastgpu query

  • 查詢V100 GPU包含的所有實例類型:

    fastgpu query -gpu "V100"

  • 查詢4個GPU的實例類型:

    fastgpu query -np 4

fastgpu queryimage
fastgpu queryimage {os_type}

查詢阿里云支持的實例鏡像。

參數(shù)說明:

os_type:阿里云支持的os類型。包括CentOS、Ubuntu、Debian、SUSE、Aliyun等。

  • 查詢所有鏡像:

    fastgpu queryimage

  • 查詢CentOS系統(tǒng)的所有鏡像版本:

    fastgpu queryimage centos

fastgpu describe {instance_name}
fastgpu describe

查詢實例的所有屬性。屬性包括CPU核數(shù)、GPU、鏡像、內(nèi)存大小、創(chuàng)建時間、密鑰對、狀態(tài)等信息。

  • 查詢所有實例的所有屬性:

    fastgpu describe

  • 查詢task0.my_job實例屬性:

    fastgpu describe task0.my_job

  • 查詢my_job集群下的所有實例屬性:

    fastgpu describe {my_job}

fastgpu kill {instance_name}
fastgpu kill -y {instance_name}
fastgpu kill {instance_a_name} {instance_b_name} {instance_c_name}
fastgpu kill -f {instance_name}

釋放指定的實例。

參數(shù)說明:

  • -f:強制釋放實例。

  • -y:跳過確認。

  • 釋放停止狀態(tài)的task0.my_job實例:

    fastgpu kill task0.my_job

  • 強制釋放task0.my_job實例,無論實例是什么狀態(tài):

    fastgpu kill -f task0.my_job

  • 強制停止my_job集群的所有實例:

    fastgpu kill -f {my_job}

fastgpu stop {instance_name}
fastgpu stop {instance_a_name} {instance_b_name} {instance_c_name}
fastgpu stop -f {instance_name}
fastgpu stop -k {instance_name}

停止指定的實例。若實例為集群實例,可以通過指定該實例名的取值,即將{集群名字}作為該實例值的后綴來批量停止集群下的所有實例。

參數(shù)說明:

  • -f:強制停止實例。

  • -k:實例停止后,仍進行計費操作。

  • -y:跳過確認。

  • 停止運行中的task0.my_job實例:

    fastgpu stop task0.my_job

  • 強制停止task0.my_job實例:

    fastgpu stop -f task0.my_job

  • 強制停止my_job下所有實例:

    fastgpu stop -f {my_job}

fastgpu start {instance_name}

啟動指定的實例。

參數(shù)說明:

-y:跳過確認。

  • 啟動task0.my_job實例:

    fastgpu start task0.my_job

  • 啟動my_job集群:

    fastgpu start {my_job}

fastgpu mount {instance_name}
fastgpu mount {instance_name} {mount_target_domain}

為指定的實例掛載NAS文件系統(tǒng)到/ncluster目錄。

參數(shù)說明:

mount_target_domain:指定NAS的掛載點。如果不指定,則會自動創(chuàng)建掛載點并掛載。

  • 為task0.my_job實例自動創(chuàng)建一個掛載點,并掛載NAS文件系統(tǒng)到實例中:

    fastgpu mount task0.my_job

  • 手動創(chuàng)建并獲取掛載點,并將掛載點掛載到task0.my_job實例中:

    fastgpu mount task0.my_job example.cn-hangzhou.nas.aliyuncs.com

  • 為集群所有實例掛載NAS文件系統(tǒng):

    fastgpu mount {my_job}

fastgpu run {instance_name} {cmd}

在指定實例中執(zhí)行shell命令。

參數(shù)說明:

cmd:需要執(zhí)行的命令。

  • 查詢task0.my_job實例的IP:

    fastgpu run task0.my_job ifconfig

  • 查詢my_job集群下所有實例的IP:

    fastgpu run {my_job} ifconfig

fastgpu addip {instance_name}
fastgpu addip {instance_name} {your_public_ip}
fastgpu addip {instance_name} {your_public_ip} {port_range}
fastgpu addip {instance_name} {your_public_ip} {port_range} {description}
fastgpu addip -a {your_public_ip} {port_range} {description}

為指定實例的安全組添加可訪問的公網(wǎng)IP。

參數(shù)說明:

  • your_public_ip:將要訪問實例機器的公網(wǎng)IP。

  • port_range:端口范圍。以/分隔。

  • description:對添加的公網(wǎng)IP進行說明。

  • -a:默認安全組。

  • 將本機公網(wǎng)IP的22端口添加到默認安全組中:

    fastgpu addip -a

  • 將本機公網(wǎng)IP的22端口添加到task0.my_job實例中的安全組中:

    fastgpu addip task0.my_job

  • 允許IP地址為203.0.113.0的機器訪問task0.my_job實例的2000-3000端口:

    fastgpu addip task0.my_job 203.0.113.0 2000/3000

    fastgpu addip task0.my_job 203.0.113.0 2000/3000 "open 2000-3000 port"

  • 允許IP地址為203.0.113.0的機器訪問my_job集群中的所有機器的2000~3000端口:

    fastgpu addip {my_job} 203.0.113.0 2000/3000

fastgpu deleteip {instance_name}
fastgpu deleteip {instance_name} {your_public_ip}
fastgpu deleteip {instance_name} {your_public_ip} {port_range}
fastgpu deleteip -a

將IP從某一實例安全組中移除。

參數(shù)說明:

  • your_public_ip:已經(jīng)添加到安全組的公網(wǎng)IP。

  • port_range:端口范圍,以/分割。

  • -a:刪除22端口下的所有公網(wǎng)IP。

  • 將本機公網(wǎng)IP從task0.my_job實例安全組中移除:

    fastgpu deleteip task0.my_job

  • 將IP地址為203.0.113.0的機器從實例安全組移除:

    fastgpu deleteip task0.my_job 203.0.113.0

  • 移除IP地址為203.0.113.0的機器訪問2000-3000端口的權(quán)限:

    fastgpu deleteip task0.my_job 203.0.113.0 2000/3000

  • 將task0.my_job實例22端口下所有IP從安全組中移除:

    fastgpu deleteip -a task0.my_job

  • 將IP地址為203.0.113.0的機器從my_job集群下的所有實例中刪除:

    fastgpu deleteip {my_job} 203.0.113.0

fastgpu queryip
fastgpu queryip -a
fastgpu queryip {instance_name}

查詢實例的安全組IP,默認只查詢22端口對應的IP。

參數(shù)說明:

-a:查詢所有端口的IP。

  • 查詢所有實例的22端口安全組IP:

    fastgpu queryip

  • 查詢task0.my_job實例的22端口安全組IP:

    fastgpu queryip task0.my_job

  • 查詢task0.my_job實例所有端口對應的安全組IP:

    fastgpu queryip -a task0.my_job

fastgpu addpub {string of id_rsa.pub}

將本機公鑰添加進指定實例。

參數(shù)說明:

string of id_rsa.pub:公鑰路徑。

~/.ssh/id_rsa.pub內(nèi)容添加到實例中:

fastgpu addpub

fastgpu rename {instance_name} {instance_new_name}
fastgpu rename {instance_id} {instance_new_name}

重命名實例。

參數(shù)說明:

  • instance_new_name:實例的新名稱。

  • instance_id:實例ID,可用describe命令進行查詢。

將task0.my_job實例重命名為my_new_ins:

fastgpu rename task0.my_job task0.my_new_ins

fastgpu tmux {instance_name}

使用SSH連接到實例,并使用默認的tmux進程。

登錄task0.my_job實例,并創(chuàng)建一個tmux進程:

fastgpu tmux task0.my_job

fastgpu deletekeypair

刪除本機的密鑰對。

說明

如果有實例正在使用此密鑰對,刪除該密鑰對后,實例將會無法正常被連接和查詢,但您可以通過fastgpu ls -a命令查詢到。

刪除~/.fastgpu/下對應的密鑰對:

fastgpu deletekeypair

fastgpu createkeypair

在本機創(chuàng)建一個密鑰對,后續(xù)實例的創(chuàng)建以及連接都會使用此次創(chuàng)建的密鑰對。

在本機~/.fastgpu/下創(chuàng)建一個密鑰對:

fastgpu createkeypair

fastgpu attachkeypair {instance_name}

將密鑰對綁定到實例中。

  • ~/.fastgpu/下的密鑰對綁定至task0.my_job實例:

    fastgpu attachkeypair task0.my_job

  • ~/.ncluster/下的密鑰對綁定至my_job集群:

    fastgpu attachkeypair {my_job}

fastgpu detachkeypair {instance_name}

從實例中分離密鑰對。

說明

分離后將無法正常連接和查詢該實例,建議您使用attachkeypair命令重新綁定后,即可恢復正常連接和查詢。

  • 分離task0.my_job實例密鑰對:

    fastgpu detachkeypair task0.my_job

  • 分離my_job集群下所有實例的密鑰對:

    fastgpu detachkeypair {my_job}

fastgpu notebooksample {instance_name} {passwd_of_login}

在指定實例中創(chuàng)建部署jupyter notebook項目示例。

  • 默認密碼:AIACC。

  • 項目實例:tensorflow-1.14-python36。

參數(shù)說明:

passwd_of_login:指定jupyter-notebook服務器密碼。

在task0.my_job實例中創(chuàng)建并部署項目示例:

fastgpu notebooksample task0.my_job

fastgpu cuda {instance_name} {gpu_driver_version} {cuda_version} {cudnn_version}

為指定實例安裝驅(qū)動,CUDA和cuDNN組件。默認值為:

  • gpu_driver_version:460.91.03。

  • cuda-version:11.2.2。

  • cudnn-version:8.1.1。

參數(shù)說明:

  • gpu_driver_version:需要安裝的GPU驅(qū)動版本號。

  • cuda_version:需要安裝的CUDA版本號。

  • cudnn_version:需要安裝的cuDNN版本號。

  • 在task0.my_job實例中安裝CUDA的默認版本:

    fastgpu cuda task0.my_job

  • 在task0.my_job實例中安裝GPU驅(qū)動,CUDA和cuDNN,GPU驅(qū)動版本為460.91.03,CUDA版本號為11.2.2,cuDNN版本號為8.1.1:

    fastgpu cuda task0.my_job 460.91.03 11.2.2 8.1.1

fastgpu conda {instance_name}
fastgpu conda {instance_name} -f {conda_yaml_file}
fastgpu conda {instance_name} -h
fastgpu conda {instance_name} --cuda 10.0 -tf -v 1.15.0

為指定實例安裝Conda,并創(chuàng)建出指定的Python、CUDA版本的虛擬環(huán)境。

參數(shù)說明:

  • -h:查看幫助。

  • -f或--yaml:按照指定的YAML文件安裝Conda。

  • -cu或--cuda:指定CUDA版本。支持:{11.0,10.2,10.1,10.0}

  • -py或--python:指定使用Python版本。支持:{3.5,3.6,3.7,3.8}

  • -tf或--tensorflow:指定使用TensorFlow為主框架。

  • -pt或--pytorch:指定使用PyTorch為主框架。

  • -mx或--mxnet:指定使用MXNet為主框架。

  • -v、--vers或--framework_version:指定主框架版本。

說明

TensorFlow、PyTorch以及MXNet三個指定框架參數(shù)不支持同時存在。

  • 為task0.my_job實例安裝Conda,不安裝任何虛擬環(huán)境:

    fastgpu conda task0.my_job

  • 為my_job集群中所有實例安裝Conda:

    fastgpu conda {my_job}

  • 為task0.my_job實例安裝Conda,并配置Python 3.6,CUDA 11.0以及PyTorch 1.7.0虛擬環(huán)境:

    fastgpu conda -py 3.6 -cu 11.0 -pt -v 1.7.0

fastgpu allconda {instance_name}

在指定實例中安裝所有支持的Conda環(huán)境。

說明

安裝過程耗時較長。

  • 為task0.my_job安裝所有的conda環(huán)境:

    fastgpu allconda task0.my_job

  • 為my_job集群安裝所有的conda環(huán)境:

    fastgpu allconda {my_job}

fastgpu replaceimage {instance_name} {image_id}

替換指定實例的鏡像。

參數(shù)說明:

image_id:需要替換的鏡像名稱或鏡像ID。

  • 將task0.my_job實例的鏡像替換為CentOS:

    fastgpu replaceimage task0.my_job centos_8_2_x64_20G_alibase_20210712.vhd

  • 將my_job下所有實例替換為CentOS:

    fastgpu replaceimage {my_job} centos_8_2_x64_20G_alibase_20210712.vhd

配置文件示例

示例文件create.cfg內(nèi)容如下,參數(shù)請參考fastgpu create命令的相關(guān)說明。

[fastgpu]
name=fastgpu-v100
machines=1
system_disk_size=500
data_disk_size=0
image_name=
image_type=ubuntu_18_04
instance_type=ecs.gn6v-c8g1.2xlarge
spot=False
confirm_cost=False
mount_nas=True
vpc_name=fastgpu-vpc
install_cuda=True

[cmd]
install_script=pwd