Python程序

您需要安裝eais-torch whl軟件包，安裝前請確保您的運行環(huán)境中已安裝了Python3以及pip3軟件包。安裝操作如下：

1. 執(zhí)行如下命令，設置EAIS軟件包和PyTorch軟件包的版本號。

   設置軟件包版本號后，后續(xù)步驟可自動獲取該軟件包版本號。

   重要

   • EAIS_PACKAGE_VERSION：EAIS軟件包版本號，目前僅支持設置為4.2.5。

   • pytorch_VERSION：PyTorch軟件包版本號，本文操作步驟以PyTorch 1.13.1為例。

   export EAIS_PACKAGE_VERSION=4.2.5
   export pytorch_VERSION=1.13.1

2. 下載并安裝eais-torch whl軟件包。

   sudo pip3 install eais-torch${pytorch_VERSION}==${EAIS_PACKAGE_VERSION} \
     -f https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/index.html

3. 執(zhí)行如下命令，查看eais-torch whl軟件包安裝結果。

   pip3 list | grep eais

   回顯信息中包含eais-torch軟件包信息，表示eais-torch whl軟件包安裝成功。

C++程序

1. 執(zhí)行如下命令，設置EAIS軟件包和libtorch軟件包的版本號。

   設置軟件包版本號后，后續(xù)步驟可自動獲取該軟件包版本號。

   重要

   • EAIS_PACKAGE_VERSION：EAIS軟件包版本號，目前僅支持設置為4.2.5。

   • libtorch_VERSION：libtorch軟件包版本號，本文操作步驟以libtorch 1.13.1為例。

   export EAIS_PACKAGE_VERSION=4.2.5
   export libtorch_VERSION=1.13.1

2. 獲取軟件包下載地址。

   EAIS提供以Pre-cxx11 ABI和cxx11 ABI方式編譯生成的依賴于libtorch的軟件包，包含libtorch的EAIS torch軟件包下載地址如下：

   ECS實例操作系統(tǒng)	編譯方式	軟件包類型	EAIS軟件包下載地址
   Ubuntu	Pre-cxx11 ABI	deb	https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}_${EAIS_PACKAGE_VERSION}_amd64.deb
   	cxx11 ABI	deb	https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}-cxx11-abi_${EAIS_PACKAGE_VERSION}_amd64.deb
   CentOS或Alibaba Cloud Linux	Pre-cxx11 ABI	rpm	https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}-${EAIS_PACKAGE_VERSION}-1.x86_64.rpm
   	cxx11 ABI	rpm	https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}-cxx11-abi-${EAIS_PACKAGE_VERSION}-1.x86_64.rpm

3. 下載并安裝EAIS軟件包。

   • ECS實例操作系統(tǒng)為Ubuntu

     以cxx11 ABI方式編譯的依賴于libtorch的eais-torch deb軟件包為例，操作如下：

     1. 執(zhí)行如下命令，下載并安裝eais-torch deb軟件包。

        wget https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}-cxx11-abi_${EAIS_PACKAGE_VERSION}_amd64.deb
        dpkg -i eais-torch${libtorch_VERSION}-cxx11-abi_${EAIS_PACKAGE_VERSION}_amd64.deb
        source /etc/profile

     2. 執(zhí)行如下命令，查看eais-torch deb軟件包安裝結果。

        dpkg -l | grep eais-torch

        回顯信息中包含eais-torch軟件包信息，表示eais-torch deb軟件包安裝成功。

   • ECS實例操作系統(tǒng)為CentOS或Alibaba Cloud Linux

     以cxx11 ABI方式編譯的依賴于libtorch的eais-torch rpm軟件包為例，操作如下：

     1. 執(zhí)行如下命令，下載并安裝EAIS torch rpm軟件包。

        wget https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}-cxx11-abi-${EAIS_PACKAGE_VERSION}-1.x86_64.rpm
        sudo rpm -ivh eais-torch${libtorch_VERSION}-cxx11-abi-${EAIS_PACKAGE_VERSION}-1.x86_64.rpm --nodeps
        source /etc/profile

     2. 執(zhí)行如下命令，查看eais-torch rpm軟件包安裝結果。

        rpm -qa | grep eais-torch

        回顯信息中包含eais-torch軟件包信息，表示eais-torch rpm軟件包安裝成功。

Python程序

您需要在您的Python推理腳本中添加如下一行內(nèi)容，eais-torch才會生效。

import eais.torch_eais

C++程序

假設您用于推理PyTorch模型的C++程序名稱為my_program，且使用如下命令運行您的C++程序：

export LD_LIBRARY_PATH=/your/lib/path:$LD_LIBRARY_PATH
./my_program my_model.pt

如果您需要使用EAIS推理您的PyTorch模型，您可以執(zhí)行如下任意一種命令運行您的C++程序，運行過程中eais-torch自動生效：

• 命令一：

  export LD_LIBRARY_PATH=/your/lib/path:$LD_LIBRARY_PATH
  LD_PRELOAD=libtorcheais.so ./my_program my_model.pt

• 命令二：

  export LD_LIBRARY_PATH=/your/lib/path:$LD_LIBRARY_PATH
  export LD_PRELOAD=libtorcheais.so
  ./my_program my_model.pt