阿里云
发表主题 回复主题
  • 827阅读
  • 0回复

Docker怎么入门

级别: 论坛粉丝
发帖
1400
云币
2803


什么是docker


  • docker 是一个开源的[backcolor=transparent]应用容器引擎,基于 Go 语言并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。


为什么用 docker

  • 当前最火热的技术之一,为您的部署运维带来颠覆性变化。
  • 简洁优雅,既为每个应用提供干净的环境,又免于虚拟机带来的性能损失。
  • 通过阿里开发者平台,立即获取您喜爱的 CUDA/Caffe/tensorflow 等框架。


如何使用Docker



基本概念


初次接触 docker 的用户可能觉得 docker 与虚拟机有许多功能上的相似之处,但两者其实完全不同。我们知道[backcolor=transparent]操作系统=内核+服务组件,centos、redhat、ubuntu 等各个发行版差异正是主要在服务组件上。虚拟机提供了完整的硬件和操作系统虚拟化,而 docker 仅仅对服务组件(用户空间)的部分进行抽象化,并不会虚拟宿主机的内核与硬件层,两者架构如图所示:由于docker容器共用宿主机内核,因此其在满足用户对各个应用“环境”隔离需求下,能获得几乎等于裸机的性能。

nvidia-docker


nvidia-docker 是 Nvidia 公司为 docker 所做的封装,开源代码可以在 Github 找到。nvidia-docker 可以对GPU做抽象,只要容器中的GPU驱动版本不高于宿主机的GPU驱动版本,即可在容器中使用GPU资源。

镜像与容器

  • image:镜像。镜像可以理解为是对系统某一时刻的打包或快照。
  • container:容器。容器是指从镜像生成的一个系统[backcolor=transparent]实例,类似于虚拟机实例,是实际运行应用的地方。

对镜像与容器的关系做一个类比的话,就类似于面向对象语言中“类”与“实例”的关系。镜像是只读的“蓝图”,容器则是由镜像生成的实体。同一个镜像可以在一台机器上生成多个容器,每个容器都运行着己的环境和应用。不过容器也可以通过 commit 操作,自己当前的状态打包保存成一个新的镜像。
类似于 git,镜像也采用“分层”的机制,每层仅保存在上一层镜像基础上的增量改动:

基本组件与术语解释

  • docker client:用户运行 docker 的客户端。
  • docker daemon:docker 服务。在使用 docker 的机器上必须有 docker 服务进程运行。
  • registry:托管镜像的服务,完全类似于托管代码的 GitHub,实际上,最著名的镜像托管服务就叫做 DockerHub。其他可用的 registry 服务还包括阿里云开发者平台,在阿里云上使用可以享受阿里云加速。
  • repostory:镜像仓库。与 Github 完全类似,用户在托管服务上可以创建多个镜像仓库,每个仓库用来保存某一应用镜像的历次 push 版本。
  • dockerfile:docker 镜像描述文件。docker 除了使用 registry 进行镜像分发外,还可以使用一个文本文件来描述镜像的内容,便于用户在自己的机器上构建镜像。


安装docker


  • 目前HPC北京区域接入了阿里云容器服务,请您直接按照这里进行安装。请注意,安装容器服务后将会自动在您的机器上运行两个容器,这两个容器运行着容器服务的管理程序,请勿停止它们或关闭 docker 后台进程。

  • HPC杭州区域没有接入阿里云容器服务,请您先按照文档设置跳板机公网访问,再参考这里进行安装。


基本用法


docker的工作流程非常类似git版本控制系统:[backcolor=transparent]从托管仓库(如DockerHub)拉取(pull)镜像到本地 -> 从镜像生成容器 -> 在容器里运行应用 -> 将容器提交(commit)为新的镜像 -> 将新镜像推送(push)到托管仓库。
接下来我们以运行带 cuda 的容器为例来展示 docker 的用法。由于我们需要在镜像中使用GPU,所以需要使用 Nvidia 包装的 nvidia-docker。如果不需使用GPU,则下文中的 nvidia-docker 命令均可直接替换为 docker。

启动 docker daemon


首先您必须确保 docker 服务已经在后台运行。启动 docker daemon 请使用命令:
  1. [backcolor=transparent]sudo systemctl start docker
  2. [backcolor=transparent]sudo systemctl start nvidia[backcolor=transparent]-[backcolor=transparent]docker


一条命令获取并运行caffe


让我们先来感受一下docker一键部署的魔法。执行以下命令即可获取并运行一套包含 caffe 和其运行环境的容器并输出mnist预测结果:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker run registry[backcolor=transparent]-[backcolor=transparent]internal[backcolor=transparent].[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]beijing[backcolor=transparent].[backcolor=transparent]aliyuncs[backcolor=transparent].[backcolor=transparent]com[backcolor=transparent]/[backcolor=transparent]hpc_beijing[backcolor=transparent]/[backcolor=transparent]caffe[backcolor=transparent]:[backcolor=transparent]batch[backcolor=transparent]-[backcolor=transparent]googlenet8 [backcolor=transparent]./[backcolor=transparent]run_mnist[backcolor=transparent].[backcolor=transparent]sh

此时您就可以看到如下caffe运行结果:
是不是很方便?现在让我们仔细看一下run命令用法。首先需要明白,docker的工作流程是”拉取镜像->从镜像创建容器->启动容器”,这些操作可以分步进行,而run命令则直接一步到位全部执行完毕。
命令中的registry-internal.cn-beijing.aliyuncs.com/hpc_beijing/caffe:batch-googlenet8指定了需要使用的镜像,一般格式为registry地址/namespace/repo:tag,其中registry地址是您使用的托管服务器地址,比如 dockerhub,或者使用阿里云开发者平台。run 命令会优先使用本地已有的镜像,如果本地找不到指定镜像,则会从托管服务器拉取镜像。您也可以使用镜像的 image ID 来指定镜像,但是这样只能使用本地镜像。namespace是您在托管服务上注册的身份ID。repo是项目仓库,类似于 Github 中的代码 repo。Docker 建议一个镜像仅用来运行一个应用,这个应用的所有镜像版本都保存在同一仓库中。tag是用于标记同一仓库中的不同镜像版本,如果省略,将默认使用 latest 标签。
[backcolor=transparent]请注意,如果您使用的托管服务器是Dockerhub,则需要保证您的hpc机器可以访问公网;如果您使用阿里云开发者平台,网站提供的地址一般是公网地址 registry.cn-hangzhou.aliyuncs.com,请您自行修改为内网地址 registry-internal.cn-hangzhou.aliyuncs.com,这样可以享受更快的内网速度并且不占用您的公网带宽和流量。
命令中末尾部分的./run_mnist.sh是指定容器运行后将要运行的命令,本例中即是运行“run_mnist.sh”脚本。请注意,容器内的[backcolor=transparent]前台命令执行完毕后容器就会自动退出(stop),不再占用系统运行的资源。如果您希望保持容器长期运行,您需要让容器执行一个长期的前台命令,比如 top 或 tail 。以运行 nginx 为例,您应该指定这样的命令:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker run [backcolor=transparent]-[backcolor=transparent]d your[backcolor=transparent]/[backcolor=transparent]nginx[backcolor=transparent]/[backcolor=transparent]image nginx [backcolor=transparent]-[backcolor=transparent]g [backcolor=transparent]"daemon off;"

将nginx挂到前台;或者借助tail命令:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker run [backcolor=transparent]-[backcolor=transparent]d your[backcolor=transparent]/[backcolor=transparent]nginx[backcolor=transparent]/[backcolor=transparent]image service nginx start [backcolor=transparent]&&[backcolor=transparent] tail [backcolor=transparent]-[backcolor=transparent]f [backcolor=transparent]/[backcolor=transparent]var[backcolor=transparent]/[backcolor=transparent]log[backcolor=transparent]/[backcolor=transparent]nginx[backcolor=transparent]/[backcolor=transparent]error[backcolor=transparent].[backcolor=transparent]log

这里的-d是将容器本身挂到宿主机的后台运行,避免把容器的输出直接打印到您的屏幕上。

“进入”容器中(交互式运行容器)


很多时候您更希望直接在容器中进行开发,而不是让容器执行一条命令就退出。还是以 caffe 为例,您可以一条命令轻松进入一个干净的 caffe 环境:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker run [backcolor=transparent]-[backcolor=transparent]ti registry[backcolor=transparent]-[backcolor=transparent]internal[backcolor=transparent].[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]beijing[backcolor=transparent].[backcolor=transparent]aliyuncs[backcolor=transparent].[backcolor=transparent]com[backcolor=transparent]/[backcolor=transparent]hpc_beijing[backcolor=transparent]/[backcolor=transparent]caffe[backcolor=transparent]:[backcolor=transparent]batch[backcolor=transparent]-[backcolor=transparent]googlenet8 [backcolor=transparent]/[backcolor=transparent]bin[backcolor=transparent]/[backcolor=transparent]bash

命令中-t参数表示需要开启tty,-i参数表示交互式运行,/bin/bash表示进入 bash shell 。运行后您会看到这样的提示符:
这表示您已经在容器中,以root身份位于/workspace目录下。您可以通过ls /caffe看到caffe目录。当您完成开发后,可以ctrl+D退出容器,此时容器没有前台进程,会自动停止运行。
通常您可能需要从本地挂载文件到容器中以便使用。您可以使用-v命令挂载本地目录到镜像中。一下为将本地的 /root/share 目录挂载到容器中 /share 目录的命令,请注意目录必须使用绝对路径:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker run [backcolor=transparent]-[backcolor=transparent]ti [backcolor=transparent]-[backcolor=transparent]v [backcolor=transparent]/[backcolor=transparent]root[backcolor=transparent]/[backcolor=transparent]share[backcolor=transparent]:[backcolor=transparent]/share registry-internal.cn-beijing.aliyuncs.com/[backcolor=transparent]hpc_beijing[backcolor=transparent]/[backcolor=transparent]caffe[backcolor=transparent]:[backcolor=transparent]batch[backcolor=transparent]-[backcolor=transparent]googlenet8 [backcolor=transparent]/[backcolor=transparent]bin[backcolor=transparent]/[backcolor=transparent]bash


版本控制


docker可以如同git管理代码版本一样管理您的镜像版本。首先再强调一下概念,[backcolor=transparent]镜像是保存在仓库中的模板,[backcolor=transparent]容器是由这个模板生成并可实际运行的实例。您可以使用nvidia-docker images查看您本地的所有镜像:
使用nvidia-docker ps可以查看所有运行中的容器:注意直接使用ps命令只会显示出正在运行的容器,加上-a选项后能看到所有的容器(包括已经停止的)。
下面我们来对容器进行一些开发修改,然后将修改提交为新的镜像以保存修改。首先,从一个基本镜像开始,创建、运行并进入容器中:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker run [backcolor=transparent]-[backcolor=transparent]ti registry[backcolor=transparent]-[backcolor=transparent]internal[backcolor=transparent].[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]beijing[backcolor=transparent].[backcolor=transparent]aliyuncs[backcolor=transparent].[backcolor=transparent]com[backcolor=transparent]/[backcolor=transparent]hpc_beijing[backcolor=transparent]/[backcolor=transparent]caffe[backcolor=transparent]:[backcolor=transparent]batch[backcolor=transparent]-[backcolor=transparent]googlenet8 [backcolor=transparent]/[backcolor=transparent]bin[backcolor=transparent]/[backcolor=transparent]bash

然后,我们在容器中创建一个”hello”文件:
  1. [backcolor=transparent]touch hello

然后,ctrl+D退出容器。请注意,此时您的容器已经停止。如果您此时再重复使用上面的run命令,将会从基础镜像创建一个[backcolor=transparent]新的容器,并没有包括您的修改。此时,请使用以下命令查看所有容器:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker ps [backcolor=transparent]-[backcolor=transparent]a

从列表中找到刚才退出的容器,记下其 container ID,本例中是5080ed3c40a6。然后提交这个容器成为新的镜像:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker commit [backcolor=transparent]5080ed3c40a6[backcolor=transparent] caffe[backcolor=transparent]:[backcolor=transparent]v0[backcolor=transparent].[backcolor=transparent]1

这个命令将会使用ID为5080ed3c40a6的容器创建一个新的镜像,其仓库名为caffe,标签为v0.1。此时您使用nvidia-docker images可以看到您刚提交的新镜像。现在您可以从新镜像创建容器并运行:
  1. [backcolor=transparent]nvdia[backcolor=transparent]-[backcolor=transparent]docker run [backcolor=transparent]-[backcolor=transparent]ti caffe[backcolor=transparent]:[backcolor=transparent]v0[backcolor=transparent].[backcolor=transparent]1[backcolor=transparent] [backcolor=transparent]/[backcolor=transparent]bin[backcolor=transparent]/[backcolor=transparent]bash

此时您可以看到,新容器里已经包括了您刚刚添加的 hello 文件了。如果您在任一托管服务上注册了仓库,那么您可以按照托管服务提供的方式注册后,将您的新镜像 push 到远端仓库中。假定您在阿里云开发者平台上注册了一个名为 tester 的 namespace,然后在此空间下创建了一个名为 caffe 的仓库。您首先需要将您要 push 的镜像打标签指明目的地:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker tag caffe[backcolor=transparent]:[backcolor=transparent]v0[backcolor=transparent].[backcolor=transparent]1[backcolor=transparent] registry[backcolor=transparent]-[backcolor=transparent]internal[backcolor=transparent].[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]beijing[backcolor=transparent].[backcolor=transparent]aliyuncs[backcolor=transparent].[backcolor=transparent]com[backcolor=transparent]/[backcolor=transparent]tester[backcolor=transparent]/[backcolor=transparent]caffe[backcolor=transparent]:[backcolor=transparent]v0[backcolor=transparent].[backcolor=transparent]1

然后可以推送镜像到远端保存:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker push registry[backcolor=transparent]-[backcolor=transparent]internal[backcolor=transparent].[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]beijing[backcolor=transparent].[backcolor=transparent]aliyuncs[backcolor=transparent].[backcolor=transparent]com[backcolor=transparent]/[backcolor=transparent]tester[backcolor=transparent]/[backcolor=transparent]caffe[backcolor=transparent]:[backcolor=transparent]v0[backcolor=transparent].[backcolor=transparent]1


分解 run 命令


上文中我们使用run命令一步完成了“拉取”、“创建”、“运行”的动作,但是有时您可能想要自行管理镜像和容器。您可以使用pull命令从远端仓库拉取镜像:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker pull registry[backcolor=transparent]-[backcolor=transparent]internal[backcolor=transparent].[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]beijing[backcolor=transparent].[backcolor=transparent]aliyuncs[backcolor=transparent].[backcolor=transparent]com[backcolor=transparent]/[backcolor=transparent]hpc_beijing[backcolor=transparent]/[backcolor=transparent]cuda[backcolor=transparent]:[backcolor=transparent]latest

然后,您可以使用create命令从某一镜像中创建容器:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker create [backcolor=transparent]-[backcolor=transparent]ti [backcolor=transparent]-[backcolor=transparent]v [backcolor=transparent]/[backcolor=transparent]root[backcolor=transparent]/[backcolor=transparent]share[backcolor=transparent]:[backcolor=transparent]/share registry-internal.cn-beijing.aliyuncs.com/[backcolor=transparent]hpc_beijing[backcolor=transparent]/[backcolor=transparent]cuda[backcolor=transparent]:[backcolor=transparent]latest [backcolor=transparent]/[backcolor=transparent]bin[backcolor=transparent]/[backcolor=transparent]bash

注意create命令的格式与run命令基本一致,如果您想要交互式运行、挂载文件夹、指定容器运行的命令等,请在此设置。create命令仅会创建一个容器实例但是不会运行它,您可以在任意时间手动运行:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker start CONTAINERID

这里的CONTAINERID可以通过docker ps -a命令查到。容器运行后,您并不会自动进入容器中,您可以使用以下命令进入容器:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker attach CONTAINERID


镜像与容器管理


如果您想停止某个运行中的容器,可以使用命令:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker stop CONTAINERID

无论是您手动停止还是因为没有前台程序运行而自动停止的容器,都不会自动从您的机器中删除。您随时可以使用docker start命令重新启动它们,之前在容器中做的修改也会保留。当您不需要某些容器时,可以用以下命令移除他们,以节省资源:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker rm CONTAINERID

同样,对于不需要的镜像,您也可以用以下命令移除:
  1. [backcolor=transparent]nvidia[backcolor=transparent]-[backcolor=transparent]docker rmi IMAGEID


更多资源



深度学习相关镜像


我们制作了一些与深度学习相关的镜像,帮助您快速开始开发:
软件Registry
CUDA开发者平台
Caffe开发者平台
tensorflow开发者平台
theano开发者平台
torch开发者平台


快速部署HPC监控


出于用户隐私的考虑,我们HPC机器并没有部署监控。如果您购买了北京区域HPC并且有监控相关需求,可以参考文档使用容器服务快速部署监控应用。

更多阿里云容器服务


您可以从这里获取更多阿里云容器服务资源,包括使用 docker 快速部署集群等。
发表主题 回复主题
« 返回列表上一主题下一主题

限100 字节
如果您在写长篇帖子又不马上发表,建议存为草稿
 
验证问题: ECS是阿里云提供的什么服务? 正确答案:云服务器
上一个 下一个