阿里云
1024开发者盛宴之Java专家问答专场
发表主题 回复主题
  • 883阅读
  • 0回复

什么是高性能计算的对象存储OSS

级别: 论坛粉丝
发帖
1400
云币
2804


应用场景


当用户需要将大量数据(几十GB到上TB)传输到HPC机器上时,使用scp拷贝有两个缺陷:(1)需要通过ECS中转数据,scp须执行两次;(2)数据太大时ECS自带磁盘容量很可能不够用;此时,使用OSS服务是比较理想的方式,无需ECS中转,直接实现端对端的传输,而且在HPC上通过内网访问OSS,速度更快、更稳定。本节介绍如何在HPC机器上使用OSS服务。

物理机访问OSS方法


首先登录阿里官网,进入OSS控制台https://oss.console.aliyun.com/index#/
点击Access Keys,“显示”Access Key,用手机短信验证。
拿到Access Key ID和Access Key Secret,用于鉴别身份。
创建一个Bucket,位于华东1区。其host为oss-cn-[backcolor=transparent]**-internal.aliyuncs.com,具体可以在控制台查到。
注意:目前GPU物理机通过内网只能访问华东1区的OSS服务
在HPC机器上运行:osscmd config --host=oss-cn-********-internal.aliyuncs.com \--id=用户的OSS Access Key ID  \--key=用户的OSS Access Key Secret
之后运行
osscmd ls
可以看到你创建的Bucket,说明配置成功,可以通过osscmd进行文件上传/下载操作。
先浏览有哪些bucket:# osscmd lsCreateTime           BucketLocation       BucketName2015-09-17 17:17:08  oss-cn-********      hpc-data-release2015-09-15 11:29:58  oss-cn-********      hpc100usersBucket Number is: 20.047(s) elapsed
可见有两个bucket,都位于华东1区。
进一步浏览其中一个bucket详细内容:# osscmd ls oss://hpc100usersprefix list is:object list is:2015-09-18 10:38:49 1066.97MB Standard oss://hpc100users/cuda_7.0.28_linux.run (oss://hpc100users/cuda_7.0.28_linux.run)prefix list number is: 0object list number is: 10.022(s) elapsed
注意OSS路径都以"oss://"开头,后面紧跟bucket名称,再向后为文件名或目录名。
下载命令:# osscmd get oss://Bucket名称/文件名称 本地文件名称
测试下载:# osscmd get  oss://hpc-data-release/cuda_7.0.28_linux.run cuda_7.0.28_linux.run100%  The object cuda_7.0.28_linux.run is downloaded to cuda_7.0.28_linux.run, please check.61.593(s) elapsed
下载cuda_7.0.28_linux.run到本地用时61.593s,该文件大小为1066.97MB,下载速度约为17.3 MB/s上传命令:# osscmd put  本地文件名称 oss://Bucket名称/文件名称
测试上传:# osscmd put cuda_7.0.28_linux.run oss://hpc-data-release/cuda_7.0.28_linux.run100%Object URL is: http://hpc-data-release.oss-cn-********-internal.aliyuncs.com/cuda_7.0.28_linux.runObject abstract path is: oss://hpc-data-release/cuda_7.0.28_linux.runETag is "312AEDE1C3D1D3425C8CAA67BBB7A55E"61.287(s) elapsed

常见问题


运行osscmd ls后报错如下:Error Headers:[('content-length', '467'), ('server', 'AliyunOSS'), ('connection', 'keep-alive'), ('x-oss-request-id', '56921E152530B7D05CA805DD'), ('date', 'Sun, 10 Jan 2016 09:02:13 GMT'), ('content-type', 'application/xml')]Error Body:<?xml version="1.0" encoding="UTF-8"?><Error><Code>RequestTimeTooSkewed</Code><Message>The difference between the request time and the current time is too large.</Message><RequestId>56921E152530B7D05CA805DD</RequestId><HostId>oss-cn-********-internal.aliyuncs.com</HostId><MaxAllowedSkewMilliseconds>900000</MaxAllowedSkewMilliseconds><RequestTime>2015-10-09T16:00:04.000Z</RequestTime><ServerTime>2016-01-10T09:02:13.000Z</ServerTime></Error>Error Status:403ls Failed!
这是由于HPC机器日期与OSS服务器日期差别太大造成的。通过date命令修改日期时间为正确的时间即可。
发表主题 回复主题
« 返回列表上一主题下一主题

限100 字节
批量上传需要先选择文件,再选择上传
 
验证问题: 56 + 42 = ?
上一个 下一个