AWS S3下载数据集必学入门教程

1. 注册好帐号, 到AWS官网注册账号 https://aws.amazon.com/cn/

2. 用登录S3 就是用刚才注册的号才可以 https://aws.amazon.com/cn/s3/

3. 设置普通用户来下载数据

点右上角, 用户名的下面, 安全凭证

左侧工具栏 >> 访问管理 >> 用户，进行点击

点击右边的 >> 添加用户

创建用户完成后，点刚才建的用户名 >> 安全凭证

找到访问秘钥这一项 >> 创建访问秘钥 >> 命令行界面(CLI) >> 勾选下方同意创建，点击下一步完成

得到访问秘钥，请保存好。后面配置CLI会用的上，直接下载CSV文件即可存在电脑上

以下用windows电脑为例, 配置客户端进行下载

windows cli

1. #Windows（64位）的AWS CLI MSI安装程序
2. https://awscli.amazonaws.com/AWSCLIV2.msi

下载后双击安装即可, 然后进入cmd命令, 输入 aws help，显示如下图，则环境安装成功

开始配置

aws configure

秘钥ID和访问秘钥在你下载的CSV文件当中都有

AWS Access Key ID [None]: 密钥 ID
AWS Secret Access Key [None]: 私有访问密钥
Default region name [None]: us-west-2
Default output format [None]: json

再输入以下来测试下是不是成功了

查看数据列表

aws s3 ls s3://spacenet-dataset/ --request-payer requester

如果出现上面的数据, 表示一切顺利成功了.

下载数据命令

aws s3 cp s3://spacenet-dataset/ d:\data --recursive