hdfs 文档存储服务器,MinIO HDFS网关

  • Post author:
  • Post category:其他


MinIO HDFS网关
slack?type=svg

MinIO HDFS网关将Amazon S3 API支持添加到Hadoop HDFS文件系统中。应用程序可以同时使用S3和文件API,而无需任何数据迁移。由于网关是无状态且无共享的,因此您可以弹性地分配所需数量的MinIO实例以分配负载。

运行MinIO Gateway进行HDFS存储

使用二进制

通过core-site.xml 自动从hadoop环境变量 $HADOOP_HOME 中读取来获取Namenode信息

export MINIO_ACCESS_KEY=minio

export MINIO_SECRET_KEY=minio123

minio gateway hdfs

您还可以覆盖namenode端点,如下所示。

export MINIO_ACCESS_KEY=minio

export MINIO_SECRET_KEY=minio123

minio gateway hdfs hdfs://namenode:8200

使用 Docker

使用docker是实验性的,大多数Hadoop环境未进行docker化,可能需要其他步骤才能使其正常工作。在这种情况下,最好只使用二进制文件。

docker run -p 9000:9000 \

–name hdfs-s3 \

-e “MINIO_ACCESS_KEY=minio” \

-e “MINIO_SECRET_KEY=minio123” \

minio/