MinIO HDFS网关
MinIO HDFS网关将Amazon S3 API支持添加到Hadoop HDFS文件系统中。应用程序可以同时使用S3和文件API,而无需任何数据迁移。由于网关是无状态且无共享的,因此您可以弹性地分配所需数量的MinIO实例以分配负载。
运行MinIO Gateway进行HDFS存储
使用二进制
通过core-site.xml 自动从hadoop环境变量 $HADOOP_HOME 中读取来获取Namenode信息
export MINIO_ACCESS_KEY=minio
export MINIO_SECRET_KEY=minio123
minio gateway hdfs
您还可以覆盖namenode端点,如下所示。
export MINIO_ACCESS_KEY=minio
export MINIO_SECRET_KEY=minio123
minio gateway hdfs hdfs://namenode:8200
使用 Docker
使用docker是实验性的,大多数Hadoop环境未进行docker化,可能需要其他步骤才能使其正常工作。在这种情况下,最好只使用二进制文件。
docker run -p 9000:9000 \
–name hdfs-s3 \
-e “MINIO_ACCESS_KEY=minio” \
-e “MINIO_SECRET_KEY=minio123” \
minio/