MinIO

学习2年半

于 2025-04-03 17:42:53 发布

阅读量848

点赞数 26

文章标签： java

本文链接：https://blog.csdn.net/liu174/article/details/146985962

版权

MinIO 是一个高性能、分布式的对象存储服务器。简单来说，它可以让你像使用云存储服务（例如 AWS S3、Google Cloud Storage 或 Azure Blob Storage）一样，在自己的硬件上搭建一个私有的对象存储服务。

核心概念

对象存储 (Object Storage): 与传统的文件系统不同，对象存储将数据作为对象存储，每个对象都有一个唯一的 ID (通常是 Key)，并且可以包含元数据。对象存储非常适合存储非结构化数据，例如图片、视频、文档、日志文件、备份文件等。
Bucket: Bucket 可以理解为对象存储中的一个顶级目录，用于组织和隔离对象。类似于文件系统中的文件夹，但 Bucket 是扁平的，不能嵌套。
Object: Object 是对象存储中存储的实际数据，例如一个图片文件、一个视频文件或一个文档。每个 Object 都有一个 Key (唯一的 ID) 和元数据。
Key: Key 是 Object 的唯一 ID，用于在 Bucket 中标识 Object。类似于文件系统中的文件名。
元数据 (Metadata): 元数据是与 Object 相关联的额外信息，例如文件大小、创建时间、修改时间、内容类型等。你也可以自定义元数据。

MinIO 的特点

高性能: MinIO 使用 Go 语言编写，具有出色的性能。它支持高并发、低延迟的访问，非常适合存储大型文件和处理高负载的场景。
分布式: MinIO 支持分布式部署，可以将数据存储在多个节点上，提高存储容量和可靠性。
兼容 S3 API: MinIO 兼容 AWS S3 API，这意味着你可以使用 S3 客户端和工具来访问 MinIO 对象存储。这使得迁移和集成非常容易。
轻量级: MinIO 是一个轻量级的应用程序，易于部署和管理。
开源: MinIO 是开源的，你可以免费使用和修改它。
支持多种存储后端: MinIO 可以使用多种存储后端，例如本地磁盘、网络文件系统 (NFS) 和云存储服务。
支持纠删码 (Erasure Coding): 纠删码是一种数据冗余技术，可以将数据分割成多个片段，并添加冗余信息，从而提高数据的可靠性。即使部分存储节点发生故障，也可以通过纠删码恢复数据。
支持加密: MinIO 支持数据加密，可以保护数据的安全性。
支持身份验证和授权: MinIO 支持身份验证和授权，可以控制对 Bucket 和 Object 的访问权限。

MinIO 的应用场景

非结构化数据存储: 存储图片、视频、文档、日志文件、备份文件等。
云原生应用: 作为云原生应用的存储后端。
大数据分析: 存储大数据分析的数据集。
机器学习: 存储机器学习的训练数据和模型。
容器存储: 作为 Kubernetes 等容器平台的存储解决方案。

MinIO 的使用方式

下载和安装 MinIO: 你可以从 MinIO 官网下载 MinIO 的二进制文件，并按照官方文档进行安装。
启动 MinIO 服务器: 使用 minio server 命令启动 MinIO 服务器。
配置 MinIO 客户端: 你可以使用 MinIO 客户端 (mc) 或 S3 客户端来访问 MinIO 对象存储。
创建 Bucket: 使用 mc mb 命令创建 Bucket。
上传 Object: 使用 mc cp 命令上传 Object。
下载 Object: 使用 mc cp 命令下载 Object。
管理权限: 使用 mc policy 命令管理 Bucket 和 Object 的访问权限。

MinIO 示例代码 (Java)

以下是使用 MinIO Java 客户端上传和下载 Object 的示例代码：

import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.GetObjectArgs;
import io.minio.errors.MinioException;

import java.io.ByteArrayInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;

public class MinIOExample {

    public static void main(String[] args)
            throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        try {
            // 创建 MinIO 客户端
            MinioClient minioClient =
                    new MinioClient("http://localhost:9000", "YOUR-ACCESSKEY", "YOUR-SECRETKEY");

            // 检查 Bucket 是否存在
            boolean found =
                    minioClient.bucketExists(args -> args.bucket("your-bucket"));
            if (!found) {
                // 创建 Bucket
                minioClient.makeBucket(args -> args.bucket("your-bucket"));
            } else {
                System.out.println("Bucket 'your-bucket' already exists.");
            }

            // 上传 Object
            String objectName = "your-object.txt";
            String content = "Hello, MinIO!";
            byte[] contentBytes = content.getBytes("UTF-8");
            ByteArrayInputStream bis = new ByteArrayInputStream(contentBytes);
            minioClient.putObject(
                    PutObjectArgs.builder().bucket("your-bucket").object(objectName).stream(
                                    bis, contentBytes.length, -1)
                            .contentType("text/plain")
                            .build());
            bis.close();
            System.out.println("Object 'your-object.txt' is successfully uploaded to bucket 'your-bucket'");

            // 下载 Object
            minioClient.getObject(
                    GetObjectArgs.builder()
                            .bucket("your-bucket")
                            .object(objectName)
                            .filename("downloaded-object.txt")
                            .build());
            System.out.println("Object 'your-object.txt' is successfully downloaded to 'downloaded-object.txt'");

        } catch (MinioException e) {
            System.out.println("Error occurred: " + e);
        }
    }
}

展开

代码说明:

需要添加 MinIO Java 客户端依赖：

<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.4.3</version> <!-- 使用最新的稳定版本 -->
</dependency>

替换 YOUR-ACCESSKEY 和 YOUR-SECRETKEY 为你的 MinIO Access Key 和 Secret Key。
替换 your-bucket 为你的 Bucket 名称。
替换 your-object.txt 为你的 Object 名称。

总结

MinIO 是一个高性能、分布式的对象存储服务器，可以让你在自己的硬件上搭建一个私有的对象存储服务。它具有高性能、兼容 S3 API、轻量级、开源等特点，非常适合存储非结构化数据和构建云原生应用