解锁Minio原生分片上传:从源码解析到实战封装

news2026/3/14 14:49:07
1. 为什么你需要Minio的原生分片上传如果你正在处理大文件上传比如用户上传的视频、设计稿源文件或者系统间的数据备份包那你肯定遇到过这些问题上传到一半网络断了得全部重来或者一个几百兆的文件浏览器直接卡死服务器内存飙升。传统的“一次性上传”方式在面对大文件时显得力不从心。这时候分片上传就成了救星。它的思路很简单把一个大文件切成很多个小块一块一块地上传。这样即使某一块上传失败也只需要重传这一小块而不是整个文件。听起来是不是很美好网上有很多教你“手动分片”的方案比如自己把文件切成InputStream然后循环调用Minio的普通putObject接口。我早期也这么干过但很快就踩坑了你得自己管理这些分片文件在服务器上的临时存储得自己处理上传中断后的清理还得自己实现分片的合并逻辑。更头疼的是如果上传任务中途废弃了那些已经上传的分片就成了“僵尸数据”还得写个定时任务去清理非常麻烦。其实Minio以及它兼容的AWS S3协议早就提供了原生分片上传Multipart Upload的API。这套方案才是“亲儿子”Minio服务端会帮你管理上传过程中的所有分片给每次上传分配一个唯一的uploadId所有分片都挂在这个ID下分片数据在合并前不会以完整文件的形式出现在存储桶里对用户不可见并且服务端自带生命周期管理超过一定时间默认24小时未完成的上传其所有分片会被自动清理根本不用你操心。所以直接使用原生API你得到的是一个更稳定、更省心、性能更好的方案。它把复杂的状态管理和数据一致性保证都交给了服务端我们客户端只需要按流程调用几个方法就行。接下来我就带你从源码里看看这套机制是怎么设计的然后手把手教你把它封装成一个拿来即用的企业级服务。2. 潜入源码Minio分片上传的核心流程长什么样要玩转一个功能最好的方式就是看看它内部是怎么跑的。我们打开Minio Java SDK的源码这里以8.x版本为例在io.minio.S3Base这个类里藏着一个非常关键的方法putMultipartObjectAsync。它就是分片上传的“总指挥”。我把它的核心逻辑摘出来用更直白的话给你捋一捋private CompletableFutureObjectWriteResponse putMultipartObjectAsync(...) { return CompletableFuture.supplyAsync(() - { String uploadId null; try { // 第一步创建上传任务拿到“门票” CreateMultipartUploadResponse createResponse createMultipartUploadAsync(...).get(); uploadId createResponse.result().uploadId(); // 这是本次分片上传的唯一ID // 第二步上传所有分片 Part[] parts uploadParts(args, uploadId, partReader, firstPartSource); // 第三步所有分片传完后发出合并指令 response completeMultipartUploadAsync(..., uploadId, parts, ...).get(); } catch (Exception e) { // 如果中途出错尝试清理现场取消上传删除已传分片 if (uploadId ! null) { abortMultipartUploadAsync(..., uploadId, ...).get(); } throw new CompletionException(e); } return response; }); }看明白了吗整个过程就像组装一个乐高模型创建任务Create告诉Minio“我要开始上传一个叫xxx.jpg的大文件了请给我一张本次任务的‘身份证’uploadId。” 这个ID将贯穿整个上传过程。上传分片Upload Parts拿着uploadId把文件切成块按顺序partNumber从1开始递增一块一块地上传。每一块上传成功后Minio会返回一个ETag可以理解为该分片的校验码你需要把它存好。完成合并Complete所有分片都传完后你把uploadId和所有分片的编号partNumber及对应的ETag一起发给Minio。Minio服务端就会根据这些信息把所有分片按顺序拼接成完整的文件存入你指定的存储桶路径。这里有个超级重要的细节uploadParts方法内部实际上循环调用了另一个基础API——uploadPartAsync。这个方法才是真正上传单个分片到Minio的。而listPartsAsync这个API则可以让你随时查询某个uploadId下已经成功上传了哪些分片。这正是实现“断点续传”的关键源码中还隐藏了一个安全网机制abortMultipartUploadAsync。在任何步骤失败时你可以调用这个接口主动取消本次上传。Minio会立即清理掉该uploadId下的所有临时分片数据。这避免了垃圾数据堆积对于构建健壮的服务至关重要。3. 动手第一步打造你的专属Minio分片上传客户端了解了原理我们开始动手。首先遇到一个问题Minio官方提供的MinioClient类默认并没有把上面提到的几个核心异步方法createMultipartUploadAsync,uploadPartAsync等暴露出来。它们被封装在继承链更底层的父类里。所以我们的首要任务是创建一个扩展客户端把这些“隐藏技能”解锁出来。在Minio SDK 8.x版本中异步客户端是MinioAsyncClient我们的自定义客户端需要继承它。import io.minio.*; import io.minio.messages.Part; import com.google.common.collect.Multimap; import java.util.concurrent.CompletableFuture; Slf4j public class CustomMinioClient extends MinioAsyncClient { // 通过构造函数传入一个标准的异步客户端实例 public CustomMinioClient(MinioAsyncClient client) { super(client); } /** * 创建分片上传任务 * return 包含uploadId的响应 */ Override public CompletableFutureCreateMultipartUploadResponse createMultipartUploadAsync( String bucketName, String region, String objectName, MultimapString, String headers, MultimapString, String extraQueryParams) { // 直接调用父类MinioAsyncClient的受保护方法 return super.createMultipartUploadAsync(bucketName, region, objectName, headers, extraQueryParams); } /** * 上传单个分片 * param partNumber 分片序号必须从1开始且连续递增。 * param data 分片数据可以是InputStream、byte[]等。 * param length 分片数据的准确长度。 * param uploadId 创建任务时获取的唯一ID。 */ Override public CompletableFutureUploadPartResponse uploadPartAsync( String bucketName, String region, String objectName, Object data, long length, String uploadId, int partNumber, MultimapString, String extraHeaders, MultimapString, String extraQueryParams) { return super.uploadPartAsync(bucketName, region, objectName, data, length, uploadId, partNumber, extraHeaders, extraQueryParams); } /** * 查询已上传的分片列表 * 用于断点续传获取已经传了哪些避免重复上传。 */ Override public CompletableFutureListPartsResponse listPartsAsync( String bucketName, String region, String objectName, Integer maxParts, Integer partNumberMarker, String uploadId, MultimapString, String extraHeaders, MultimapString, String extraQueryParams) { return super.listPartsAsync(bucketName, region, objectName, maxParts, partNumberMarker, uploadId, extraHeaders, extraQueryParams); } /** * 完成分片上传合并文件 * param parts 所有分片的数组包含partNumber和ETag。 */ Override public CompletableFutureObjectWriteResponse completeMultipartUploadAsync( String bucketName, String region, String objectName, String uploadId, Part[] parts, MultimapString, String extraHeaders, MultimapString, String extraQueryParams) { return super.completeMultipartUploadAsync(bucketName, region, objectName, uploadId, parts, extraHeaders, extraQueryParams); } /** * 可选但强烈推荐中止分片上传 * 用于清理失败或取消的任务。 */ public CompletableFutureAbortMultipartUploadResponse abortMultipartUploadAsync( String bucketName, String region, String objectName, String uploadId, MultimapString, String extraHeaders, MultimapString, String extraQueryParams) { return super.abortMultipartUploadAsync(bucketName, region, objectName, uploadId, extraHeaders, extraQueryParams); } }这个CustomMinioClient就是我们的“瑞士军刀”。它继承了MinioAsyncClient的所有能力并把我们需要的几个关键方法通过public方式暴露了出来。注意这里的方法都是返回CompletableFuture的异步方法性能更好。我们在服务层调用时通常会使用.get()来同步等待结果你也可以根据项目情况采用响应式编程。接下来我们需要在Spring Boot的配置类里把这两个客户端一个用于普通上传一个用于分片上传都注入到Spring容器中。Configuration RequiredArgsConstructor public class MinioConfig { private final MinioProperties minioProperties; // 从配置文件读取的配置类 Bean public MinioClient minioClient() { return MinioClient.builder() .endpoint(minioProperties.getEndpoint()) .credentials(minioProperties.getAccessKey(), minioProperties.getSecretKey()) .build(); } Bean public CustomMinioClient customMinioClient() { // 先构建一个标准的异步客户端 MinioAsyncClient asyncClient MinioAsyncClient.builder() .endpoint(minioProperties.getEndpoint()) .credentials(minioProperties.getAccessKey(), minioProperties.getSecretKey()) .build(); // 再用它来实例化我们的自定义客户端 return new CustomMinioClient(asyncClient); } }这样配置后在服务里我们就可以同时注入MinioClient和CustomMinioClient根据业务场景选择使用。小文件走普通上传简单快捷大文件走分片上传稳定可靠。4. 构建服务层封装稳定可靠的上传能力有了趁手的客户端工具我们就可以开始构建业务服务层了。这一层的目标是对外提供简单、清晰的API对内处理所有复杂的Minio交互和异常。我把它分为两个核心服务一个专注于Minio底层操作IMinioService一个处理文件上传的业务逻辑IFileService。首先是最底层的MinioServiceImpl它直接操作我们自定义的客户端Slf4j Service RequiredArgsConstructor public class MinioServiceImpl implements IMinioService { private final MinioClient minioClient; private final CustomMinioClient customMinioClient; // 普通小文件上传略... /** * 初始化分片上传获取uploadId */ Override public CreateMultipartUploadResponse uploadId(MultipartUploadCreate uploadCreate) { try { return customMinioClient.createMultipartUploadAsync( uploadCreate.getBucketName(), uploadCreate.getRegion(), // 区域可为nullMinio会使用默认 uploadCreate.getObjectName(), uploadCreate.getHeaders(), // 可设置Content-Type等头信息 uploadCreate.getExtraQueryParams() ).get(); // 同步等待结果 } catch (Exception e) { log.error(获取文件上传ID失败对象: {}, uploadCreate.getObjectName(), e); throw new BizException(文件上传初始化失败); } } /** * 上传单个分片 * 注意这里的partNumber必须大于0且在一次上传内唯一递增。 */ Override public UploadPartResponse uploadPart(UploadPartCreate uploadPartCreate) { try { return customMinioClient.uploadPartAsync( uploadPartCreate.getBucketName(), uploadPartCreate.getRegion(), uploadPartCreate.getObjectName(), uploadPartCreate.getData(), // 分片数据流 uploadPartCreate.getLength(), // 分片大小 uploadPartCreate.getUploadId(), uploadPartCreate.getPartNumber(), // 分片序号 uploadPartCreate.getHeaders(), uploadPartCreate.getExtraQueryParams() ).get(); } catch (Exception e) { log.error(上传分片失败uploadId: {}, partNumber: {}, uploadPartCreate.getUploadId(), uploadPartCreate.getPartNumber(), e); throw new BizException(分片上传失败); } } /** * 列出已上传的分片 * 核心用途断点续传时知道哪些已经传过了。 */ Override public ListPartsResponse listMultipartUploads(MultipartUploadCreate uploadCreate) { try { return customMinioClient.listPartsAsync( uploadCreate.getBucketName(), uploadCreate.getRegion(), uploadCreate.getObjectName(), uploadCreate.getMaxParts(), // 最多列出多少分片null表示全部 uploadCreate.getPartNumberMarker(), // 从哪个分片编号之后开始列用于分页 uploadCreate.getUploadId(), uploadCreate.getHeaders(), uploadCreate.getExtraQueryParams() ).get(); } catch (Exception e) { log.error(获取已上传分片列表失败uploadId: {}, uploadCreate.getUploadId(), e); throw new BizException(查询上传进度失败); } } /** * 最终合并所有分片完成上传 */ Override public ObjectWriteResponse completeMultipartUpload(MultipartUploadCreate uploadCreate) { try { // 这里的uploadCreate需要包含parts数组即所有分片的编号和ETag return customMinioClient.completeMultipartUploadAsync( uploadCreate.getBucketName(), uploadCreate.getRegion(), uploadCreate.getObjectName(), uploadCreate.getUploadId(), uploadCreate.getParts(), // Part[] 数组至关重要 uploadCreate.getHeaders(), uploadCreate.getExtraQueryParams() ).get(); } catch (Exception e) { log.error(合并分片失败uploadId: {}, uploadCreate.getUploadId(), e); // 合并失败可以考虑调用abort接口清理 throw new BizException(文件合并失败); } } }这里有几个实战中容易踩的坑需要提醒你partNumber必须从1开始这是S3协议的规定不是0。而且在上传时序号可以不连续但最终合并时Minio会严格按照partNumber的顺序来组装文件。通常我们建议前端按1,2,3...顺序上传逻辑最简单。分片大小有讲究除了最后一片每个分片的大小建议不小于5MB这是S3的标准。太小的分片会增加请求开销影响速度。通常前端可以固定分片大小比如5MB或10MB。保存好ETaguploadPartAsync返回的UploadPartResponse里包含该分片的ETag。在最后调用completeMultipartUploadAsync时你必须提供一个Part对象数组每个Part都包含partNumber和对应的ETag。服务端会校验ETag确保分片数据在传输后没有损坏。异常处理要周全任何一步调用.get()都可能抛出异常比如网络超时、认证失败、存储桶不存在等。务必做好日志记录和友好的业务异常转换不要直接把Minio的异常抛给前端。接下来是业务层的FileServiceImpl它负责协调整个分片上传的流程并处理一些业务逻辑比如生成最终的文件存储路径Slf4j Service RequiredArgsConstructor public class FileServiceImpl implements IFileService { private final IMinioService minioService; Value(${minio.bucketName}) private String bucketName; Value(${minio.endpoint}) private String endpoint; /** * 第一步初始化分片上传任务 * 接收前端传来的文件名、分片总数等信息生成一个服务端的唯一uploadId。 */ Override public MultipartUploadCreateResponse createMultipartUpload(MultipartUploadCreateRequest request) { // 1. 生成一个不易重复的对象名存储路径 String ext FilenameUtils.getExtension(request.getFileName()); String newFileName UUID.randomUUID().toString().replace(-, ) . ext; String datePath new SimpleDateFormat(yyyy/MM/dd).format(new Date()); String objectName datePath / newFileName; // 例如2024/05/20/abc123def456.jpg // 2. 设置必要的HTTP头如文件类型 MultimapString, String headers HashMultimap.create(); headers.put(Content-Type, request.getContentType()); // 3. 调用Minio服务获取uploadId MultipartUploadCreate uploadCreate MultipartUploadCreate.builder() .bucketName(bucketName) .objectName(objectName) .headers(headers) .build(); String uploadId minioService.uploadId(uploadCreate).result().uploadId(); log.info(分片上传初始化成功uploadId: {}, 目标文件: {}, uploadId, objectName); // 4. 将uploadId和生成的文件名返回给前端 return MultipartUploadCreateResponse.builder() .uploadId(uploadId) .fileName(objectName) // 注意这里返回的是最终在Minio里的完整路径名 .chunks(request.getChunks()) .build(); } /** * 第二步上传单个分片 * 前端根据分片序号依次调用此接口。 */ Override public UploadPartResponse uploadPart(UploadPartRequest request) { try (InputStream partStream request.getFile().getInputStream()) { UploadPartCreate create UploadPartCreate.builder() .bucketName(bucketName) .objectName(request.getFileName()) // 这里用的是初始化时返回的objectName .uploadId(request.getUploadId()) .partNumber(request.getPartNumber()) // 前端传来的当前分片序号 .data(partStream) .length(request.getFile().getSize()) .build(); // 上传并返回结果结果中包含了该分片的ETag前端或后端需要缓存 return minioService.uploadPart(create); } catch (IOException e) { log.error(处理分片数据流失败, e); throw new BizException(分片数据处理失败); } } /** * 第三步查询已上传分片列表用于断点续传 */ Override public Part[] listParts(CompleteMultipartUploadRequest request) { ListPartsResponse response minioService.listMultipartUploads( MultipartUploadCreate.builder() .bucketName(bucketName) .objectName(request.getFileName()) .uploadId(request.getUploadId()) .maxParts(1000) // 假设最多1000片按需调整 .partNumberMarker(0) // 从第一个分片开始列 .build() ); // 将返回的分片列表转换为数组 return response.result().partList().toArray(new Part[]{}); } /** * 第四步所有分片上传完成后触发合并 */ Override public FileUploadResponse completeMultipartUpload(CompleteMultipartUploadRequest request) { // 1. 获取已上传的所有分片信息包含partNumber和ETag Part[] uploadedParts listParts(request); // 2. 调用Minio完成合并 minioService.completeMultipartUpload( MultipartUploadCreate.builder() .bucketName(bucketName) .objectName(request.getFileName()) .uploadId(request.getUploadId()) .parts(uploadedParts) // 这里传入所有分片信息 .build() ); // 3. 生成文件的访问URL根据你的Minio配置可能是直链或需要签名的链接 String fileUrl endpoint / bucketName / request.getFileName(); log.info(文件合并成功uploadId: {}, 地址: {}, request.getUploadId(), fileUrl); return FileUploadResponse.builder() .url(fileUrl) .build(); } }业务层的代码看起来就清晰多了它定义了前端需要交互的四个关键步骤。这里特别要注意objectName的生成策略。我建议采用“日期路径UUID文件名”的方式这样既能避免文件名冲突又方便日后按日期进行文件管理和归档。uploadId是本次分片上传会话的唯一标识前端在后续的所有请求中都必须带上它。5. 设计前端友好的RESTful接口服务层准备好了我们需要通过HTTP接口暴露给前端。设计一套清晰、符合RESTful风格的API能让前后端协作更顺畅。通常我们需要四个接口RestController RequestMapping(/api/v1/upload) RequiredArgsConstructor public class UploadController { private final IFileService fileService; /** * 1. 初始化分片上传 * POST /api/v1/upload/multipart/init * Body: { fileName: 我的视频.mp4, chunks: 20, contentType: video/mp4 } */ PostMapping(/multipart/init) public JsonResultMultipartUploadCreateResponse initMultipartUpload( RequestBody Validated MultipartUploadCreateRequest request) { return JsonResult.success(fileService.createMultipartUpload(request)); } /** * 2. 上传分片 * PUT /api/v1/upload/multipart/part * Content-Type: multipart/form-data * FormData: uploadId, partNumber, file (分片二进制数据) * 注意partNumber从1开始。 */ PutMapping(value /multipart/part, consumes MediaType.MULTIPART_FORM_DATA_VALUE) public JsonResultVoid uploadPart(Validated UploadPartRequest request) { // 这里可以增加校验比如uploadId是否有效partNumber是否在合理范围内 fileService.uploadPart(request); return JsonResult.success(); } /** * 3. 查询上传进度已上传的分片列表 * GET /api/v1/upload/multipart/progress?uploadIdxxxfileNamexxx * 用于断点续传或上传进度显示。 */ GetMapping(/multipart/progress) public JsonResultListPartInfo getUploadProgress( RequestParam String uploadId, RequestParam String fileName) { // 调用service.listParts并转换成前端需要的简洁格式如ListPartInfo只包含partNumber ListPartInfo progress fileService.getUploadProgress(uploadId, fileName); return JsonResult.success(progress); } /** * 4. 完成上传合并文件 * POST /api/v1/upload/multipart/complete * Body: { uploadId: xxx, fileName: 2024/05/20/abc.jpg, chunks: 20 } */ PostMapping(/multipart/complete) public JsonResultFileUploadResponse completeMultipartUpload( RequestBody Validated CompleteMultipartUploadRequest request) { return JsonResult.success(fileService.completeMultipartUpload(request)); } /** * 5. 可选取消/中止上传 * DELETE /api/v1/upload/multipart/abort?uploadIdxxxfileNamexxx * 用于用户主动取消或前端检测到长时间无操作后自动清理。 */ DeleteMapping(/multipart/abort) public JsonResultVoid abortMultipartUpload( RequestParam String uploadId, RequestParam String fileName) { fileService.abortMultipartUpload(uploadId, fileName); return JsonResult.success(); } }接口设计上我强烈建议把uploadId和最终的文件名fileName即objectName作为贯穿始终的核心参数。前端在初始化拿到这两个值后后续的每一个请求上传分片、查询进度、完成合并都必须原样传回。这样后端才能准确地定位到Minio中对应的那次上传任务。6. 进阶玩法实现秒传与断点续传有了稳固的分片上传基础实现“秒传”和“断点续传”这两个提升用户体验的功能就变得水到渠成了。它们的核心思想都是利用文件的唯一标识来避免重复工作。秒传的实现思路秒传的本质是“去重”。当用户选择一个文件后前端可以先计算这个文件的哈希值比如MD5或SHA-256。在调用初始化接口/init前先发一个请求到后端问一下“这个哈希值的文件你们库里有了吗”如果已经有了后端直接返回该文件的访问地址前端立即显示“上传成功”。整个过程不需要传输任何文件数据。如果没有再走正常的分片上传流程并在上传完成后将文件哈希值和最终存储路径的映射关系保存下来可以存数据库也可以存Redis。// 伪代码示例 public JsonResult? quickUpload(QuickUploadRequest request) { String fileHash request.getFileHash(); // 前端计算好的文件哈希 String existedPath fileMetaService.findPathByHash(fileHash); if (existedPath ! null) { // 秒传成功直接返回已有文件的地址 return JsonResult.success(new FileUploadResponse(existedPath)); } // 否则返回一个token或直接进入正常分片上传流程 String quickToken generateToken(fileHash); return JsonResult.success(new QuickUploadResponse(false, quickToken)); }断点续传的实现思路断点续传解决的是“上传中断后如何接着传”的问题。结合Minio原生分片上传的listPartsAsync接口实现起来非常优雅。前端在上传每个分片前先计算该分片的哈希值可选用于更严格的校验。上传中断后当用户再次选择同一文件时前端先调用查询进度接口/progress。后端通过listPartsAsync向Minio查询该uploadId下已经成功上传了哪些分片Minio会返回每个分片的partNumber。后端将已上传的分片编号列表返回给前端。前端对比本地文件的分片列表只上传那些编号不在“已上传列表”中的分片。所有分片上传完毕后照常调用完成合并接口。// 在FileService中增强的进度查询方法 public ListInteger getUploadedPartNumbers(String uploadId, String fileName) { ListPartsResponse response minioService.listMultipartUploads(...); // 从response中提取出所有已上传分片的partNumber列表 return response.result().partList().stream() .map(Part::partNumber) .collect(Collectors.toList()); }这样一来即使网络不稳定导致上传中断用户也无需从头开始。重新上传时系统会自动跳过已经传好的部分大大节省了时间和流量。这两个功能极大地提升了用户上传大文件时的体验是生产级文件上传服务必备的特性。7. 生产环境部署的注意事项与优化建议当你把上面的代码部署到生产环境时还有一些细节需要打磨以确保服务的稳定性、性能和可维护性。1. 分片大小与并发数分片大小不是越小越好也不是越大越好。AWS S3官方建议除了最后一片每个分片至少5MB。对于网络环境好、文件极大的情况比如数GB可以提高到10MB甚至50MB一片以减少请求次数。你可以让前端动态计算或者后端在初始化接口中返回一个建议的分片大小。并发上传前端可以同时上传多个分片比如3-5个充分利用带宽。但并发数不宜过高避免给服务器和Minio造成过大压力。同时要确保partNumber的顺序管理虽然Minio支持乱序上传但按顺序上传逻辑更简单。2. 超时与重试机制网络请求必然可能失败。在你的服务层调用customMinioClient.xxx().get()时要考虑设置合理的超时时间。更佳实践是使用异步或响应式编程避免线程长时间阻塞。对于uploadPart这样的操作必须实现重试机制。比如捕获到可重试的异常如网络超时后间隔几秒重试2-3次。重试时要注意幂等性Minio的上传分片接口本身是幂等的重复上传同一partNumber和uploadId的数据后一次的会覆盖前一次的。3. 监控与日志为每个uploadId记录详细的日志包括开始时间、结束时间、分片总数、成功数、失败重试情况等。这有助于排查用户上传失败的问题。监控Minio集群的健康状态和存储桶的剩余空间。可以在上传初始化阶段就检查存储桶是否存在、是否有写权限。4. 安全性权限控制确保你的Minio客户端所使用的Access Key具有严格的权限最好只赋予特定存储桶的上传、写入权限遵循最小权限原则。接口防刷上传接口是资源消耗型接口要做好限流Rate Limiting防止恶意用户通过大量上传请求耗尽服务器资源或存储空间。病毒扫描对于用户上传的文件尤其是可执行文件、文档等建议集成病毒扫描服务如ClamAV在文件合并完成后进行扫描确认安全后再对外提供访问。5. 清理僵尸任务虽然Minio默认24小时后会自动清理未完成的分片上传任务但在高并发场景下还是可能因为程序异常退出而留下大量uploadId。建议在服务层定期比如每天一次调用listIncompleteMultipartUploads接口Minio客户端也提供扫描那些“卡住”了很久的上传任务并主动调用abortMultipartUploadAsync进行清理。把这些点都考虑到你的Minio分片上传服务就从一个可用的Demo变成了一个真正能扛住生产环境考验的健壮服务了。整个过程从源码解析到实战封装我们一步步拆解最终构建出的这套方案既利用了Minio原生的强大能力又通过良好的封装提供了易用的接口和丰富的增强功能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2411443.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…