解决milvus migration 迁移数据出现数据丢失问题

embedded/2025/5/16 10:02:09/

在迁移数据的时候发现数据丢失
在这里插入图片描述
问题是数据在批量迁移的过程中,这个错误会被忽略掉
在这里插入图片描述
分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。
在这里插入图片描述
解决方案:bufferSize 修改的条数少一点
注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。


http://www.ppmy.cn/embedded/134006.html

相关文章

进阶 | Prometheus+Grafana 普罗米修斯

一、Prometheus服务部署 Prometheus服务部署以及关联node节点数据,详情看:入门 | PrometheusGrafana 普罗米修斯-CSDN博客 二、Prometheus验证node节点监控数据 1、修改prometheus server配置 vim /usr/local/prometheus/conf/prometheus.yml 重启服…

SQLAlchemy 连接 dm

参考链接 SQLAlchemy 框架 | 达梦技术文档 如果密码中出现特殊字符,参考SQLAlchemy 链接数据库,密码中含有或者\特殊字符_python sqlalchemy 连接mysql 密码有特殊字符-CSDN博客 问题:ObjectNotExecutableError: Not an executable object: …

Spring Boot:如何实现JAR包的直接运行

目录 1. 什么是Spring Boot? 2. 为什么Spring Boot的JAR可以直接运行? 2.1 内嵌容器 2.2 Maven和Gradle插件 2.3 入口点 2.4 无需传统部署 3. 拓展知识:Spring Boot的优势 1. 什么是Spring Boot? Spring Boot是由Pivotal团…

SpringBoot应用部署到Docker中MySQL8时间戳相差8小时问题及处理方式

文章目录 SpringBoot应用部署到Docker中MySQL8时间戳相差8小时问题及处理方式1. 检查MySQL服务器的时间区设置2. 在Spring Boot应用程序中设置时间区3. Docker容器中通过Dockerfile设置时区4. 在运行Docker容器时通过命令行传递环境变量5. 启动SpringBoot应用时设置JVM参数来指…

206面试题(1~27)

206(1~27)道Java面试题 1.JDK和JRE的区别 JDK:Java 开发工具包,Java的运行环境和开发环境。 JRE:Java 运行环境,为 Java 的运行提供了所需环境 JDK(JRE,javac–java源码的编译器,其他Java程序的调试和分析工具)。 …

隨便 20241028 ISR 和 OSR 在 Kafka 中的详细解析

在 Kafka 这个分布式流处理平台中,副本的管理和数据一致性是至关重要的。为了保证系统的高可用性和容错能力,Kafka 引入了两个关键的概念:ISR(In-Sync Replicas)和OSR(Out-of-Sync Replicas)。下…

十分钟Linux中的epoll机制

epoll机制 epoll是Linux内核提供的一种高效I/O事件通知机制,用于处理大量文件描述符的I/O操作。它适合高并发场景,如网络服务器、实时数据处理等,是select和poll的高效替代方案。 1. epoll的工作原理 epoll通过内核中的事件通知接口和文件…

Vant入门

Vant是一个轻量、可靠的移动端Vue组件库,提供了丰富的组件和解决方案,帮助开发者快速构建出优雅的移动端应用。 安装vant # Vue 3项目,安装最新版Vant: npm install vant -S。 # Vue 2项目,安装Vant 2: n…