Test

TrinoPrestoSQL和数仓几个概念梳理

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

Trino、PrestoSQL 和数仓几个概念梳理前言最近在补一些大数据基础概念时，发现自己最容易混的不是某一个单独术语，而是这些词总是一起出现：Trino、PrestoSQL、DW、ODS/DWD/DWS/ADS、ETL/ELT、OLTP/OLAP。单看每个词，好像都能说两句；真要把它们放到

synchronized相关思考

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

synchronized 相关思考前言最近又重新过了一遍 synchronized，发现自己之前对它的理解其实偏“结论导向”。比如知道它能保证原子性、可见性、有序性，也知道它背后有锁升级、对象头、Monitor 这些东西，但一旦继续追问“为什么会升级”“对象头里到底放了什么”“自旋和阻塞的边界

大数据回溯相关的一些思考

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

回溯相关的一些思考前言这次想单独记一下自己对“回溯”这件事的一些理解。一开始我对回溯的理解其实也比较直白，无非就是把某个对象过去某一天的数据查出来，再往后分析原因。但后面越想越觉得不对。如果回溯真的只是查历史数据，那很多问题其实解释不通。比如为什么时间跨度一大，就不能继续逐天查；为什么有些

大数据回溯场景下的缓存与SQL体积调优经验总结

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

前言最近在做大数据回溯相关工作，这里把其中关于 CID 缓存以及 SQL 体积调优的一些经验做一次整理。这类场景里，随着数据量和回溯范围变大，CID 存储方式、批量读取方式、SQL 体积控制以及查询执行稳定性，都会逐渐成为影响整体性能的关键因素。实际处理过程中，也会涉及缓存成本、查询开销、批次控

ClickHouseTOOMANYPARTS异常分析与优化实践

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

技术排查初步分析流量突增？监控显示调用量平稳，排除突发流量导致分片激增的可能。集群负载异常？ DBA核查CPU/内存/磁盘IO指标均正常，排除硬件资源瓶颈。插入流程深挖 [客户端] │ 单条INSERT操作 ▼ [分布式表] → 哈希计算分片键 → 路由至Shard-2

记一次因网络问题导致Http连接池耗尽

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

技术排查初步分析流量突增？监控显示调用量平稳，排除突发流量激增的可能。集群负载异常？ DBA核查CPU/内存/磁盘IO指标均正常，排除硬件资源瓶颈。插入流程深挖 [客户端] │ 单条INSERT操作 ▼ [分布式表] → 哈希计算分片键 → 路由至Shard-2 ▼ [本

ArrayList扩容相关思考

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

2. 核心作用：Fail-Fast 机制 modCount 是 Fail-Fast（快速失败）机制的核心，用于在以下场景快速检测并发修改：场景 1：单线程迭代时修改集合 List list = new ArrayList<>(Arrays.asList("A", "B", "C"

记一次Clickhouse数据写入成功但是却无数据问题

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

背景在一次数据排查时，无意间发现数据对不齐。结合代码及日志分析发现都没问题，且有插入操作，但是 Clickhouse 却查不到改条记录。匪夷所思… 排查过程最后断定大概率是 Clickhouse 的问题，难道 Clickhouse 存在数据丢失的情况？进一步分析丢失数据部分时间分布发现并无任何规

记一次Zookeeper高负载引发的一系列问题

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

背景在一次 ZK 突然莫名的出现高负载，导致Provider、Consumer 与 ZK 连接异常，系统一直提示连接异常，但是此时对各个系统Dubbo 服务依旧正常调度，下文继续分析为什么不会影响到服务间调用。但是使得 ZK 高负载的根因是什么呢？排查过程日志记录异常如下： org.apach

记一次MQ消费失败引发的一系列问题

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

背景使用了腾讯云封装的 Pulsar 作为云消息队列，消费中有大致就是一个异步 MQ 日志落库的逻辑。我们日志库使用的 ClickHouse，那天 CK 出现了一段时间的连接异常导致 MQ 消费一直消费异常，进而 Consumer 没再接收到任何消息，但是我本地主动发起了一笔请求，消息成功消费日志

记一次分布式ID主键冲突问题

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

背景在一次Uat 环境测试中，出现主键冲突异常，明明昨天测试都是正常的。多试了几笔发现生成的主键 ID 确实已经重复了，且该 ID 是在今天上午十点生成的，很奇怪。排查过程该分布式 ID 生成器是借助 Zookeeper 来实现的，发现Uat 环境 ZK 配置的 Host 与 Prod 环境不

一文讲清加解签名加解密数字签名数字证书

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

前言话说前段时间，大毛和二毛两家打的那叫一个热火朝天。大毛将二毛摁在地上反复摩擦之际，鹰酱给二毛发去一项指令：不要送！！！而此条指令被精通特工技术的大毛潜伏人员截获对报文内容进行稍加修饰：不要怂！！！二毛收到指令瞬间就打上鸡血，哐哐就是和大毛死磕到底。二毛：鹰酱都这么说了，肯定能给我不少支持，我可

巧用Apifox自动生成接口签名

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

前言近期在使用apifox调试接口时，由于众多测试样例，每次修改参数都需要重新手动去生成一下签名，再回填入参数中，略烦。便着手寻找可自动生成签名并回填方法。查阅官网文档，发现所提供的样例是针对form表单类型可使用动态值{{signature}}进行拼接。但是我司是使用json交互，签名字段在js

记一次mybatis与mybatisplus及mysql与cilickhouse共存遇到的问题

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

背景在维护公司一个老项目时，出于方便的考虑，准备在项目中引入Mybatis-plus作为持久层，那么这就涉及到新老代码共存的问题。随后由于该项目是一个数据产品相关项目，有一个日志模块会记录用户的调用记录，该日志数据落库在MySQL现已存储8kw+数据，已经不堪重负了，同时产品同学期望完善一下这块的

记一次Druid连接池关闭异常问题

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

背景在一个DB层本是只有MySQL项目中，后期同时引入了Clickhouse作为日志存储的数据库。在每次项目发布时都会抛出异常unregister mbean error提示注销bean异常，具体报错如下： javax.management.InstanceNotFoundException:

记一次生产Druid连接池Communicationslinkfailure异常

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

异常日志 The last packet successfully received from the server was 15,788,990 milliseconds ago. The last packet sent successfully to the server was 15,788

记一次上线发布引用包问题

Administrator — Fri, 12 Jun 2026 06:37:30 GMT

在上线代码后，后台日志疯狂抛表不存在异常，经排查发现，新建的该表未在本次上线需求中，还在测试中的需求，第一反应是本次上线分支被合入了另外需求代码所致，然而奇怪的点却是该版本分支确实无那块代码，且检查mster分支也无那块代码。懵…，立马检查打包构建及其docker镜像问题，也都是正常，构建的也都是正

记公司出口网关建设遇到问题

Administrator — Fri, 12 Jun 2026 06:37:29 GMT

背景由于公司出于安全考虑，准备统一收拢对外出口服务器，同时对出口请求进行监控管理，因此tplinker项目孕育而生项目简介该项目针对不同场景主要有两种模式透传模式：主要用于兼容现有业务直接对外请求接口，该模式对于已经开发请求URL配置代理域名，请求先通过Nginx转发到出口服务器中，再经过t

ThreadPoolExecutor解析

Administrator — Fri, 12 Jun 2026 06:37:29 GMT

ThreadPoolExecutor 参数解析 corePoolSize 核心线程数即使没有任务执行，核心线程也会一直存活线程数小于核心线程时，即使有空闲线程，线程沲也会创建新线程执行任务设置allowCoreThreadTimeout=true时，核心线程会超时关闭 maximumPoolS

TCP的三次握手四次挥手

Administrator — Fri, 12 Jun 2026 06:37:29 GMT