Test

菜单

Test

归档

2026 年 06 月

TrinoPrestoSQL和数仓几个概念梳理

2026-06-12

#大数据#BI
Trino、PrestoSQL 和数仓几个概念梳理 前言 最近在补一些大数据基础概念时，发现自己最容易混的不是某一个单独术语，而是这些词总是一起出现：Trino、PrestoSQL、DW、ODS/DWD/DWS/ADS、ETL/ELT、OLTP/OLAP。 单看每个词，好像都能说两句；真要把它们放到
synchronized相关思考

2026-06-12

#Java
synchronized 相关思考 前言 最近又重新过了一遍 synchronized，发现自己之前对它的理解其实偏“结论导向”。 比如知道它能保证原子性、可见性、有序性，也知道它背后有锁升级、对象头、Monitor 这些东西，但一旦继续追问“为什么会升级”“对象头里到底放了什么”“自旋和阻塞的边界
大数据回溯相关的一些思考

2026-06-12

#大数据#回溯
回溯相关的一些思考 前言 这次想单独记一下自己对“回溯”这件事的一些理解。 一开始我对回溯的理解其实也比较直白，无非就是把某个对象过去某一天的数据查出来，再往后分析原因。 但后面越想越觉得不对。 如果回溯真的只是查历史数据，那很多问题其实解释不通。比如为什么时间跨度一大，就不能继续逐天查；为什么有些
大数据回溯场景下的缓存与SQL体积调优经验总结

2026-06-12

#大数据#SQL#Redis
前言 最近在做大数据回溯相关工作，这里把其中关于 CID 缓存以及 SQL 体积调优的一些经验做一次整理。 这类场景里，随着数据量和回溯范围变大，CID 存储方式、批量读取方式、SQL 体积控制以及查询执行稳定性，都会逐渐成为影响整体性能的关键因素。实际处理过程中，也会涉及缓存成本、查询开销、批次控
ClickHouseTOOMANYPARTS异常分析与优化实践

2026-06-12

#Clickhouse
技术排查 初步分析 流量突增？ 监控显示调用量平稳，排除突发流量导致分片激增的可能。 集群负载异常？ DBA核查CPU/内存/磁盘IO指标均正常，排除硬件资源瓶颈。 插入流程深挖 [客户端] │ 单条INSERT操作 ▼ [分布式表] → 哈希计算分片键 → 路由至Shard-2
记一次因网络问题导致Http连接池耗尽

2026-06-12

#通信安全#Https
技术排查 初步分析 流量突增？ 监控显示调用量平稳，排除突发流量激增的可能。 集群负载异常？ DBA核查CPU/内存/磁盘IO指标均正常，排除硬件资源瓶颈。 插入流程深挖 [客户端] │ 单条INSERT操作 ▼ [分布式表] → 哈希计算分片键 → 路由至Shard-2 ▼ [本
ArrayList扩容相关思考

2026-06-12

#Java
2. 核心作用：Fail-Fast 机制 modCount 是 Fail-Fast（快速失败） 机制的核心，用于在以下场景快速检测并发修改： 场景 1：单线程迭代时修改集合 List<String> list = new ArrayList<>(Arrays.asList("A", "B", "C"
记一次Clickhouse数据写入成功但是却无数据问题

2026-06-12

#Clickhouse
背景 在一次数据排查时，无意间发现数据对不齐。结合代码及日志分析发现都没问题，且有插入操作，但是 Clickhouse 却查不到改条记录。匪夷所思… 排查过程 最后断定大概率是 Clickhouse 的问题，难道 Clickhouse 存在数据丢失的情况？进一步分析丢失数据部分时间分布发现并无任何规
记一次Zookeeper高负载引发的一系列问题

2026-06-12

#Dubbo#Zookeeper
背景 在一次 ZK 突然莫名的出现高负载，导致Provider、Consumer 与 ZK 连接异常，系统一直提示连接异常，但是此时对各个系统Dubbo 服务依旧正常调度，下文继续分析为什么不会影响到服务间调用。但是使得 ZK 高负载的根因是什么呢？ 排查过程 日志记录异常如下： org.apach
记一次MQ消费失败引发的一系列问题

2026-06-12

#MQ#Pulsar
背景 使用了腾讯云封装的 Pulsar 作为云消息队列，消费中有大致就是一个异步 MQ 日志落库的逻辑。我们日志库使用的 ClickHouse，那天 CK 出现了一段时间的连接异常导致 MQ 消费一直消费异常，进而 Consumer 没再接收到任何消息，但是我本地主动发起了一笔请求，消息成功消费日志
上一页 下一页