作者:Administrator

大数据回溯场景下的缓存与SQL体积调优经验总结

前言 最近在做大数据回溯相关工作,这里把其中关于 CID 缓存以及 SQL 体积调优的一些经验做一次整理。 这类场景里,随着数据量和回溯范围变大,CID 存储方式、批量读取方式、SQL 体积控制以及查询执行稳定性,都会逐渐成为影响整体性能的关键因素。实际处理过程中,也会涉及缓存成本、查询开销、批次控

Administrator Administrator 发布于 2026-06-07

大数据回溯相关的一些思考

回溯相关的一些思考 前言 这次想单独记一下自己对“回溯”这件事的一些理解。 一开始我对回溯的理解其实也比较直白,无非就是把某个对象过去某一天的数据查出来,再往后分析原因。 但后面越想越觉得不对。 如果回溯真的只是查历史数据,那很多问题其实解释不通。比如为什么时间跨度一大,就不能继续逐天查;为什么有些

Administrator Administrator 发布于 2026-05-07

synchronized相关思考

synchronized 相关思考 前言 最近又重新过了一遍 synchronized,发现自己之前对它的理解其实偏“结论导向”。 比如知道它能保证原子性、可见性、有序性,也知道它背后有锁升级、对象头、Monitor 这些东西,但一旦继续追问“为什么会升级”“对象头里到底放了什么”“自旋和阻塞的边界

Administrator Administrator 发布于 2026-04-03

TrinoPrestoSQL和数仓几个概念梳理

Trino、PrestoSQL 和数仓几个概念梳理 前言 最近在补一些大数据基础概念时,发现自己最容易混的不是某一个单独术语,而是这些词总是一起出现:Trino、PrestoSQL、DW、ODS/DWD/DWS/ADS、ETL/ELT、OLTP/OLAP。 单看每个词,好像都能说两句;真要把它们放到

Administrator Administrator 发布于 2026-03-02

记一次Zookeeper高负载引发的一系列问题

背景 在一次 ZK 突然莫名的出现高负载,导致Provider、Consumer 与 ZK 连接异常,系统一直提示连接异常,但是此时对各个系统Dubbo 服务依旧正常调度,下文继续分析为什么不会影响到服务间调用。但是使得 ZK 高负载的根因是什么呢? 排查过程 日志记录异常如下: org.apach

Administrator Administrator 发布于 2026-01-31

HashMap的扩容

在理解扩容器前得先明白HashMap中几个常量的含义    //默认初始容量 ,必须为二的次幂    static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // aka 16    //最大容量    static final int MA

Administrator Administrator 发布于 2025-08-10

redis中GEO总结

用法 参考:https://www.cnblogs.com/wt645631686/p/8454497.html 字段 描述 key 键值 longitude 经度 latitude 纬度

Administrator Administrator 发布于 2025-05-10

ClickHouseTOOMANYPARTS异常分析与优化实践

技术排查 初步分析 流量突增? 监控显示调用量平稳,排除突发流量导致分片激增的可能。 集群负载异常? DBA核查CPU/内存/磁盘IO指标均正常,排除硬件资源瓶颈。 插入流程深挖 [客户端] │ 单条INSERT操作 ▼ [分布式表] → 哈希计算分片键 → 路由至Shard-2

Administrator Administrator 发布于 2025-03-02

记一次因网络问题导致Http连接池耗尽

技术排查 初步分析 流量突增? 监控显示调用量平稳,排除突发流量激增的可能。 集群负载异常? DBA核查CPU/内存/磁盘IO指标均正常,排除硬件资源瓶颈。 插入流程深挖 [客户端] │ 单条INSERT操作 ▼ [分布式表] → 哈希计算分片键 → 路由至Shard-2 ▼ [本

Administrator Administrator 发布于 2025-02-06

ThreadPoolExecutor解析

ThreadPoolExecutor 参数解析 corePoolSize 核心线程数 即使没有任务执行,核心线程也会一直存活 线程数小于核心线程时,即使有空闲线程,线程沲也会创建新线程执行任务 设置allowCoreThreadTimeout=true时,核心线程会超时关闭 maximumPoolS

Administrator Administrator 发布于 2024-10-08
上一页 下一页