percentile.h:103] Check failed: _num_samples == _num_added (254 vs. 4294967280)

[ivanallen]

Describe the bug

F20260331 21:18:23.112407    67 percentile.h:103] Check failed: _num_samples == _num_added (254 vs. 4294967280) _num_added=4294967280 rhs._num_added=30 _num_samples=254 rhs._num_samples=30 SAMPLE_SIZE=254 size2=30

To Reproduce

Expected behavior

Versions
OS: linux
Compiler: gcc12
brpc: 1.16.0
protobuf: 3.15.8

Additional context/screenshots

related issue:

• 计数溢出导致程序退出 #1067
• 为什么brpc框架内部大部分计时都没有使用 MONOTONIC，是有性能或其他方面的考虑吗？ #2763

[ivanallen]

采样线程都正常启动。
目前看可能是时钟前拔导致的。

from claude code:

  1. LTP 测试将系统时钟向前拨了 ~16 小时（从 15:50 CST 拨到 ~08:00 CST 次日）
  2. bvar 采样线程在时钟跳变期间正好完成了一轮迭代，计算下次唤醒时间：
  abstime = gettimeofday_us();  // 获得了"未来"的时间戳(~08:00 次日)
  // ... 处理所有 sampler ...
  abstime += 1000000;  // 加 1 秒
  3. chronyd/NTP 将时钟拨回正确时间（15:50 CST），此时：
  now = gettimeofday_us();  // 现在是 15:50 (正确时间)
  abstime > now;            // 08:00次日 > 15:50今天 → true!
  usleep(abstime - now);    // sleep ~16 小时!!!
  4. 采样线程睡眠 ~16 小时，期间 Percentile 的 _global_result 持续累加无人 reset
  5. PercentileInterval::_num_added (uint32_t) 溢出到 4,294,967,280
  6. 16 小时后采样线程醒来，恢复正常采样。但 reactor 线程在此时尝试 merge 新样本触发溢出 CHECK：
  _num_added(4294967280) + rhs._num_added(30) = 14 (uint32 wrap)
  14 <= 254 (SAMPLE_SIZE) → 进入错误分支
  CHECK_EQ(254, 4294967280) → FATAL → abort

[chenBright]

#2763 讨论过框架里使用墙上时间的问题。采样线程比较独立，可直接使用单调时钟。

1. 这期间，Percentile 长时间没更新，监控还正常吗？
2. 时钟跳变没有触发 RPC 或者其他超时现象吗？

[ivanallen]

#2763 讨论过框架里使用墙上时间的问题。采样线程比较独立，可直接使用单调时钟。

1. 这期间，Percentile 长时间没更新，监控还正常吗？
2. 时钟跳变没有触发 RPC 或者其他超时现象吗？

感谢修复，我们会升级一下。

最近忘记看消息了。

1. 这是一个临时测试环境，没有配置监控的导出。不过我想当时如果能看一下应该也是能看出问题的。
2. 最早的时候出过莫名奇妙的 RPC 一直不回调的问题，可能和这个有关。