LibreOffice 转 PDF「一次成功一次失败」:一次连环事故的完整复盘

一个 Java 服务调用 LibreOffice 把 Excel 转成 PDF,出现了最让人抓狂的症状:同一个文件,第一次成功,第二次失败,第三次成功,第四次又失败,严格交替。等登上机器排查才发现,事情远比"转 PDF 挂了"复杂——两个跑歪的进程、一个选错的容器底座,再加一个随时可能把机器带走的 Swap 危机。


一、症状:一半成功,一半失败

业务方的反馈很具体:同一个 Excel 文件,转换结果严格交替——成、败、成、败。

这种"部分可用"比彻底挂掉更麻烦。彻底挂了,监控立刻报警;一半成功,端口探活永远是绿的,监控却永远不响,只有业务方在关键流程里一次次撞上那次失败。

当时服务侧是 external 模式,连宿主机上手起的 LibreOffice:

1
2
3
4
5
6
7
8
9
10
11
12
jodconverter:
local:
enabled: false
hostName: 127.0.0.1
officeHome: /data/software/instdir
portNumbers: 8190
external:
enabled: true
hostName: 172.18.43.17
portNumbers: 8199
remote:
enabled: false

表面一切正常,端口在监听、进程在跑。没人知道,这台机器上的 soffice 已经"跑歪"很久了。


二、上机:三板斧,以及它们能看到什么

登上 host-172-18-100-52(CentOS,up 668 days,连续运行快两年),用 ps / netstat / pmap+top 现场把脉。

2.1 ps:两个"半瘫痪"的进程

1
2
3
[root@host-172-18-100-52 ~]# ps aux | grep soffice | grep -v grep
appadmin 3101751 0.0 0.0 880768 3008 ? Sl 2025 0:00 /data/software/instdir/program/soffice.bin --accept=socket,host=127.0.0.1,port=8191,tcpNoDelay=1;urp;StarOffice.ServiceManager --headless --invisible --nocrashreport --nodefault --nofirststartwizard --nolockcheck --nologo --norestore -env:UserInstallation=file:///tmp/.jodconverter_socket_host-127.0.0.1_port-8191_tcpNoDelay-1
appadmin 4168552 65.4 0.1 831872 44480 ? Sl 2025 208953:34 /data/software/instdir/program/soffice.bin --accept=socket,host=0.0.0.0,port=8199;urp; --headless --invisible --nocrashreport --nodefault --nofirststartwizard --nolockcheck --nologo --norestore
进程 端口 %CPU RSS TIME(累计 CPU) 启动 关键差异
3101751 8191(仅本机) 0.0% ~3 MB 0:00.78 2025 带 -env:UserInstallation=/tmp/...port-8191_...
4168552 8199(对全网) 65.4%(均值) ~44 MB 208953:34(约 145 天) 2025 完全没有 -env:UserInstallation

三条可以直接确认的事实:

  1. 8199 进程的启动行缺失 -env:UserInstallation,因此它必然回落到默认配置目录 /home/appadmin/.config/libreoffice。
  2. 8191 进程另有独立配置目录,压根不碰默认目录——这两个进程不在同一个"房间"里。
  3. 8191 进程累计 CPU 只有 0.78 秒,说明它自 2025 年被拉起后从未真正处理过一个任务,是个没人用的空壳。

顺带纠一个容易说错的词:3101751 的状态是 Sl(sleeping + 多线程),top 也明写 0 zombie。它不是僵尸进程——僵尸(Z 态)已经终止、只剩进程表项、RSS 为 0。准确说法是空壳进程。

这里有个口径陷阱,当时差点被它骗了:ps aux 的 %CPU 是生命周期均值(累计 CPU ÷ 存活时长),top 的 %CPU 是瞬时值,两个不能混着用。而这批数据里三者互相打架:

  • 按 %CPU 65.4% × 668 天推算,累计 CPU 该有 437 天;
  • 按 2025 年内启动(存活最多 365 天)推算,也该有 240 天;
  • 而 TIME 实际只有 145 天。

三种算法差一倍以上,说明 %CPU / TIME / START 至少有一项口径不可靠。所以后面的判断只做定性——“长期吃满一个核,累计消耗上百天”——不做定量换算。

2.2 netstat:电话拨得通,对面不吭声

1
2
3
4
[root@host-172-18-100-52 ~]# netstat -tulnp | grep 8191
tcp 0 0 127.0.0.1:8191 0.0.0.0:* LISTEN 3101751/soffice.bin
[root@host-172-18-100-52 ~]# netstat -tulnp | grep 8199
tcp 0 0 0.0.0.0:8199 0.0.0.0:* LISTEN 4168552/soffice.bin

netstat 能证实的只有两件事:端口在监听、监听队列没有积压。它证明不了"业务处理层坏了",也证明不了"请求一定能建立 TCP 连接"——那得看 ESTABLISHED 连接数。

  • Recv-Q / Send-Q 都是 0 → 没有排队连接,不是被网络拥堵卡住;
  • 端口 LISTEN → 客户端不会报 Connection refused;
  • 8199 绑定 0.0.0.0(对全网开放,本身就是隐患),8191 绑定 127.0.0.1(仅本机)。

最阴险的地方在这儿:电话拨得通,对面是台只会嗡嗡响的机器。客户端把"请把 Excel 转成 PDF"发过去,对面收了却永远不开始转,一路空转 CPU,直到客户端 TimeoutException。

打个比方,你打客服电话,线路一切正常(netstat 绿),对面接起来只"嗡嗡"响不吭声(CPU 空转、无响应),最后电话自己挂断(超时)。

而这一步最该做却没做的,是抓一次 strace -f -p 4168552、看一眼 /proc/4168552/wchan——那才能真正区分"它在等锁"和"它在用户态空跑"。缺了这一步,后面关于"死锁"的所有说法只能停在猜测。

2.3 pmap + top:不是内存泄漏,但系统站在悬崖边上

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@host-172-18-100-52 ~]# pmap -x 3101751 4168552 | tail -n 1
total kB 831872 50816 38272

[root@host-172-18-100-52 ~]# top -p 3101751,4168552
top - 10:21:23 up 668 days, 23:37, 2 users, load average: 4.95, 4.47, 4.77
Tasks: 2 total, 0 running, 2 sleeping, 0 stopped, 0 zombie
%Cpu(s): 14.7 us, 5.3 sy, 0.0 ni, 65.5 id, 13.5 wa, 0.7 hi, 0.3 si, 0.0 st
MiB Mem : 32129.4 total, 809.2 free, 26173.6 used, 5146.6 buff/cache
MiB Swap: 19451.9 total, 0.4 free, 19451.5 used. 4353.8 avail Mem

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4168552 appadmin 20 0 831872 44480 10176 S 94.4 0.1 208968:36 soffice.bin
3101751 appadmin 20 0 880768 3008 3008 S 0.0 0.0 0:00.78 soffice.bin

第一层:不是内存泄漏。 pmap -x 汇总行的三列是 VIRT / RSS / Dirty,831872 / 50816 / 38272(kB)——两个进程实际常驻物理内存共约 49.6 MB,不到系统 1%。"内存泄漏"可以彻底排除。

第二层:Swap 已经被吃满。 MiB Swap: 19451.9 total, 0.4 free——只剩 400 KB。这里有个容易读错的地方:free 809.2 MB 和 avail Mem 4353.8 MB 不是一回事,后者包含可回收的 page cache。真实处境是空闲物理内存仅 809 MB,可回收后才 4.3 GB,而 Swap 已经归零——缓冲余地比数字看起来小得多。

再看 load average 4.95 配 65.5% id、13.5% wa:CPU 明明闲着大半,负载却接近 5,说明大量进程卡在等待 I/O,和 Swap 频繁换页高度吻合。

关于"高 CPU + S 态就是自旋锁死锁"——这个推论站不住。 三个理由:

  • 状态列来自单次采样瞬间。一个吃满单核的进程,恰好在两个 CPU 片之间进入可中断睡眠(S),完全正常,S 与高 CPU 并不互斥;
  • 真正的内核自旋锁表现是 R 态死占 CPU、拖住整核甚至触发 soft lockup,不会安静地待在 S 里;
  • 光看 S 和 %CPU,判断不出它在等什么。

所以能说的只有:4168552 在用户态或 UNO 桥接层长期空转、不响应请求;具体卡在锁等待还是事件循环忙等,没有取证,不能定论。

关于 OOM Killer 的误解:它不是"随机挑一个进程杀"。内核按 oom_score 挑人,通常优先杀内存占用最大的,所以最先死的多半是内存大户而不是 JODConverter;但当几个同规格的 Java 进程分数接近时,业务主进程被误伤的概率并不低。用"可能误伤、且不可预测"才准确。

现场结论:两个进程一个空转、一个空壳,业务上已经失效;但Swap 归零是优先级更高的事——此刻最该做的不是继续盯着 JODConverter,而是先降负载、再查谁吃光了 Swap。


三、为什么是"严格交替"?

这是整个事故里最有意思的问题,也是最容易归因错的地方。常见的解释有三种:

解释 内容 与数据的吻合度 疑点
A(最站得住) 请求在两条通路之间轮询:一条还能用,一条已经卡死在 8199,于是成功失败一替一次 ★★★★ "严格 50% 成功率"正是轮询的指纹 那个"还能用"的通路到底是谁,还需确认
B(常见说法) 进程被"污染"了,超时后重启,新进程干净所以下次成功 ★★ 能解释交替 逻辑上说不通:external 模式下 JODConverter 只做 UNO 客户端,不管进程生死,它连句柄都没有,靠什么"强制重启"宿主机上的进程?
C 两个实例配置不一致(一个 local 一个 external),恰好好坏各一 ★★★ 和 8191 那个 local 风格进程的存在很吻合 8191 是否真在对外服务还存疑(累计 CPU 仅 0.78 秒)

A 与 C 其实是同一件事的两个版本:结构都是"两条后端",区别只在健康的那一半是谁。

关键推理很简单:如果只有一个后端、而它已经卡死,症状应该是 100% 失败,而不是交替。严格 50% 的成功率,天然指向"两条通路各占一半"。至于健康的另一半是 8191 上的进程,还是另一个应用实例——两条命令就能回答,但当时没查。

external 模式下的真实表现也印证了这点:超时不会触发任何回收动作,客户端只会报 TimeoutException,然后原样再连那个坏进程——结果是一直失败。所以"交替"不会是单实例里进程状态抖动造成的。

一句话:“严格交替"更像"轮询到两个质量不同的后端”,而不是"同一个进程时好时坏"。


四、三层根因,一个放大器

把这堆线索归拢,其实是三层问题叠加,外加一个纯系统级的风险放大器。

4.1 第一层:external 模式,进程生死没人管

external 模式的本质是:JODConverter 只当 UNO 客户端,宿主机上的 soffice 由谁起、起几个、跑多久、崩了怎么办,全凭人手。

在这种模式下,一个进程一旦进入异常状态(UNO 桥接卡死、转换器没释放文档、监听线程僵住),没有任何机制会回收它。它就一直占着端口、咬着 CPU,客户端每次连过去都是"连上了但不回话"。

8199 那个进程累计 CPU 145 天,却连一次成功转换的痕迹都没有——这正是该机制下的必然结果:不是它坏了,是没人管它。

4.2 第二层:改 local 模式,撞进 Alpine/musl 的墙

满以为改成 local + maxTasksPerProcess: 1 就万事大吉,结果"交替失败"变成了"每次都失败"。

原因在容器底座:local 模式让 JODConverter 在容器内部拉起 LibreOffice,而当时镜像是 Alpine Linux(musl libc),宿主机上的 soffice.bin 却是针对 glibc 编译的。Alpine 里没有 glibc 的 ELF 解释器(/lib64/ld-linux-x86-64.so.2),内核直接返回 ENOENT,于是执行 soffice.bin 报 not found。

这里有个坑:它报的是"文件不存在",不是"权限不够"也不是"格式错误"。文件明明在那儿、权限也对,却报 not found,第一反应就该怀疑 libc,而不是去查路径。

之前 external 能用,是因为它连的是宿主机上手动起的进程(CentOS / glibc),绕开了容器里的 libc。

一句话:external 把 LibreOffice 留在 glibc 宿主机上跑,绕过了容器;local 把它拉进 musl 容器里,直接撞墙。

4.3 第三层:缺失的 -env,和那一把没人擦的锁

8199 进程的启动行里没有 -env:UserInstallation,于是它回落到默认配置目录 ~/.config/libreoffice。而那个目录里的 4/user/.lock,很可能是上一个同样没指定 -env 的进程留下的——进程早没了,锁还卡在那儿,于是它一直等一把永远不会释放的锁。

这里要纠正一个很容易犯的错:别把 8191 进程说成"和它抢锁"。8191 带着独立的 /tmp/.jodconverter_... 目录,它压根不碰默认目录。真正的对手是"历史残留",不是另一个活着的进程。

证据强度也不够:手上只有启动参数这一条间接证据,既没有 ls -la 的锁文件快照,也没有等待栈。所以这一条只能算推断——但它衍生出的规范是硬的:每个进程必须绑定独立的 -env:UserInstallation,否则就是在默认目录里踩上一任留下的雷。

4.4 放大器:Swap 归零

必须把它单独拿出来说:Swap 耗尽和 JODConverter 失效没有因果关系——前者不会让 UNO 卡死,后者也造不出那 19 GB 占用。但它把整台机器的容错余量压到零,一旦触发 OOM,杀谁不可控。所以它处置优先级高于应用层修复,却不该被写成"根因"。

至于谁吃掉了 19 GB Swap:至今没查清。

4.5 三层归拢

层 内容 确定性 和"交替失败"的关系
一 external 模式进程生命周期无人管理,异常进程永久驻留 推断 直接相关:坏进程不会被回收
二 容器 musl 与宿主机 glibc 二进制不兼容 确定 解释"改 local 后 100% 失败"
三 缺失独立 -env + 默认目录残留锁 推断 解释"这个进程为什么烂",不解释交替
放大器 系统 Swap 耗尽 确定 无关,但优先级最高

五、处置:先止血,再换底座

顺序很关键——先降负载、再查 Swap、最后根治,绝不能只杀进程了事。

5.1 紧急止血

1
2
3
4
5
6
7
8
9
10
11
12
# 1. 杀掉两个跑歪的进程,立刻释放 CPU、降低 I/O 等待
kill -9 3101751 4168552

# 2. 清掉默认目录残留锁(针对文件用 -f,不要 -rf 扫目录)
rm -f /home/appadmin/.config/libreoffice/4/user/.lock

# 3. 查谁吃光了 Swap —— 注意不能按 RSS 排
ps aux --sort=-%mem | head -20
for p in $(ps -eo pid=); do awk '/VmSwap/{print "'$p'", $2}' /proc/$p/status 2>/dev/null; done | sort -k2 -nr | head

# 4.(可选,业务低峰期,且必须先干掉 Swap 大户)强制把 Swap 换回物理内存
swapoff -a && swapon -a

第 3 步的第二条命令值得单独说:ps aux --sort=-%mem 排的是 RSS,排不出谁占 Swap,用它找元凶是白找。要按 VmSwap 排序。

安全提示:生产环境不能立刻重启时,先用防火墙/安全组封掉 8199 入站,避免新请求继续加剧空转。另外 8199 长期绑 0.0.0.0 本身就是暴露面,根治时应改绑 127.0.0.1 或加白名单。

5.2 治本

  1. LibreOffice 改用 local 模式,配 maxTasksPerProcess: 1,每个任务后自动重启,从机制上切断状态累积。
  2. 服务从 Alpine 镜像换到 glibc 环境:非镜像启动(直接用宿主机二进制),或基础镜像换 Debian / Ubuntu,并补容器到宿主机的路径映射。

5.3 实施

第一步:彻底清理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 停掉 Jenkins 启动的应用进程
kill -9 2866512 2866522 2866521

# 杀掉所有残留 LibreOffice 进程
pkill -f soffice.bin
# 执行时曾报 "pkill: cannot allocate 4611686018427387903 bytes"。
# 该数值恰为 2^62-1,是 procps 遍历 /proc 时的解析异常,并非真有进程申请这块内存。
# 从之后 netstat 输出为空看,清理实际生效。

# 清理 JODConverter 临时目录
rm -rf /data/tmp/.jodconverter*
rm -rf /tmp/.jodconverter*

# 确认端口 8197-8199 已释放(输出为空即释放)
netstat -tlnp | grep -E "819[7-9]"

第二步:检查环境

1
2
3
4
5
6
7
8
9
su - appadmin -c "/data/software/instdir/program/soffice.bin --headless --version"
# 实际输出:LibreOfficeDev 7.1.8.1

ls -ld /data/tmp
# 实际:drwx------ 3 appadmin appadmin 202 Jul 9 11:18 /data/tmp
# 注意是 700 而不是 775,只要属主是 appadmin 就够用

ls -ld /data/software/instdir
# 期望:drwxr-xr-x(已 chmod 755)

第三步:调 Nacos 配置

1
2
3
4
5
6
7
8
9
10
11
12
jodconverter:
local:
enabled: true # 启用 local 模式
officeHome: /data/software/instdir
portNumbers: 8190 # 可配多个端口提升并发
maxTasksPerProcess: 1 # 每进程 1 个任务后重启,切断状态累积
taskExecutionTimeout: 120000 # 单任务超时 120s
workingDir: /data/tmp
external:
enabled: false
remote:
enabled: false

保存后触发 Jenkins 构建重新部署。

第四步:看启动日志

1
2
3
4
5
2026-07-09 11:25:41.966 [...] ERROR o.j.local.office.VerboseProcess - Warning: -accept=... is deprecated. Use --accept=...
...(同类 deprecation 警告,略)...
2026-07-09 11:26:20.350 [...] INFO o.j.l.o.StartProcessAndConnectRetryable - Office process died with exit code 81; restarting it
2026-07-09 11:26:36.026 [...] INFO o.j.l.office.OfficeConnection - Connected: 'socket,host=127.0.0.1,port=8190,tcpNoDelay=1'
2026-07-09 11:26:36.028 [...] INFO o.j.l.office.LocalOfficeProcessManager - Started process; pid: 2884845

第一次启动 exit code 81,随后自动重试连通,最终 Connected + pid 2884845。

但这里藏着一个只能从日志里读出来的数字:11:26:20 → 11:26:36,一次进程启动要花 16 秒。也就是说 maxTasksPerProcess: 1 的代价是每个转换请求都要多付十几秒冷启动。这正是后面稳态场景要把它放宽到 20~50 的真正原因——如果不量化这个代价,读者很容易把 1 直接抄进生产,然后过几天因为"转 PDF 怎么这么慢"再开一张工单。

还有那串 Warning: -xxx is deprecated——JODConverter 调的是 LibreOffice 旧式单横线参数,warning 本身无害。但 exit code 81 到底为什么,这次没有解释(见第七节)。

5.4 验收标准

指标 正常 异常信号
TIME(累计 CPU) 从 0:00 缓慢增长 5 分钟内涨到 10:00 以上 → 仍在死循环
转换期间瞬时 CPU 短暂 50%~80% —
空闲瞬时 CPU 回落到 0%~5% 持续 > 20% 不回落 → 死循环依旧
单次转换耗时 基准 + 约 13~16 秒冷启动 明显超出 → 冷启动成本失控
长期观察 连续 ≥ 7 天成功率对比改造前 只验"进程起来了"等于没验收

六、加固:哪些能加,哪些互斥

参数、探针、保活这三件事可以加,但有一条红线:别把两套进程生命周期管理叠在一起。

6.1 参数怎么算

两个常见公式是错的,先说清楚:

  • ❌ portNumbers ≈ CPU 核数 × 1.5,然后给 4 个端口示例——4 个端口对不上 ×1.5 的算法;
  • ❌ maxTasksPerProcess ≈ (总内存GB × 1024) / 单进程内存MB——这式子算出来的是"能开几个进程",不是"每进程跑几个任务",量纲就不对。按 32 GB / 300 MB 得 109,和常见的"填 20"也对不上。

正确口径是两条彼此独立的约束:

参数 由什么决定 怎么取
portNumbers(进程数 P) CPU 核数(转换是 CPU 密集型) P ≈ 核数 × 1~1.5,同时要满足 P × 单进程峰值内存 ≤ 可用内存 × 0.7,取较小值
maxTasksPerProcess 内存泄漏容忍度 压测出单任务内存增量 Δ,要求 基础占用 + Δ × N ≤ 单进程内存上限,留 50% 余量,工程上落 20~50
taskExecutionTimeout 最大文件转换时长 取 P99 × 3,生产 300000 起
taskQueueTimeout 并发排队容忍度 生产 60000
1
2
3
4
5
6
7
8
9
10
11
# 稳态生产参考(和 5.3 的治污期配置用途不同,别混用)
jodconverter:
local:
enabled: true
officeHome: ${LIBREOFFICE_HOME:/opt/libreoffice}
portNumbers: 2001,2002,2003,2004 # 数目 = min(核数×1~1.5, 内存允许的进程数)
maxTasksPerProcess: 30 # 压测后确定,落 20~50
processTimeout: 300000
processRetryInterval: 30000
taskExecutionTimeout: 300000
taskQueueTimeout: 60000

和本次处置的取舍:治污期用 1(每任务重启,代价是每请求多 13~16 秒冷启动);稳态高吞吐按内存放宽到 20~50。两者不矛盾,但得知道自己在哪个阶段,别把治污参数当稳态参数发出去。

6.2 健康探针

LibreOffice 是被改造成服务端的桌面软件,不会自己暴露健康状态。最简做法是复用 OfficeManager.isRunning():

1
2
3
4
5
6
7
8
9
10
11
@RestController
@RequestMapping("/convert")
public class HealthController {

private final OfficeManager officeManager;

@GetMapping("/health")
public String check() {
return officeManager.isRunning() ? "UP" : "DOWN";
}
}

但这个端点只说明"进程还在",说明不了"还能不能转"。建议再加一层真实转换探针(定期转一个 1 页空白 xlsx)——否则 8199 那种"监听正常、业务已死"的状态照样探不出来,这次事故就是被"端口通"骗过去的。

6.3 进程保活:两种方案,只能选一个

方案 适用 做法 风险
A. local 模式自管(本次采用) JODConverter 在应用内、单实例 靠 maxTasksPerProcess + processRetryInterval 自动重启 应用重启会带走进程,属预期
B. external + 系统服务 多应用共享一个 LibreOffice 池 systemd / supervisor 常驻,Restart=always 多进程必须各自独立 -env 与端口,否则重演这次的锁冲突

选 B 时才有意义写 unit 文件:

1
2
3
4
5
6
7
8
9
10
11
12
# /etc/systemd/system/libreoffice.service
[Unit]
Description=LibreOffice headless listener
[Service]
ExecStart=/usr/lib/libreoffice/program/soffice --headless \
--accept="socket,host=127.0.0.1,port=8100;urp;" --nofirststartwizard \
-env:UserInstallation=file:///var/lib/libreoffice/profile-8100
Restart=always
RestartSec=5
User=office
[Install]
WantedBy=multi-user.target

Kubernetes 下用 liveness / readiness 探针对接 6.2 的端点。

注意:A 和 B 不能叠加。已经用 local 模式让 JODConverter 管进程了,再拿 systemd 起一个常驻 soffice,只会再演一次端口和 .lock 的冲突——这正是很多"加固"文章最容易写错的地方。

6.4 容器化的两个雷

  • musl / glibc 不兼容:本次第二层根因。基础镜像必须选 glibc 系(Debian / Ubuntu),或宿主机以非镜像方式启动 LibreOffice。口诀:soffice.bin 报 not found 而文件确实存在、权限也对,先怀疑 libc,别先查路径。
  • 中文字体缺失:转出来中文变方框。预装 fonts-wqy-zenhei、fonts-noto-cjk,避免运行时动态加载导致字体缓存异常膨胀。

6.5 监控告警

风险 触发条件 可观测特征
文档残留 大文件转换中断 RSS 阶梯上涨,单次 +50~200 MB
进程僵死 转换超时未回收 常驻 300 MB+ 且不产出结果
字体缓存异常 首次使用新字体 RSS 一次性 +100 MB 且不回落
端口通业务死 连上但无响应 ESTABLISHED 持续堆积、TimeoutException 上升

告警项里,业务成功率比端口存活重要得多;另外别漏了 Swap 使用率——这次就栽在这儿;load average 与 %wa 的组合异动也值得看一眼。


七、三个还没答案的问题

复盘最忌讳"进程起来了就结案",这次至少还留着三个扣:

  1. exit code 81 到底是什么。 日志里第一次启动就退了 81,被自动重试盖过去了。下一步该抓 VerboseProcess 转出的 soffice stderr,查 --accept 端口是否被占、/tmp 下的 profile 目录是否有残留,再对比第二次为什么能成功。
  2. 谁吃掉了 19 GB Swap。 至今没定位。得按 VmSwap 逐进程排查(数据库、ES、某个堆没设上限的 Java 应用),顺带看 vm.swappiness。
  3. "严格交替"的健康通路究竟是谁。 是 8191 上的进程,还是另一个应用实例?查一遍网关轮询配置、对齐成败日志的时间戳就能定,但当时没查,所以第三节只能给"最站得住"的解释,不能给定论。

另外还有两个小疑点:8199 为什么绑在 0.0.0.0;配置里 local.portNumbers 写的是 8190,而现场 8191 上那个进程带着 local 模式专有的 -env 目录——配置和现场对不上,说明中间发生过漂移,这个来历也值得查清。

最后一句实话:这次故障到底影响了多少请求、多少业务方,我手里没有完整数据,所以这篇只谈技术链,不谈损失量化。


八、几条教训

  1. "部分可用"比"彻底挂掉"更危险。 一半成功骗过了端口探活,监控全绿而业务在流血。要用业务成功率告警,不是 TCP 连通性。
  2. 先降系统风险,再修应用。 Swap 归零的优先级高于 JODConverter;OOM 按分挑人,被误伤的代价远大于一次转换失败。
  3. 三板斧能给"是什么",给不了"为什么卡"。 区分"在等锁"和"在用户态空跑"必须靠 wchan / stack / strace;S 态配高 CPU,不能直接推成自旋锁。
  4. 进程生命周期要靠机制治,别靠祈祷。 local + maxTasksPerProcess 是机制,重启是手段,压测是依据。
  5. 容器底座的 libc 是隐形雷。 Alpine 跑不了 glibc 编译的 LibreOffice,not found 就是它的指纹。
  6. 每个进程都要有自己的 -env:UserInstallation。 默认配置目录是公共资源,谁回落到它,谁就在踩上一任留下的 .lock。
  7. 别把推测写成定论。 这次真正板上钉钉的只有三条:Swap 归零、没有内存泄漏、musl 不兼容。其余"进程污染"“争抢锁”"自旋死锁"都只是推断——写清楚证据到哪一步,比语气笃定更有说服力。
  8. 加固项之间会打架。 健康检查、进程保活、成功率告警要配套,但"local 模式 + systemd 常驻"这种组合只会制造新故障。

附录 A:一键排障命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# ① 进程状态:看 CPU / RSS / TIME,找空转与空壳
ps aux | grep soffice | grep -v grep

# ② 端口活跃:LISTEN 只说明能连上,不说明能干活
netstat -tulnp | grep 8199
ss -tn state established '( sport = :8199 )' # 真实连接与堆积

# ③ 内存映射:RSS 看真实占用,判断有无泄漏
pmap -x $(pgrep -f "soffice.bin") | tail -n 1

# ④ 实时观察:Swap 是否吃满、CPU 与状态是否异常
top -p $(pgrep -f "soffice.bin")

# ⑤ 定性"卡在哪"(三板斧答不出来时必用)
cat /proc/<pid>/wchan
cat /proc/<pid>/stack 2>/dev/null
timeout 5 strace -f -p <pid> -c

# ⑥ 紧急止血:杀烂进程 + 清锁,再查 Swap 元凶
kill -9 <pid1> <pid2>
rm -f /home/appadmin/.config/libreoffice/4/user/.lock
for p in $(ps -eo pid=); do awk '/VmSwap/{print "'$p'", $2}' /proc/$p/status 2>/dev/null; done | sort -k2 -nr | head

# ⑦ 确认端口释放
netstat -tlnp | grep -E "819[7-9]"

附录 B:ps / netstat 字段速查

ps aux 列 3101751 4168552 含义
USER appadmin appadmin 运行用户
PID 3101751 4168552 进程 ID
%CPU 0.0 65.4(生命周期均值) 累计 CPU ÷ 存活时长
%MEM 0.0 0.1 物理内存占比
VSZ 880768(约 860 MB) 831872(约 812 MB) 虚拟地址空间,不占物理内存
RSS 3008(约 3 MB) 44480(约 44 MB) 实际常驻物理内存
START 2025 2025 启动年份(超 24 小时后只显示年份)
TIME 0:00.78 208953:34 累计 CPU 时间,格式 [[DD-]hh:]mm:ss,本例为 mm:ss
STAT Sl Sl S 可中断睡眠 + l 多线程;不是 Z 僵尸
netstat 字段 8191(3101751) 8199(4168552) 含义
Proto tcp tcp TCP 协议
Recv-Q 0 0 接收队列积压(LISTEN 态下为已完成握手待 accept 的连接数)
Send-Q 0 0 发送队列积压
Local Address 127.0.0.1:8191 0.0.0.0:8199 前者仅本机可达,后者对全网开放
State LISTEN LISTEN 监听中,不代表业务可用
PID/Program 3101751/soffice.bin 4168552/soffice.bin 端口与进程的绑定关系

参考

文中现场数据(PID、端口、top/pmap 输出、启动日志)均来自本次事故的原始记录;第六节标注为"稳态参考"的参数区间来自官方文档与压测经验,不是本次实测值,落地前请按 6.1 的方法自行压测。

  • 版权声明: 本博客所有文章除特别声明外,著作权归作者所有。转载请注明出处!
  • Copyrights © 2022-2026 Liangxj
  • 访问人数: | 浏览次数: