二十年 Linux 技术服务专家 400-9696-513 7×24 小时技术支持

常见故障

来自一线运维现场的典型 Linux 故障案例,故障现象、根因分析与处置方案,供您参考自查。

严重 系统启动

服务器宕机后无法正常启动

故障现象

服务器意外宕机后重启卡在 GRUB 界面、emergency mode 或 dracut 提示,无法进入系统。

查看原因与解决方案
故障原因

常见诱因包括:异常断电导致文件系统损坏、/etc/fstab 配置了不存在的设备或错误的 UUID、内核升级后 initramfs 未同步更新、引导分区损坏。

解决方案

1) 在 GRUB 界面编辑内核参数,将 ro 改为 rw init=/bin/bash 进入单用户模式;2) 对根分区执行 fsck -y /dev/xxx 修复文件系统;3) 注释掉 fstab 中有问题的挂载项;4) 若为 initramfs 问题,在救援环境执行 dracut -f 重新生成;5) 检查 /boot 空间与 grub.cfg 是否正确。

适用平台:RHEL/CentOS/Rocky/AlmaLinux 查阅 1 次
严重 磁盘与存储

根分区写满导致服务异常或宕机

故障现象

df -h 显示根分区使用率 100%,应用报 "No space left on device",数据库停止写入,SSH 登录缓慢。

查看原因与解决方案
故障原因

日志文件无限增长(如 access.log、core dump)、/var/log/journal 过大、临时文件未清理、删除的大文件仍被进程占用未释放空间。

解决方案

1) du -x --max-depth=1 / 定位大目录;2) journalctl --vacuum-size=500M 清理系统日志;3) 对已被删除但仍被进程占用的文件执行 lsof +L1 找到进程并重启释放;4) 配置 logrotate 与磁盘告警(Zabbix/Prometheus)防止复发。

适用平台:全平台 Linux 查阅 0 次
较重 性能与资源

CPU 使用率持续 100%

故障现象

top/htop 显示某进程或系统整体 CPU 长期打满,业务响应变慢,负载负载值(load average)持续高于 CPU 核数。

查看原因与解决方案
故障原因

应用程序死循环或线程打满、定时任务异常执行、挖矿木马等恶意进程、中断或软中断过高(如网络流量突增)、I/O 等待被计入等。

解决方案

1) top -H 定位到线程后 jstack/pidstat 分析热点;2) ps aux --sort=-%cpu 找出可疑进程并排查来源;3) sar -q 观察历史负载曲线定位起始时间点;4) 结合 crontab 与 systemd timer 检查计划任务;5) 如为恶意进程,断网隔离并做安全排查。

适用平台:全平台 Linux 查阅 0 次
较重 性能与资源

内存耗尽触发 OOM Killer

故障现象

dmesg 出现 "Out of memory: Killed process" 记录,业务进程被随机杀死,free -m 显示可用内存极低,Swap 被大量使用。

查看原因与解决方案
故障原因

应用内存泄漏、单实例内存配置过大、容器/Java 堆内存设置超出物理内存、大量缓存未释放。

解决方案

1) dmesg -T | grep -i "killed process" 确认被杀进程;2) 调整应用内存参数(如 JVM -Xmx 与容器 limit 匹配);3) 排查内存泄漏(pmap/valgrind/ MAT 分析);4) 必要时增加物理内存或优化应用;5) 可调整 vm.oom_score_adj 保护关键进程。

适用平台:全平台 Linux 查阅 0 次
较重 网络与连接

SSH 连接超时或被拒绝

故障现象

ssh 连接卡在 "Connecting to..." 后超时,或返回 "Connection refused"/"Permission denied",无法远程管理服务器。

查看原因与解决方案
故障原因

sshd 服务未启动或崩溃、防火墙/安全组未放行 22 端口、fail2ban 封禁了客户端 IP、/etc/ssh/sshd_config 配置错误、MaxStartups 超限、root 登录被禁止。

解决方案

1) 通过控制台/VNC 登录执行 systemctl status sshd 确认服务状态;2) firewall-cmd --list-ports / iptables -L -n 检查防火墙规则;3) fail2ban-client status sshd 查看封禁 IP,必要时 unbanip;4) sshd -t 校验配置语法后 reload;5) 生产环境建议改用密钥登录并修改默认端口。

适用平台:全平台 Linux 查阅 0 次
严重 数据库

MySQL/MariaDB 服务无法启动

故障现象

systemctl start mysqld 失败,错误日志出现 "InnoDB: Unable to lock ./ibdata1" 或 "Tablespace is missing",业务数据读写中断。

查看原因与解决方案
故障原因

异常断电导致 InnoDB 表空间损坏、数据目录权限错误、磁盘满、my.cnf 参数配置不当(如 innodb_buffer_pool_size 超过物理内存)、残留的崩溃恢复锁文件。

解决方案

1) tail -n 100 /var/log/mysqld.log 定位具体错误;2) 确认磁盘空间与 /var/lib/mysql 属主(mysql:mysql);3) 表空间损坏时先备份 datadir,再以 innodb_force_recovery=1~6 尝试启动并导出数据;4) 恢复后检查并修正 my.cnf;5) 建立主从/定期备份策略。

适用平台:RHEL/CentOS/MySQL 5.7/8.0 查阅 0 次
较重 Web 服务

Nginx 返回 502 Bad Gateway

故障现象

网站访问返回 502,错误日志显示 "connect() failed (111: Connection refused) while connecting to upstream",静态页面正常。

查看原因与解决方案
故障原因

PHP-FPM 或后端应用服务未运行、FPM 进程数达到上限(pm.max_children)、socket 权限或路径错误、后端响应超时、SELinux 阻止网络连接。

解决方案

1) systemctl status php-fpm 确认后端进程;2) 查看 FPM 慢日志与 error.log 中 upstream 报错;3) 适当调大 pm.max_children 与 request_timeout;4) 检查 fastcgi_pass 的 socket 路径与属主;5) getenforce 为 Enforcing 时检查 setsebool httpd_can_network_connect。

适用平台:Nginx + PHP-FPM/后端服务 查阅 0 次
较重 磁盘与存储

磁盘 IO 等待过高业务卡顿

故障现象

iostat -x 显示 %util 接近 100%、await 高达数百毫秒,应用查询变慢,数据库同步延迟增大。

查看原因与解决方案
故障原因

磁盘硬件老化或 RAID 降级、单盘承载高并发读写、Swap 频繁换入换出、日志/临时文件高频写入、云盘 IOPS 达到上限。

解决方案

1) iotop 定位读写进程;2) 检查 RAID 状态(MegaCLI/storcli)与磁盘 SMART 健康度;3) 将高频读写分离到独立磁盘或 SSD;4) 数据库层面优化慢查询与索引;5) 云环境升级云盘类型/扩容 IOPS。

适用平台:全平台 Linux 查阅 0 次
一般 系统配置

系统时间不同步引发证书与令牌失效

故障现象

timedatectl 显示 "System clock synchronized: no",HTTPS 证书报 NSS_BAD_CERT、K8s/SSO 令牌鉴权失败、日志时间错乱。

查看原因与解决方案
故障原因

chronyd/ntpd 服务未启用、NTP 服务器不可达、虚拟机母钟漂移、容器内未同步母机时间。

解决方案

1) systemctl enable --now chronyd;2) chronyc sources 检查同步源,必要时更换为可用 NTP 服务器;3) timedatectl set-ntp true 并验证;4) 容器环境挂载 /etc/localtime 或使用宿主时钟;5) 对时后重启依赖时间校验的服务。

适用平台:全平台 Linux(chrony/ntpd) 查阅 0 次
一般 系统配置

YUM/DNF 软件源报错无法安装软件

故障现象

yum/dnf install 报 "Cannot find a valid baseurl for repo" 或 GPG key 校验失败,无法安装或更新软件包。

查看原因与解决方案
故障原因

源地址失效或网络不可达、订阅过期(RHEL)、mirrorlist 解析失败、证书时间错误、本地源配置错误、CentOS 停服后官方源下线。

解决方案

1) curl 测试源地址连通性,必要时切换 mirror;2) RHEL 检查 subscription-manager 订阅状态;3) CentOS 7/8 停服场景迁移至 Rocky/AlmaLinux 或 vault 源;4) 校正系统时间后重试;5) 使用阿里云/华为云镜像源并固定 baseurl。

适用平台:RHEL/CentOS/Rocky/openEuler 查阅 0 次
遇到同类问题?立即咨询
电话 留言
首页 服务 咨询 留言