Linux | 空垠尘

Linux 維運實戰排錯與疑難雜症手冊

Dukang Xu — Fri, 25 Sep 2026 16:00:00 +0800

引言：維運排錯的系統性心智模型

在 Linux 與 macOS 的日常維運中，我們總會遇到一些讓人措手不及的「靈異現象」：

磁碟明明顯示還有幾十 GB 空間，寫入檔案卻提示 No space left on device；
服務連接埠被佔用，卻查不到任何監聽行程；
容器或後端服務莫名其妙被系統靜默殺死，沒有任何業務日誌；
高併發場景下突然爆發大量 Too many open files 導致雪崩。

排錯不僅是敲幾條指令，更是順藤摸瓜的系統性推導過程。本文匯集一線維運中最高頻的 6 類疑難雜症，給出可直接落地的排查邏輯與根治方案。

flowchart TD
    Issue["系統異常與服務警報"] --> A["1. 檔案句柄耗盡
(Too Many Open Files)"]
    Issue --> B["2. 磁碟爆滿/假滿
(Inode 耗盡 / 句柄未釋放)"]
    Issue --> C["3. 連接埠衝突與殭屍行程
(Address in use / Zombie)"]
    Issue --> D["4. 記憶體溢出被殺
(Kernel OOM Killer)"]
    Issue --> E["5. 時鐘偏差與鑑權失效
(Clock Skew / NTP 同步)"]
    Issue --> F["6. macOS 環境網路阻塞
(Homebrew 源與網路排查)"]

一、徹底解決 `Too Many Open Files`（檔案句柄耗盡）

在 Linux 與 macOS 哲學中，「一切皆檔案」。當併發連線數或開啟的檔案數超過系統預設限制時，就會拋出 Too many open files 錯誤。

1. Linux 生產環境徹底調優

① 修改系統級限制 (`/etc/security/limits.conf`)

1* soft nofile 655350
2* hard nofile 655350
3root soft nofile 655350
4root hard nofile 655350

② 修改 systemd 全域服務限制 (`/etc/systemd/system.conf`)

1[Manager]
2DefaultLimitNOFILE=655350
3DefaultLimitNPROC=655350

③ 查看當前行程佔用的句柄數

1ls /proc//fd | wc -l

2. macOS 開發者環境調優

1# 查看當前限制
2launchctl limit maxfiles
3
4# 臨時增加限制 (當前終端機有效)
5sudo launchctl limit maxfiles 65536 200000
6ulimit -n 65536

二、磁碟「假滿」與 Inode 耗盡 (`No space left on device`)

sequenceDiagram
    autonumber
    participant App as 應用程式 (如 Nginx / Java)
    participant Disk as 磁碟檔案 (/var/log/app.log)
    participant Admin as 維運工程師

    App->>Disk: 持續寫入大量日誌 (持有檔案句柄)
    Admin->>Disk: rm /var/log/app.log (刪除了檔名)
    Note over Disk: 空間無法釋放！因為 App 仍持有該句柄
    Admin->>App: 尋找未釋放句柄 (lsof | grep deleted) 並平滑重載
    Note over Disk: 磁碟空間瞬間恢復！

場景 A：檔案已被 `rm` 刪除，但行程仍持有句柄未釋放

1# 1. 尋找所有已被刪除但仍被行程佔用的檔案
2sudo lsof | grep -i deleted
3
4# 2. 優雅釋放空間（清空該行程對應的檔案描述符）：
5sudo truncate -s 0 /proc//fd/
6# 或平滑重載服務：sudo systemctl reload nginx

場景 B：磁碟空間充足，但 Inode（索引節點）耗盡

1# 1. 檢查 Inode 佔用率
2df -i
3
4# 2. 逐級統計哪個目錄下的小檔案最多
5find /var/spool/ -type d -exec sh -c "echo -n '{}: '; ls -1 '{}' | wc -l" \; | sort -n -k 2

三、連接埠佔用衝突與殭屍行程清理

1. 連接埠佔用排查與一秒殺死

1# 1. 精準定位佔用 8080 連接埠的行程與 PID
2sudo lsof -i :8080
3# 或
4sudo ss -tulnp | grep :8080
5
6# 2. 強力一鍵釋放連接埠（自動殺死佔用者）
7sudo fuser -k 8080/tcp

2. 殭屍行程（Zombie Process）定位與清理

1# 1. 查看系統中的所有殭屍行程 (狀態為 Z)
2ps aux | grep 'Z'
3
4# 2. 尋找殭屍行程的父行程 PID (PPID)
5ps -o ppid= -p 
6
7# 3. 優雅重啟或終止父行程，讓 init/systemd 回收殭屍
8sudo kill -HUP

四、行程靜默被殺：Linux 核心 OOM Killer 排查

1# 1. 檢查核心是否有 OOM 擊殺紀錄
2sudo dmesg -T | grep -i -E "oom|out of memory|killed process"

根治策略：

新增 Swap 交換分區：

1sudo fallocate -l 2G /swapfile
2sudo chmod 600 /swapfile
3sudo mkswap /swapfile
4sudo swapon /swapfile
5echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

在 Docker / Kubernetes 中設定合理的記憶體 Limit。

五、系統時鐘不同步導致 TLS/SSL 憑證與鑑權失效

1# 1. 檢查當前系統時間與 NTP 同步狀態
2timedatectl status
3
4# 2. 設定時區並開啟 NTP 自動同步
5sudo timedatectl set-timezone Asia/Taipei
6sudo timedatectl set-ntp true

六、 macOS 開發環境 Homebrew 映像加速與復原

 1# 1. 切換為開源映像源
 2export HOMEBREW_API_DOMAIN="https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles/api"
 3export HOMEBREW_BOTTLE_DOMAIN="https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles"
 4export HOMEBREW_BREW_GIT_REMOTE="https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.git"
 5export HOMEBREW_CORE_GIT_REMOTE="https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/homebrew-core.git"
 6
 7# 2. 恢復為官方預設源
 8unset HOMEBREW_API_DOMAIN
 9unset HOMEBREW_BOTTLE_DOMAIN
10export HOMEBREW_BREW_GIT_REMOTE="https://github.com/Homebrew/brew"
11export HOMEBREW_CORE_GIT_REMOTE="https://github.com/Homebrew/homebrew-core"
12brew update

Linux 與 DevOps 常用高頻指令速查

Dukang Xu — Thu, 17 Sep 2026 10:00:00 +0800

引言：為什麼我們需要一份現代化的指令速查手冊？

Linux 命令列浩如煙海，許多開發者在日常維運和排查故障時，往往習慣機械性地複製貼上，遇到複雜場景（如金鑰管理、跳板機穿透、容器無 Shell 除錯、定時任務靜默失效）時容易陷入困境。

本文以 「真實生產與開發場景」 為導向，將分散的指令歸納為 5 大高頻實戰模組，助你建立清晰的命令列心智模型。

graph TD
    Root["現代 DevOps 指令體系"]
    
    Root --> A["1. SSH 遠端與金鑰矩陣"]
    A --> A1["Ed25519 現代高強金鑰"]
    A --> A2["~/.ssh/config 多主機與跳板機"]
    A --> A3["本地與動態連接埠轉發"]
    
    Root --> B["2. 定時任務與行程守護"]
    B --> B1["Crontab 語法與環境變數避坑"]
    B --> B2["Supervisord 行程崩潰自啟"]
    
    Root --> C["3. 檔案與系統管理"]
    C --> C1["ln 軟硬連結管理與安全刪除"]
    C --> C2["date 時區與時間戳記轉換"]
    C --> C3["磁碟與記憶體分析 (df / du / free)"]
    
    Root --> D["4. 網路排查與命名空間"]
    D --> D1["lsof 與 ss 連接埠連線定位"]
    D --> D2["nsenter 穿透容器命名空間"]
    
    Root --> E["5. 現代 CLI 生產力工具"]
    E --> E1["ripgrep 極速文字檢索"]
    E --> E2["fzf 命令列互動模糊檢索"]
    E --> E3["jq JSON 資料切片與提取"]

一、 SSH 遠端連線與金鑰矩陣

1. 產生現代安全的 SSH 金鑰對（首選 Ed25519）

優先使用效能更好、安全性更高的 Ed25519 橢圓曲線演算法：

1# 產生 ed25519 金鑰對
2ssh-keygen -t ed25519 -C "your_email@example.com" -f ~/.ssh/id_ed25519
3
4# 一鍵分發公鑰到遠端伺服器（免密碼登入）
5ssh-copy-id -i ~/.ssh/id_ed25519.pub user@192.168.1.100

2. 優雅管理多主機：配置 `~/.ssh/config`

在 ~/.ssh/config 中配置別名，免去手動輸入 IP 與連接埠：

 1# 個人雲端伺服器
 2Host cloud
 3    HostName 1.2.3.4
 4    User root
 5    Port 2222
 6    IdentityFile ~/.ssh/id_ed25519
 7
 8# 內網樹莓派 / HomeLab
 9Host rpi
10    HostName 192.168.1.100
11    User pi
12    IdentityFile ~/.ssh/id_ed25519
13
14# 經由跳板機存取內網機器 (ProxyJump)
15Host internal-db
16    HostName 10.0.0.5
17    User dbadmin
18    ProxyJump cloud

配置後，只需輸入 ssh cloud 或 ssh internal-db 即可直接一鍵直連！

3. SSH 連接埠轉發

1# 本地連接埠轉發 (-L)：將遠端伺服器的 3306 資料庫對應到本地 13306
2ssh -N -L 13306:127.0.0.1:3306 user@remote-server
3
4# 動態 SOCKS5 代理 (-D)：把遠端機器變成輕量 SOCKS5 代理通道
5ssh -N -D 10808 user@remote-server

二、定時任務與守護行程管理

1. Crontab 語法與關鍵避坑指南

Crontab 的標準時間格式為 5 段：分時日月週。

⚠️ Crontab 常見三大致命陷阱：
環境變數缺失：Crontab 預設的 PATH 非常簡略，務必使用絕對路徑（如 /usr/local/bin/python3），或在腳本開頭明確宣告 export PATH=$PATH:/usr/local/bin；

工作目錄問題：Cron 執行時預設在使用者家目錄，腳本內請先 cd /path/to/workdir；
日誌輸出靜默遺失：務必重新導向標準輸出與錯誤輸出：
10 3 * * * /usr/bin/bash /opt/backup.sh >> /var/log/backup.log 2>&1

2. 使用 Supervisord 進行行程保活

1; /etc/supervisor/conf.d/my-app.conf
2[program:my-app]
3directory=/opt/my-app
4command=/usr/bin/python3 app.py
5autostart=true
6autorestart=true
7stderr_logfile=/var/log/my-app.err.log
8stdout_logfile=/var/log/my-app.out.log
9user=www-data

1sudo supervisorctl reread     # 讀取新增配置
2sudo supervisorctl update     # 更新並啟動新程式
3sudo supervisorctl status     # 查看所有行程狀態

三、檔案連結與系統時間操作

1. `ln` 軟連結與硬連結實戰

1# 建立軟連結（符號連結）：ln -s <真實源檔案/目錄> <軟連結名稱>
2ln -s /mnt/data/music ~/Music
3
4# 刪除目錄軟連結時，嚴禁加結尾斜線！
5rm ~/Music      # 正確：只刪除軟連結本身
6rm -rf ~/Music/ # 危險：可能會清空源目錄下的真實內容！

2. `date` 時間格式化與時間戳記轉換

1# 格式化輸出當前標準時間
2date +"%Y-%m-%d %H:%M:%S"
3
4# 將 Unix 時間戳記轉換為人類可讀時間
5date -d @1727258400 +"%Y-%m-%d %H:%M:%S"  # (Linux)
6date -r 1727258400 +"%Y-%m-%d %H:%M:%S"  # (macOS)

四、容器與系統命名空間穿透 (`nsenter`)

在 Docker 維運中，許多精簡映像（如 Alpine 精簡版、Distroless）沒有內建 curl、bash 或 netstat。我們可以利用 nsenter 直接穿透進入容器命名空間：

 1# 1. 獲取容器在宿主機上的真實 PID
 2PID=$(docker inspect --format '{{ .State.Pid }}' )
 3
 4# 2. 僅穿透進入容器的網路命名空間 (Network Namespace)
 5# 在宿主機上直接使用宿主機的工具測試容器網路！
 6sudo nsenter -t $PID -n ss -tulnp
 7sudo nsenter -t $PID -n tcpdump -i eth0 port 80
 8
 9# 3. 完整穿透進入容器全部命名空間
10sudo nsenter -t $PID -m -u -i -n -p

五、現代 CLI 生產力與效率工具集

場景	傳統指令	現代替代品	核心優勢
代碼/文字搜尋	`grep -r`	`rg` (ripgrep)	基於 Rust，極速多執行緒，自動忽略 `.gitignore`
互動式模糊搜尋	純指令翻頁	`fzf`	模糊檢索歷史指令、檔名、Git 提交
JSON 資料處理	手工解析	`jq`	命令列過濾、高亮與提取 JSON 欄位
磁碟空間排查	`du -sh *`	`ncdu` / `dust`	互動式目錄佔用分析與視覺化排序
系統資源監控	`top`	`btop` / `htop`	現代儀表板，CPU/記憶體/網路一覽無餘

1# 常用效率一行流：
2rg "DATABASE_URL" /opt/projects/
3history | fzf
4sudo lsof -i :8080

樹莓派 HomeLab 搭建與調優實戰

Dukang Xu — Sun, 13 Sep 2026 10:00:00 +0800

引言：為什麼樹莓派是絕佳的家庭微型伺服器？

樹莓派（Raspberry Pi）以其極低的功耗（待機僅 2~5W）、完全靜音的運行體驗以及豐富的 GPIO 擴充介面，成為了無數開發者與極客玩家構建 7×24 小時不間斷運行的 HomeLab（家庭實驗室/微型伺服器） 的首選設備。

然而，在實際從零折騰樹莓派的過程中，許多新手往往會踩不少坑：

缺少外接螢幕與鍵盤，不知道如何進行無頭啟動（Headless Boot）；
軟體下載極慢，映像源配置繁瑣；
外接行動硬碟或 SSD 重啟後盤符變動或權限遺失；
散熱不佳導致 CPU 高溫降頻，或者風扇常開噪音擾民。

本文將基於長期的維運與折騰實踐，從 系統初始化、儲存擴充、硬體溫控 到 Docker 基礎環境，為你提供一份條理清晰、開箱即用的全套實戰指南。

flowchart TD
    A["1. 無頭燒錄與系統安裝
(SSH & Wi-Fi 免螢幕配置)"] --> B["2. 系統源與基礎環境優化
(APT 映像加速 / 靜態 IP)"]
    B --> C["3. 儲存擴容與硬碟掛載
(UUID / fstab / 權限定義)"]
    C --> D["4. 硬體散熱與 GPIO 溫控
(PWM 調速 / 壽命保護)"]
    D --> E["5. 部署 Docker & HomeLab 服務
(Compose / 容器矩陣)"]

一、系統燒錄與無頭初始化（無需螢幕與鍵盤）

1. 燒錄官方系統 (Raspberry Pi OS / Ubuntu Server)

推薦使用官方的 Raspberry Pi Imager 燒錄工具：

作業系統選擇：推薦 64 位無桌面版 Raspberry Pi OS Lite (64-bit) 或 Ubuntu Server 64-bit，資源佔用極小，記憶體佔用僅 100MB 左右；
進階預設配置（關鍵技巧）：在燒錄器中點擊右下角齒輪或按下 Ctrl + Shift + X（Mac: Cmd + Shift + X）喚出進階設定：
- 勾選 Set hostname（例如 rpi-server）；
- 勾選 Enable SSH，並設定帳號密碼或注入你的 SSH 公鑰；
- 勾選 Configure wireless LAN（填寫家中 Wi-Fi 名稱與密碼）；
- 設定時區為 Asia/Taipei 或 Asia/Shanghai。
點擊燒錄到 TF 卡或 USB 固態硬碟中。

2. 首次啟動與 SSH 遠端連接

燒錄完成後，將卡插入樹莓派並接通電源。等待 1~2 分鐘系統初始化，在電腦終端直接透過主機名稱或區域網路 IP 連接：

1# 透過 mDNS 主機名稱直接連接
2ssh your_username@rpi-server.local
3
4# 或查詢路由器後台獲取分配的 IP 連接
5ssh your_username@192.168.1.100

二、系統源替換與基礎網路調優

由於預設官方軟體源位於海外，下載軟體包可能較慢。首次登入後建議更換為就近高速映像源（以 Debian 12 Bookworm 為例）：

1. 備份並替換 APT 軟體源

 1# 備份原源檔案
 2sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
 3sudo cp /etc/apt/sources.list.d/raspi.list /etc/apt/sources.list.d/raspi.list.bak
 4
 5# 替換系統主源為開源映像源
 6sudo sed -i 's|http://deb.debian.org/debian|https://mirrors.tuna.tsinghua.edu.cn/debian|g' /etc/apt/sources.list
 7sudo sed -i 's|http://security.debian.org/debian-security|https://mirrors.tuna.tsinghua.edu.cn/debian-security|g' /etc/apt/sources.list
 8
 9# 替換樹莓派特有硬體驅動源
10sudo sed -i 's|http://archive.raspberrypi.org/debian|https://mirrors.tuna.tsinghua.edu.cn/raspberrypi|g' /etc/apt/sources.list.d/raspi.list
11
12# 更新快取並升級基礎軟體
13sudo apt update && sudo apt upgrade -y

2. 安裝常用基礎維運工具

1sudo apt install -y curl wget git vim htop zsh tmux net-tools ufw

三、外接行動硬碟 / SSD 自動掛載與持久化

TF 卡的讀寫壽命和隨機 I/O 效能有限，跑資料庫和下載服務極易損壞。建議將外接行動硬碟或行動固態硬碟（SSD）掛載為資料儲存盤。

sequenceDiagram
    autonumber
    participant USB as 外接硬碟 / SSD
    participant System as 樹莓派系統核心
    participant Fstab as /etc/fstab 設定檔
    participant Mount as 掛載點 (/mnt/data)

    System->>USB: 讀取設備唯一識別碼 (UUID)
    Fstab->>System: 開機解析掛載規則 (nofail, UUID, ext4)
    System->>Mount: 自動掛載至指定目錄並賦予權限

1. 查看硬碟設備與獲取唯一 UUID

插入 USB 硬碟後，在終端機執行：

1# 查看所有儲存塊設備
2lsblk -f

輸出範例：

1NAME        FSTYPE FSVER LABEL  UUID                                 MOUNTPOINT
2sda
3└─sda1      ext4   1.0   DATA   e58f2371-d41a-4d7a-8b8a-927164b18210

⚠️ 注意：絕對不要使用 /dev/sda1 來掛載！如果下次重啟插了其它隨身碟，盤符可能會變成 /dev/sdb1 導致啟動卡死。必須使用 UUID。

2. 建立掛載點與配置 `/etc/fstab`

1# 1. 建立掛載目標目錄
2sudo mkdir -p /mnt/data
3
4# 2. 編輯 fstab 自動掛載配置
5sudo vim /etc/fstab

在檔案末尾追加一行（以 ext4 格式為例）：

1#                                                
2UUID=e58f2371-d41a-4d7a-8b8a-927164b18210     /mnt/data       ext4    defaults,nofail,noatime 0       2

💡 參數解析：

defaults：使用預設讀寫權限；

nofail：關鍵配置！即使硬碟未插上或識別失敗，系統也不會卡死在開機自檢流程；

noatime：關閉每次讀取檔案更新存取時間戳記，減少寫入操作，延長磁碟與快閃記憶體壽命。

3. 測試掛載與權限設定

1# 測試配置是否正確（不報錯即為配置無誤）
2sudo mount -a
3
4# 將掛載目錄的歸屬權分配給當前一般使用者
5sudo chown -R $USER:$USER /mnt/data

四、硬體散熱與 GPIO 智慧溫控風扇

樹莓派 4B / 5 在高負載下發熱量較大。如果風扇一直全速運轉，不僅噪音刺耳，還會加速風扇軸承磨損。我們可以使用一段輕量級 Python 腳本配合 GPIO 實現智慧溫控調速。

1. 硬體接線示意

風扇正極（紅線） $\rightarrow$ 接 GPIO 5V（Pin 4）或 3.3V（Pin 1）
風扇負極（黑線） $\rightarrow$ 透過三極管（如 NPN S8050）連接 GPIO GND（Pin 6）
三極管控制基極 $\rightarrow$ 接 GPIO 14（Pin 8，TXD）

2. 智慧溫控守護腳本 (`temp_control.py`)

建立腳本檔案 /usr/local/bin/temp_control.py：

 1#!/usr/bin/env python3
 2# -*- coding: utf-8 -*-
 3import time
 4import os
 5import RPi.GPIO as GPIO
 6
 7# 配置參數
 8FAN_PIN = 14          # 控制引腳 BCM 14
 9TEMP_HIGH = 55.0      # 超過 55 度開啟風扇
10TEMP_LOW = 45.0       # 低於 45 度關閉風扇
11
12GPIO.setwarnings(False)
13GPIO.setmode(GPIO.BCM)
14GPIO.setup(FAN_PIN, GPIO.OUT, initial=GPIO.LOW)
15
16def get_cpu_temp():
17    """讀取 CPU 當前核心溫度"""
18    with open("/sys/class/thermal/thermal_zone0/temp", "r") as f:
19        temp = float(f.read()) / 1000.0
20    return temp
21
22try:
23    fan_state = False
24    while True:
25        temp = get_cpu_temp()
26        if temp >= TEMP_HIGH and not fan_state:
27            GPIO.output(FAN_PIN, GPIO.HIGH)
28            fan_state = True
29        elif temp <= TEMP_LOW and fan_state:
30            GPIO.output(FAN_PIN, GPIO.LOW)
31            fan_state = False
32        time.sleep(5)
33except KeyboardInterrupt:
34    GPIO.cleanup()

3. 註冊為 systemd 開機自啟服務

建立守護行程設定檔 /etc/systemd/system/fan-control.service：

 1[Unit]
 2Description=Raspberry Pi Smart Fan Temperature Control
 3After=multi-user.target
 4
 5[Service]
 6Type=simple
 7ExecStart=/usr/bin/python3 /usr/local/bin/temp_control.py
 8Restart=always
 9RestartSec=10
10
11[Install]
12WantedBy=multi-user.target

1# 啟用並啟動溫控服務
2sudo systemctl daemon-reload
3sudo systemctl enable --now fan-control.service

五、安裝 Docker 與現代 HomeLab 運行環境

有了穩定的儲存與散熱，最後一步是安裝 Docker 容器矩陣，讓樹莓派能輕鬆部署無數現代化開源服務：

 1# 1. 官方腳本一鍵安裝 Docker
 2curl -fsSL https://get.docker.com | bash
 3
 4# 2. 將當前使用者加入 docker 群組（免 sudo 執行 docker）
 5sudo usermod -aG docker $USER
 6
 7# 3. 安裝 Docker Compose 外掛
 8sudo apt install -y docker-compose-plugin
 9
10# 4. 配置 Docker 日誌上限輪轉（防止把磁碟撐爆）
11sudo mkdir -p /etc/docker
12sudo tee /etc/docker/daemon.json <<-'EOF'
13{
14  "log-driver": "json-file",
15  "log-opts": {
16    "max-size": "20m",
17    "max-file": "3"
18  }
19}
20EOF
21
22sudo systemctl restart docker

總結

透過以上 5 步，你的樹莓派已經成為了一台功耗極低、散熱安靜、儲存充裕、開箱即用的現代化家庭伺服器。

Linux | 空垠尘

Linux 維運實戰排錯與疑難雜症手冊

引言：維運排錯的系統性心智模型

一、 徹底解決 Too Many Open Files（檔案句柄耗盡）

1. Linux 生產環境徹底調優

① 修改系統級限制 (/etc/security/limits.conf)

② 修改 systemd 全域服務限制 (/etc/systemd/system.conf)