更新 PVE 系统调整

03.PVE系统调整.md

@@ -40,7 +40,7 @@ timedatectl set-timezone Asia/Shanghai
 date -R
 
 ## 参考输出
-Wed, 20 Jul 2022 16:21:28 +0800 
+Sun, 25 Jun 2023 12:12:12 +0800
 ```
 
 Debian 系统常用 `systemd-timesyncd.service` 来同步时间，而 PVE 系统使用 `chrony.service` 来同步时间。  
@@ -287,11 +287,13 @@ APT::Periodic::CleanInterval "1";
 
 进一步调整 apt 的 `50unattended-upgrades` 配置文件，其中被修改的参数解释如下。  
 
-- 启用了 Debian bullseye-updates 相关更新。
+- 启用了 Debian `bookworm-updates` 相关更新。
 
-- 增加并启用 PVE 自有仓库的更新，确保不会遗漏自有仓库的更新内容。
+- 增加并启用 PVE 自有仓库的更新。
 
-- 自动修复被打断的Dpkg安装。
+- 增加并启用 PVE Ceph 仓库的更新，请按需启用。
+
+- 自动修复被打断的 Dpkg 安装。
 
 - 自动移除无用的的内核包。
 
@@ -301,7 +303,7 @@ APT::Periodic::CleanInterval "1";
 
 - 自动重启：开启。
 
-- 自动重启时间：05:00。
+- 自动重启时间：05:00 。
 
 因为该配置文件很长，完整的配置文件可查看 [pve_50unattended_upgrades.conf](./src/pve_50unattended_upgrades.conf) 以便对比。  
 
@@ -372,4 +374,136 @@ Jun 25 14:35:06 node01 systemd[1]: Stopping apt-daily-upgrade.timer - Daily apt
 Jun 25 14:35:06 node01 systemd[1]: Started apt-daily-upgrade.timer - Daily apt upgrade and clean activities.
 ```
 
+## 5.硬件直通
+
+### 5.1.修改 Grub
+
+参考官方文档 [qm_pci_passthrough](https://pve.proxmox.com/pve-docs/pve-admin-guide.html#qm_pci_passthrough) 和 [Pci passthrough](https://pve.proxmox.com/wiki/Pci_passthrough) 开启 PVE 硬件直通功能。  
+
+使用 SSH 工具登录到 PVE 服务器，编辑系统 `Grub` 的配置文件 `/etc/default/grub` 。  
+
+```bash
+## 编辑 Grub 配置文件
+nano /etc/default/grub
+```
+
+在 `nano` 编辑器对话框中修改 `GRUB_CMDLINE_LINUX_DEFAULT` 参数，注意命令中间的空格。  
+
+```bash
+## Intel 处理器添加参数
+GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
+```
+
+根据官方文档的说明，AMD 处理器下硬件直通功能将会自动打开，否则需要手动修改 `Grub` 配置文件。  
+
+```bash
+## AMD 处理器添加参数
+GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"
+```
+
+修改并保存后，需要更新系统 `Grub` 。  
+
+```bash
+## 更新系统 Grub
+update-grub
+```
+
+### 5.2.添加内核模块
+
+修改系统 `/etc/modules` 配置文件，增加必要的系统模块。  
+
+```bash
+## 编辑系统配置文件
+nano /etc/modules
+```
+
+在配置文件末尾输入以下内容。  
+
+```txt
+vfio
+vfio_iommu_type1
+vfio_pci
+vfio_virqfd
+```
+
+将配置文件保存，并重启 PVE 服务器。  
+
+### 5.3.检查硬件直通
+
+PVE 服务器重启完成后，再次使用 SSH 工具登录，并使用以下命令检查硬件直通状态。  
+
+```bash
+## 检查系统硬件直通状态
+dmesg | grep -e DMAR -e IOMMU -e AMD-Vi
+```
+
+检查 `IOMMU` 、 `Directed I/O` 或 `Interrupt Remapping` 的启用状态。  
+
+N5105 处理器示例输出如下：
+
+```txt
+[    0.016437] ACPI: DMAR 0x00000000787BF000 000088 (v02 INTEL  EDK2     00000002      01000013)
+[    0.016472] ACPI: Reserving DMAR table memory at [mem 0x787bf000-0x787bf087]
+[    0.052437] DMAR: IOMMU enabled
+[    0.144431] DMAR: Host address width 39
+[    0.144432] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
+[    0.144439] DMAR: dmar0: reg_base_addr fed90000 ver 4:0 cap 1c0000c40660462 ecap 49e2ff0505e
+[    0.144441] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
+[    0.144446] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da
+[    0.144449] DMAR: RMRR base: 0x0000007b800000 end: 0x0000007fbfffff
+[    0.144452] DMAR-IR: IOAPIC id 2 under DRHD base  0xfed91000 IOMMU 1
+[    0.144453] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
+[    0.144454] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
+[    0.146335] DMAR-IR: Enabled IRQ remapping in x2apic mode
+[    0.333509] pci 0000:00:02.0: DMAR: Skip IOMMU disabling for graphics
+[    0.410824] DMAR: No ATSR found
+[    0.410824] DMAR: No SATC found
+[    0.410826] DMAR: IOMMU feature fl1gp_support inconsistent
+[    0.410827] DMAR: IOMMU feature pgsel_inv inconsistent
+[    0.410829] DMAR: IOMMU feature nwfs inconsistent
+[    0.410829] DMAR: IOMMU feature pds inconsistent
+[    0.410830] DMAR: IOMMU feature eafs inconsistent
+[    0.410831] DMAR: IOMMU feature prs inconsistent
+[    0.410831] DMAR: IOMMU feature nest inconsistent
+[    0.410832] DMAR: IOMMU feature mts inconsistent
+[    0.410832] DMAR: IOMMU feature sc_support inconsistent
+[    0.410833] DMAR: IOMMU feature dev_iotlb_support inconsistent
+[    0.410835] DMAR: dmar0: Using Queued invalidation
+[    0.410838] DMAR: dmar1: Using Queued invalidation
+[    0.412755] DMAR: Intel(R) Virtualization Technology for Directed I/O
+```
+
+检查系统 `IOMMU` 分组。  
+
+```bash
+## 检查 IOMMU group
+find /sys/kernel/iommu_groups/ -type l
+```
+
+示例输出如下。  
+
+```txt
+/sys/kernel/iommu_groups/7/devices/0000:00:1c.4
+/sys/kernel/iommu_groups/15/devices/0000:04:00.0
+/sys/kernel/iommu_groups/5/devices/0000:00:17.0
+/sys/kernel/iommu_groups/13/devices/0000:02:00.0
+/sys/kernel/iommu_groups/3/devices/0000:00:14.2
+/sys/kernel/iommu_groups/3/devices/0000:00:14.0
+/sys/kernel/iommu_groups/11/devices/0000:00:1f.0
+/sys/kernel/iommu_groups/11/devices/0000:00:1f.5
+/sys/kernel/iommu_groups/11/devices/0000:00:1f.3
+/sys/kernel/iommu_groups/11/devices/0000:00:1f.4
+/sys/kernel/iommu_groups/1/devices/0000:00:02.0
+/sys/kernel/iommu_groups/8/devices/0000:00:1c.5
+/sys/kernel/iommu_groups/16/devices/0000:05:00.0
+/sys/kernel/iommu_groups/6/devices/0000:00:1c.0
+/sys/kernel/iommu_groups/14/devices/0000:03:00.0
+/sys/kernel/iommu_groups/4/devices/0000:00:16.0
+/sys/kernel/iommu_groups/12/devices/0000:01:00.0
+/sys/kernel/iommu_groups/2/devices/0000:00:04.0
+/sys/kernel/iommu_groups/10/devices/0000:00:1c.7
+/sys/kernel/iommu_groups/0/devices/0000:00:00.0
+/sys/kernel/iommu_groups/9/devices/0000:00:1c.6
+```
+
 至此 PVE 的系统调整已经完成。