Revision of 服务器迁移重构计划

anduin revised this gist 1739006621. Go to revision

No changes

anduin revised this gist 1739006240. Go to revision

1 file changed, 2 insertions, 2 deletions

README.md

			@@ -28,11 +28,11 @@
28	28
29	29		* 尽可能节省电力。待机功耗不得超过 150W。
30	30		* 必须要有万兆网络支持。
31		-	* 操作系统必须安装在傲腾中。
	31	+	* 操作系统必须安装在高速固态上。
32	32		* 单核性能必须很强以满足单核的游戏、虚拟化、编译、数据库、容器等工作。
33	33		* 必须能过运行 DeepSeek R1 32B 模型。至少每秒 30 个Token。
34	34		* 至少有4个3.5寸盘位，容纳 64TB 的机械容量。
35		-	* 至少有6TB的固态，以缓存机械阵列。
	35	+	* 至少有6TB的高速固态来缓存机械。
36	36
37	37		## 新购设备 ProArt
38	38

anduin revised this gist 1739006174. Go to revision

1 file changed, 2 insertions, 2 deletions

README.md

			@@ -18,9 +18,9 @@
18	18
19	19		## 迁移目标
20	20
21		-	* 设备 MS：移除其机械阵列。作为副工作区电脑使用。用于开发工作。并且享受到 ProArt 的 10Gbps 网络。
22		-	* 设备 Ultra：13900KS，最终地位不变。作为主工作区电脑使用。用于游戏和媒体编辑工作。享受 2.5Gbps 网络。
23	21		* 设备 ProArt：新购设备。作为新的主服务器使用。运行所有过去的业务。并且运行 DeepSeek 32B R1 模型。享受 10Gbps 网络。
	22	+	* 设备 Ultra：最终地位不变。作为主工作区电脑使用。用于游戏和媒体编辑工作。享受 2.5Gbps 网络。顺便帮着 ProArt 来备份数据。
	23	+	* 设备 MS：移除其机械阵列。作为副工作区电脑使用。用于开发工作。并且享受到 ProArt 的 10Gbps 网络。
24	24
25	25		## 服务器算力需求
26	26

anduin revised this gist 1739006113. Go to revision

1 file changed, 178 insertions

README.md(file created)

		@@ -0,0 +1,178 @@
1	+	# 服务器重构迁移计划
2	+
3	+	背景：由于 DeepSeek 32B R1 发布，这一款大模型非常有部署的前景。但是，我家里只有一颗 4090 的显卡，如果我要运行这个模型，我就没有用来打游戏的电脑了。因此，我迫切的需要一台强力的 Nas，能过在满足我过去计算性能的前提下，运行 DeepSeek 32B R1 模型。
4	+
5	+	## 老设备列表
6	+
7	+	* 设备 MS：13900H，4个硬盘位：
8	+	* 带有 480GB 傲腾，用于存储操作系统。
9	+	* 带有 8TB U2盘位，连接 SN640，用于存储 Docker 上下文。
10	+	* 连接三星 990 Pro，用于缓存机械阵列。
11	+	* 有外置 64TB 机械阵列。用于业务数据存储。
12	+	* 96GB 内存。带万兆SFP+口。目前作为主服务器使用。
13	+	* 设备 Ultra：13900KS，带有两个空 3.5 寸机械盘位。32GB 内存。RTX 4090 显卡。目前作为主游戏设备使用。
14	+
15	+	闲置设备：
16	+
17	+	* 三星 PM1725b 6.4TB SSD
18	+
19	+	## 迁移目标
20	+
21	+	* 设备 MS：移除其机械阵列。作为副工作区电脑使用。用于开发工作。并且享受到 ProArt 的 10Gbps 网络。
22	+	* 设备 Ultra：13900KS，最终地位不变。作为主工作区电脑使用。用于游戏和媒体编辑工作。享受 2.5Gbps 网络。
23	+	* 设备 ProArt：新购设备。作为新的主服务器使用。运行所有过去的业务。并且运行 DeepSeek 32B R1 模型。享受 10Gbps 网络。
24	+
25	+	## 服务器算力需求
26	+
27	+	新购设备，将作为主服务器。要求如下：
28	+
29	+	* 尽可能节省电力。待机功耗不得超过 150W。
30	+	* 必须要有万兆网络支持。
31	+	* 操作系统必须安装在傲腾中。
32	+	* 单核性能必须很强以满足单核的游戏、虚拟化、编译、数据库、容器等工作。
33	+	* 必须能过运行 DeepSeek R1 32B 模型。至少每秒 30 个Token。
34	+	* 至少有4个3.5寸盘位，容纳 64TB 的机械容量。
35	+	* 至少有6TB的固态，以缓存机械阵列。
36	+
37	+	## 新购设备 ProArt
38	+
39	+	新购设备 ProArt，配置清单：
40	+
41	+	* 1935 机箱：华硕 ProArt PA602 创艺国度全塔设计师台式机电脑办公水冷机箱
42	+	* 1699 冷排：华硕 ProArt PA420一体式CPU
43	+	* 3649 主板：华硕 ProArt Z890-CREATOR Wifi7 DDR5 10Gbps 主板
44	+	* 3560 CPU：Intel® Core™ Ultra 9 Processor 285
45	+	* 2998 内存：美商海盗船 6000 32GBx4 Z30 套条
46	+	* 6599 显卡：NVIDIA GeForce RTX™ 3090 24GB 涡轮卡
47	+	* 1646 电源：华硕 TUF 装弹手 1000W ATX3.0 黑色全模组电源
48	+
49	+	新购设备：
50	+
51	+	* 2458 全新希捷酷狼 Pro+ 16TB 机械硬盘 x2 作为暂存盘，以及最终迁移完成后的备份盘。
52	+	* 914 TP-LINK 10G 万兆SFP电口模块光电转换 TL-SM510U 万兆电口SFP+模块x2
53	+	* 一个用于连接核心交换机和 ProArt。
54	+	* 一个用于连接 MS 和书房的 10Gbps AP。
55	+	* 709 施耐德 BP1000CH 不间断电源 600W。
56	+
57	+	## 迁移计划
58	+
59	+	### 第一阶段 - 将业务挪动到 Ultra
60	+
61	+	* 将新的暂存盘插入到设备 Ultra。使用 rsync 将数据挪动到 Ultra 中。
62	+	* 将业务停止，在Ultra上启动业务。从而无缝迁移。
63	+
64	+	### 第二阶段 - 将 MS 降级为副工作区
65	+
66	+	* 将 64TB机械阵列从MS上拔掉，准备迁移到ProArt上。
67	+	* 将三星 990 Pro 从MS上拔掉，准备迁移到ProArt上。
68	+	* 将 8TB U2 SN640 在 MS 上保留，用于作为数据盘。
69	+	* MS 重新安装消费者操作系统，安装到傲腾中。
70	+
71	+	### 第三阶段 - 对 ProArt 装机
72	+
73	+	* 将机箱、冷排、主板、CPU、内存、显卡、电源全部组装成一台新机器。
74	+	* 将64TB的机械阵列放入新机器，使用SATA连接，用于业务数据存储。
75	+	* 将三星 990 Pro 1TB SSD 插入新机器的 M.2 插槽，用于存储操作系统和 Docker 上下文。
76	+	* 将三星 PM1725b 6.4TB SSD 插入新机器的PCIE槽，用于缓存机械阵列。
77	+	* 将 ProArt 放置在冰箱旁边，插入施耐德 BP1000CH 不间断电源。
78	+
79	+	### 第四阶段 - 将业务迁移到 ProArt
80	+
81	+	* 将业务停止，在ProArt上启动业务。从而无缝迁移。
82	+	* 将 Ultra 重装系统，用于游戏和媒体编辑工作。同时，两颗 16TB 机械盘用于备份 ProArt 的业务数据。
83	+
84	+	## 最终拓扑
85	+
86	+	### MS
87	+
88	+	* 设备 MS：在 SFP+接口使用万兆电口SFP+模块，连入书房的 10Gbps AP 电口。享受到核心交换机的 10Gbps 网络。
89	+	* MS 连接的硬盘有：
90	+	* 8TB U2 SN640，用于业务数据存储。
91	+	* 480GB 傲腾，用于存储操作系统。
92	+
93	+	### Ultra
94	+
95	+	* 设备 Ultra：在主板上的 2.5Gbps 电口，使用网线，连入书房的 2.5Gbps 电口。享受到核心交换机的 2.5Gbps 网络。
96	+	* Ultra 连接的硬盘有：
97	+	* 过去它自己自带的硬盘。
98	+	* 16TB 机械盘，用于备份 ProArt 的业务数据。
99	+	* 16TB 机械盘，用于备份 ProArt 的业务数据。
100	+
101	+	### ProArt
102	+
103	+	* 设备 ProArt：在冰箱旁边打洞，使用主板上的 10Gbps 电口，使用网线，连入核心交换机的 10Gbps 万兆电口SFP+模块。享受到核心交换机的 10Gbps 网络。
104	+	* ProArt 连接的硬盘有：
105	+	* 64TB 机械阵列，用于业务数据存储。
106	+	* 1TB 三星 990 Pro，用于存储操作系统和 Docker 上下文。
107	+	* 6.4TB 三星 PM1725b，用于缓存机械阵列。
108	+
109	+	## 最终闲置设备
110	+
111	+	在刚刚的迁移结束后，除了 MS，ProArt，Ultra 三台设备外，还有以下设备会暂时没有用处：
112	+
113	+	* 原有的机械阵列架。预计价格 500 元。
114	+	* MS 上原有的 SFP+ 光模块。预计价格 200 元。
115	+	* 交换机上原有的留给 MS 的 10Gbps SFP+ 光模块。预计价格 200 元。
116	+
117	+	## FAQ
118	+
119	+	### ProArt 势必会产生大量的热量，如何解决？
120	+
121	+	ProArt 将不再放置在柜子里，而是放置在冰箱旁边。在柜子里打洞，以联通核心交换机。ProArt 直接从冰箱后面的 220V 电源插座接入电源。
122	+
123	+	### 书房怎么让 Ultra 和 MS 有线联网？
124	+
125	+	书房的 Ultra 通过网线连接到书房的 2.5Gbps 电口。MS 通过万兆电口SFP+模块连接到书房的 10Gbps 电口。两者都能享受到核心交换机的 2.5Gbps 和 10Gbps 网络。注意要在书房同时布置两根网线。
126	+
127	+	### 迁移到 ProArt 后，四颗 16TB 机械盘怎么挂载成一个目录？
128	+
129	+	ProArt 上的 64TB 机械阵列，使用 SATA 连接，使用 mdadm 进行 RAID10，得到 `/dev/md0`。然后使用 bcache，将 6.4TB SSD 作为缓存盘，将 `/dev/md0` 作为后端盘。最终得到 `/dev/bcache0`。再将 `/dev/bcache0` 挂载到 `/swarm-vol`。
130	+
131	+	具体命令如下：（假设机械阵列为 `/dev/sda`, `/dev/sdb`, `/dev/sdc`, `/dev/sdd`，缓存固态为 `/dev/nvme0n1`）
132	+
133	+	```bash
134	+	# 安装 mdadm 和 bcache-tools
135	+	sudo apt update
136	+	sudo apt install mdadm bcache-tools
137	+
138	+	# 创建 RAID10
139	+	sudo mdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/sda /dev/sdb /dev/sdc /dev/sdd
140	+
141	+	# 查看 md0 的状态
142	+	sudo mdadm --detail /dev/md0
143	+
144	+	# 持久化 md0
145	+	sudo mdadm --detail --scan \| sudo tee -a /etc/mdadm/mdadm.conf
146	+	sudo update-initramfs -u -k all
147	+
148	+	# 重启，确保 md0 能够正常挂载
149	+	sudo reboot
150	+	sudo fdisk -l /dev/md0
151	+
152	+	# 创建 bcache
153	+	sudo wipefs -a /dev/md0
154	+	sudo make-bcache -B /dev/md0
155	+
156	+	# 查看 bcache 的状态
157	+	sudo bcache-super-show /dev/md0
158	+
159	+	# 为 bcache 创建缓存
160	+	sudo wipefs -a /dev/nvme0n1
161	+	sudo make-bcache -C /dev/nvme0n1
162	+	sudo bcache-super-show /dev/nvme0n1 # 得到 cset.uuid
163	+
164	+	# 将缓存加入到 bcache
165	+	echo "<cache_uuid>" \| sudo tee /sys/block/bcache0/bcache/attach
166	+
167	+	# 调整缓存策略
168	+	echo writeback \| sudo tee /sys/block/bcache0/bcache/cache_mode
169	+	echo 0 \| sudo tee /sys/block/bcache0/bcache/sequential_cutoff
170	+	echo 50 \| sudo tee /sys/block/bcache0/bcache/writeback_percent
171	+
172	+	# 挂载 bcache
173	+	sudo mkfs.ext4 /dev/bcache0
174	+	sudo mkdir /dev/bcache0 /swarm-vol
175	+
176	+	# 持久化挂载
177	+	echo "/dev/bcache0 /swarm-vol ext4 defaults,noatime,nofail 0 0" \| sudo tee -a /etc/fstab
178	+	```

Newer Older