2018-12-17-黄油工程管理与数据核验

2018-12-17-黄油工程管理与数据核验

断断续续从一周前开始我就开始了mygalgame的资源下载，总共1.4TB总算搬下来了。
image.png

记录此次运用的加大效率的方法：

tool:pdβ（以下用pd2），od等

首先是word部分，明确已经下载和准备下载的部分，分日期进行管理

1
2
3
4
5
6
7
8
系统范围：对等上下行（度盘-Onedrive）
除了563-570
除了651-659
第一波下载：13.3GB
第2波下载批次：
630-A649（19）58GB/3=5.5h（平均3GB一部）；58-19/2=48GB

...(见文末)

其次，由于一般本地硬盘空间有限，所以需要尽快做好中转工作，像我的话，一旦下载空间估计不足，缓一点可以上传转到od，急一点可以直接送入移动硬盘。

把握好下载速度的差异，摸清楚规律，比如校园网在宿舍无人时一般是11MB/s，早上9点之前由于上课等原因，整栋楼的网速可以分给你70MB/s，特别划算。

像本次下载需要A001~A661，管理跨度大，做好分批文件夹管理和记录。

网速上可以自己开发软件，计算时间：
image.png

针对下载主要工具pd2，分享时可能出现违规情况，这时可以shift选择试探下载，二分法试探，逐步逼近敏感文件，然后重新保存新版本。

od的同步特别讨厌。同步完之后本地必须删除之后，在在线的回收站恢复才行。有时候还需要技巧解决恢复失败的问题。（像是删除d7里的文件夹，每恢复一次就需要改名删除d7再恢复）

#收尾工作
着重介绍一下下载完之后的整理工作。由于文件分散在od，本地硬盘，移动硬盘上，可以使用everything整理。

od的相同名字文件夹中覆盖也需要手动试一下，避免数据丢失。

#然后寻找遗漏数据（硬核）

首先everything可以导出csv文件。这是基础。（简称eve记录）
image.png

需要解决的问题：
1.有些编号没有下载。
2.有些编号的分卷没有下载齐全。

解决方法：
1.分别寻找A001-A661在eve记录有没有，哪些没有。
2.如果最后一卷有下载，那么中间的遗漏可以通过累计计数与卷名比较得出。如果包含最后一卷在内后面几个没有下到，则应该比较当前最后一卷大小，一般会小于前几卷，而前几卷是相同的。

要求：熟悉正则，熟悉excel公式。
一.有些编号没有下载。

1.删除csv无用列，留下：

1
2
3
4
5
6
7
8
A001@忧郁的弟弟.rar
A002@忧郁的弟弟.rar
A003@忧郁的弟弟.rar
A004@忧郁的弟弟.part1.rar
A004@忧郁的弟弟.part2.rar
A004@忧郁的弟弟.part3.rar
A005@忧郁的弟弟.rar
...

2.替换
(A\d\d\d).*
\1

3.结果

1
2
3
4
5
6
7
8
9
A001
A002
A003
A004
A004
A004
A005
A006
...

4.复制到excel，并且构造A001-A661
image.png

5.公式=COUNTIF(B:B,C2)，意思是C2在B列中有几个。

6.筛选0个，完成

二.有些编号的分卷没有下载齐全。

1.剔除 .*_.*\r\n 和 .*弟弟.rar.*\r\n ，留下.*part(\d+).*中的\1。

image.png

2.公式=COUNTIF($A$1:A2,A2)
固定从A1开始，到当前行，计算当前行的出现次数。

3.提取.*part(\d+).*的\1

4.对比这两行，公式=(D3=I3)，筛选FALSE，剩下问题文件
image.png

image.png

5.另外还有小技巧：excel去重
https://jingyan.baidu.com/article/fec4bce2900e3ef2618d8b31.html

附录:下载管理进度表

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
系统范围：对等上下行（度盘-Onedrive）
除了563-570
除了651-659
第一波下载：13.3GB
第2波下载批次：
630-A649（19）58GB/3=5.5h（平均3GB一部）；58-19/2=48GB

3:600-629（29）
91部=91-29/2=77
Less
4:571-599（29）
99部-29/2 = 85

测试结束线：
9天
按每天60部计算
5：540-562（22）
不止了：
今早下载超过了105GB
下午：569以下500-569
晚上：

估计：
硬盘left:300G
统计：530-599共228GB/69个=3.3GB/个
冗余：300=91部
A409-A499


战备管理:
U盘备份-》G:
备份：J
删除分区：从后向前删除，滚雪球，OK！
280GB = 85X
A325-A408
D:30G
I:240G
M:50G

网络核验：
H:
100GB
30部
A300-324

Left:
A001-299:
1TB

6：001-539（539）


未完成范围：
A46* OK
A487 488 489
A49*
//和谐：468 492

OK
68-100 ok
A342-42个(A301+) fit
A001+  A67 fit
A150开始 
A100+ fit
A201+
A250开始


计划制定：
未完成：
A342-42个(A301+) fit
A001+  A67 fit
A150开始 
A100+ fit
A201+
A250开始

已经开始：301-310
出错：328
完成301-342

已经开始：001-100
剩余101-300=660GB=220*3
硬盘剩下300G，网站剩下400G
可够

完成100-200
接下来200-300
200-250今晚完成
剩余250-300（180-20GB可用）没问题


A155 lose
A278lose


完毕：

在线：
Onedrive:A300-A660

Except A545-562 571-599

本地：

丢失
A1 准备迁往od
A100-A300本地i

丢失较为严重：
A068
A012-（part）10