Minio全量、增量备份和还原_minio 导出增量数据,2024年最新Jetpack-MVVM-高频提问和解答
综上所述,此命令的作用是:通过rsync工具以归档模式递归地同步源目录至目标目录,同时删除目标目录中源目录没有的文件,并将整个同步过程(包括详细信息和错误信息)都记录到指定的日志文件中,并且还显示了整个操作的执行时间。工具进行数据同步,并将同步过程中的输出信息(包括标准输出和错误输出)重定向到指定的日志文件中。目录下的文件相同时,不会重新复制文件,而是创建一个指向已有文件的硬链接,这样可以节省存储
先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新网络安全全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上网络安全知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注网络安全)
正文
环境变量脚本
在备份和还原脚本中,这些配置变量会被引用,确保您替换脚本中的路径为您的实际值
vim backup_env.sh
#!/bin/bash
# Minio安装目录
MINIO\_HOME="/usr/local/minio"
# 待备份目录
SOURCE\_DIR="${MINIO\_HOME}/data"
# 备份文件存储目录
BACKUP\_DIR="/mnt/backup/minio/data"
# 备份数据保留天数
RETENTION\_PERIOD=7
全量备份脚本
该脚本创建全量备份,清理过期备份。
vim backup_full.sh
#!/bin/bash
# 全量备份脚本
set -e
set -x
#获取当前脚本所在路径
CUR\_PATH=$(cd `dirname $0`; pwd)
# 导入配置文件中的公共变量
source ${CUR\_PATH}/backup_env.sh
# 定义备份目录及日志文件
DATE\_STR="$(date '+%Y-%m-%d\_%H-%M-%S')"
DATE\_BACKUP\_DIR="${BACKUP\_DIR}/${DATE\_STR}"
FULL\_BACKUP\_DIR="$DATE\_BACKUP\_DIR/full"
FULL\_LOG\_FILE="${DATE\_BACKUP\_DIR}/full.log"
# 创建全量备份目录
if [ ! -d "$FULL\_BACKUP\_DIR" ]; then
mkdir -p "$FULL\_BACKUP\_DIR"
fi
# 全量备份并记录耗时到日志文件中
(time rsync -av --delete "$SOURCE\_DIR" "$FULL\_BACKUP\_DIR") >"${FULL\_LOG\_FILE}" 2>&1
# 检查全量备份是否成功
if [ $? -eq 0 ]; then
touch ${DATE\_BACKUP\_DIR}/full_backup_success_flag
# 压缩其它全量备份文件
echo "压缩其它全量备份文件..." >>"${FULL\_LOG\_FILE}"
old\_backup\_file=$(find "$BACKUP\_DIR" -maxdepth 1 -type d -not -name "$DATE\_STR"|grep -v "$BACKUP\_DIR"'$')
if [ -z "${old\_backup\_file}" ]; then
echo "暂无旧备份文件" >>"${FULL\_LOG\_FILE}"
else
echo "待处理旧备份文件:" >>"${FULL\_LOG\_FILE}"
echo "$old\_backup\_file" | xargs -I {} echo {} >>"${FULL\_LOG\_FILE}"
echo "压缩旧备份文件..." >>"${FULL\_LOG\_FILE}"
echo "$old\_backup\_file" | xargs -r -I {} sh -c 'tar -czf {}.tar.gz -C {} -P .'
echo "压缩成功!" >>"${FULL\_LOG\_FILE}"
echo "删除旧备份文件..." >>"${FULL\_LOG\_FILE}"
echo "$old\_backup\_file" | xargs -r -I {} rm -rf {}
echo "删除成功!" >>"${FULL\_LOG\_FILE}"
fi
echo "全量备份:${DATE\_BACKUP\_DIR},成功" >>"${FULL\_LOG\_FILE}"
else
echo "全量备份:${DATE\_BACKUP\_DIR},失败" >>"${FULL\_LOG\_FILE}"
fi
# 清理过期备份
find "$BACKUP\_DIR" -ctime +$RETENTION\_PERIOD -exec rm -rf {} \;
set +x
命令解析
(time rsync -av --delete "$SOURCE_DIR" "$FULL_BACKUP_DIR") >"${FULL_LOG_FILE}" 2>&1
该命令用于使用
rsync
工具进行数据同步,并将同步过程中的输出信息(包括标准输出和错误输出)重定向到指定的日志文件中。命令详细解释如下:
time
: 这是一个Unix/Linux命令,用于测量并显示命令执行所花费的时间。rsync
: 是一个强大的文件同步工具,用于在本地或远程之间进行数据备份或同步。av
: 这是rsync的选项组合,其中:
a
:归档模式,相当于rlptgoD
的组合,保留源文件的所有属性(如权限、时间戳、软硬链接等)并递归处理目录。v
:详细输出模式,会让rsync运行时显示详细的同步信息。-delete
:这是一个rsync选项,表示在目标目录中删除那些源目录不存在的文件和目录,使得目标目录与源目录保持一致。"$SOURCE_DIR"
和"$FULL_BACKUP_DIR"
:分别为源目录和目标目录,它们是变量引用,实际执行时会替换为具体的路径。> "${FULL_LOG_FILE}"
: 将命令的标准输出重定向到${FULL_LOG_FILE}
这个文件中,即同步过程中的详细信息会被记录在这个日志文件里。2>&1
:这是将标准错误输出重定向到标准输出的语法,也就是说,任何错误信息也会被写入到${FULL_LOG_FILE}
这个日志文件中。综上所述,此命令的作用是:通过rsync工具以归档模式递归地同步源目录至目标目录,同时删除目标目录中源目录没有的文件,并将整个同步过程(包括详细信息和错误信息)都记录到指定的日志文件中,并且还显示了整个操作的执行时间。
增量备份脚本
该脚本会基于最新的全量备份创建增量备份
vim backup_incremental.sh
#!/bin/bash
# 增量备份脚本
set -e
set -x
#获取当前脚本所在路径
CUR\_PATH=$(cd `dirname $0`; pwd)
# 导入配置文件中的公共变量
source ${CUR\_PATH}/backup_env.sh
# 获取全量备份的最新目录
LATEST\_BACKUP=$(find "${BACKUP\_DIR}" -type f -name "full\_backup\_success\_flag" -exec dirname {} \;| grep -v '\_restore\_temp$' | xargs ls -td | head -n 1)
LATEST\_FULL\_BACKUP="${LATEST\_BACKUP}/full"
INCREMENTAL\_LOG\_FILE="${LATEST\_BACKUP}/incremental.log"
# 定义增量备份目录
DATE\_STR="$(date '+%Y-%m-%d\_%H-%M-%S')"
INCREMENTAL\_BACKUP\_DIR="${LATEST\_BACKUP}/incremental/${DATE\_STR}"
# 检查全量备份是否存在
if [ -f "${LATEST\_BACKUP}/full\_backup\_success\_flag" ]; then
# 创建增量备份目录
if [ ! -d "$INCREMENTAL\_BACKUP\_DIR" ]; then
mkdir -p "${INCREMENTAL\_BACKUP\_DIR}"
fi
echo "开始增量备份:${INCREMENTAL\_BACKUP\_DIR}" >>"${INCREMENTAL\_LOG\_FILE}"
# 增量备份并记录耗时到日志文件中
(time rsync -av --delete --link-dest="$LATEST\_FULL\_BACKUP" "$SOURCE\_DIR" "$INCREMENTAL\_BACKUP\_DIR") >>"${INCREMENTAL\_LOG\_FILE}" 2>&1
# 检查增量备份是否成功
if [ $? -eq 0 ]; then
echo "增量备份:${INCREMENTAL\_BACKUP\_DIR},成功" >>"${INCREMENTAL\_LOG\_FILE}"
# 只保留最新的10个增量备份
#find "${LATEST\_BACKUP}/incremental" -maxdepth 1 -type d -exec stat -c "%Y %n" {} \; | sort -n | grep -vE "\\${LATEST\_BACKUP}/incremental\$" | head -n -1 | awk '{print $2}'| xargs rm -rf
prepare\_delete\_file=$(find "${LATEST\_BACKUP}/incremental" -maxdepth 1 -type d -exec stat -c "%Y %n" {} \; | sort -n | grep -v "${LATEST\_BACKUP}"'/incremental$' | head -n -$INCREMENTAL\_RETENTION\_COUNT | awk '{print $2}')
if [ -z "${prepare\_delete\_file}" ]; then
echo "暂无要删除的备份文件" >>"${INCREMENTAL\_LOG\_FILE}"
else
echo "待删除备份文件:" >>"${INCREMENTAL\_LOG\_FILE}"
echo "$prepare\_delete\_file" | xargs -I {} echo {} >>"${INCREMENTAL\_LOG\_FILE}"
echo "$prepare\_delete\_file" | xargs -r -I {} rm -rf {}
echo "删除成功!" >>"${INCREMENTAL\_LOG\_FILE}"
fi
else
echo "增量备份:${INCREMENTAL\_BACKUP\_DIR},失败" >>"${INCREMENTAL\_LOG\_FILE}"
fi
else
echo "未找到最新有效的全量备份"
exit 1
fi
echo -e "\n\n\n\n" >>"${INCREMENTAL\_LOG\_FILE}"
#set +x
命令解析
(time rsync -av --delete --link-dest="$LATEST_FULL_BACKUP" "$SOURCE_DIR" "$INCREMENTAL_BACKUP_DIR") >>"${INCREMENTAL_LOG_FILE}" 2>&1
该命令执行的是基于$LATEST_FULL_BACKUP
的增量备份操作,将$SOURCE_DIR
与上次全量备份差异部分同步至$INCREMENTAL_BACKUP_DIR
,并且将本次增量备份的详细操作信息及可能遇到的错误信息一并追加记录到${INCREMENTAL_LOG_FILE}
日志文件中,同时显示操作耗时。
-link-dest="$LATEST_FULL_BACKUP"
: 这个参数是rsync进行增量备份的关键选项,它指定了一个最近的完整备份目录。当rsync发现当前要备份的文件与$LATEST_FULL_BACKUP
目录下的文件相同时,不会重新复制文件,而是创建一个指向已有文件的硬链接,这样可以节省存储空间并提高备份速度。
数据还原脚本
用户可以选择还原特定日期的备份,并选择是否还原增量备份数据
vim backup_restore.sh
#!/bin/bash
# Minio 数据还原脚本
#set -e
#set -x
#获取当前脚本所在路径
CUR\_PATH=$(cd `dirname $0`; pwd)
# 导入配置文件中的公共变量
source ${CUR\_PATH}/backup_env.sh
echo "################################################## Minio数据还原 ##################################################"
# 列出可供还原备份数据
echo "可供还原的备份数据:"
AVAILABLE\_BACKUPS=$(ls -1 -d "$BACKUP\_DIR"/\*| grep -v '\_restore\_temp$' | xargs -I {} basename {})
if [ -z "$AVAILABLE\_BACKUPS" ]; then
echo "暂无备份数据。"
exit 1
fi
# 列出备份数据并允许用户选择
select BACKUP\_FILE in $AVAILABLE\_BACKUPS
do
if [ -n "$BACKUP\_FILE" ]; then
echo "您选择了备份文件:$BACKUP\_FILE"
break
else
echo "无效的选择。请重新选择。"
fi
done
SELECTED\_BACKUP\_FILE="$BACKUP\_DIR/${BACKUP\_FILE}"
### 如何自学黑客&网络安全
#### 黑客零基础入门学习路线&规划
**初级黑客**
**1、网络安全理论知识(2天)**
①了解行业相关背景,前景,确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。(非常重要)
**2、渗透测试基础(一周)**
①渗透测试的流程、分类、标准
②信息收集技术:主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理,利用方法、工具(MSF)、绕过IDS和反病毒侦察
④主机攻防演练:MS17-010、MS08-067、MS10-046、MS12-20等
**3、操作系统基础(一周)**
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全(系统入侵排查/系统加固基础)
**4、计算机网络基础(一周)**
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析(HTTP、TCP/IP、ARP等)
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御:主动/被动攻击、DDOS攻击、CVE漏洞复现
**5、数据库基础操作(2天)**
①数据库基础
②SQL语言基础
③数据库安全加固
**6、Web渗透(1周)**
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具:Nmap、BurpSuite、SQLMap、其他(菜刀、漏扫等)
恭喜你,如果学到这里,你基本可以从事一份网络安全相关的工作,比如渗透测试、Web 渗透、安全服务、安全分析等岗位;如果等保模块学的好,还可以从事等保工程师。薪资区间6k-15k
到此为止,大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗?
如果你想要入坑黑客&网络安全,笔者给大家准备了一份:282G全网最全的网络安全资料包评论区留言即可领取!
**7、脚本编程(初级/中级/高级)**
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中,面对复杂多变的网络环境,当常用工具不能满足实际需求的时候,往往需要对现有工具进行扩展,或者编写符合我们要求的工具、自动化脚本,这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中,想要高效地使用自制的脚本工具来实现各种目的,更是需要拥有编程能力.
如果你零基础入门,笔者建议选择脚本语言Python/PHP/Go/Java中的一种,对常用库进行编程学习;搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP, IDE强烈推荐Sublime;·Python编程学习,学习内容包含:语法、正则、文件、 网络、多线程等常用库,推荐《Python核心编程》,不要看完;·用Python编写漏洞的exp,然后写一个简单的网络爬虫;·PHP基本语法学习并书写一个简单的博客系统;熟悉MVC架构,并试着学习一个PHP框架或者Python框架 (可选);·了解Bootstrap的布局或者CSS。
**8、超级黑客**
这部分内容对零基础的同学来说还比较遥远,就不展开细说了,附上学习路线。

#### 网络安全工程师企业级学习路线

如图片过大被平台压缩导致看不清的话,评论区点赞和评论区留言获取吧。我都会回复的
视频配套资料&国内外网安书籍、文档&工具
当然除了有配套的视频,同时也为大家整理了各种文档和书籍资料&工具,并且已经帮大家分好类了。

一些笔者自己买的、其他平台白嫖不到的视频教程。

**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注网络安全)**

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
.csdnimg.cn/img_convert/32eb4b22aa740233c5198d3c161b37e8.webp?x-oss-process=image/format,png)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注网络安全)**
[外链图片转存中...(img-Rs3DMEdR-1713161967646)]
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)