xtrabackup压缩备份

1. mysql备份问题，mysql版本5.7.2

1.mysqlmp：最早，也是最成熟的逻辑备份工具，是 MySQL 原生的用来备份整个数据库实例、单个数据库、单张表的逻辑备份工具， 上手简单，学习成本几乎为 0。备份简单，恢复也简单。

比如导出单个数据库 ytt: mysqlmp ytt > /tmp/ytt.sql；

恢复也非常简单：mysql < /tmp/ytt.sql

缺点是备份速度慢。在整个备份过程中，是单线程运行；备份出来的数据集要恢复的话同样也是单线程运行，恢复速度也慢。除非对同一时刻的所有表单独备份出来，自己写额外脚本进行多线程恢复。

2.mysqlpump：MySQL 5.7 GA 后推出的 mysqlmp工具的增强版。可以对同一个数据集多个线程并发备份，备份速度很快。

其他缺点和 mysqlmp 一样。

3.MySQL Shell UTIL对象附带的备份工具：随 MySQL 8.0.21 最新版本捆绑发布，自带多线程备份以及多线程恢复功能， 可以直接替代 mysqlmp/mysqlpump。

• mp_instance/mpInstance 用来多线程备份 MySQL 整个单机实例
• mp_schemas/mpSchemas 用来多线程备份 MySQL 单个数据库
• load_mp/loadDump 用来多线程恢复之前两个工具导出的数据集文件

2. linux怎么备份数据库

一、 使用mysql相关命令进行简单的本地备份

1 mysqllmp命令

mysqlmp 是采用SQL级别的备份机制，它将数据表导成 SQL 脚本文件，在不同的 MySQL 版本之间升级时相对比较合适，这也是最常用的备份方法。

使用 mysqlmp进行备份非常简单，如果要备份数据库” db_backup ”,使用命令：
#mysqlmp –u -p phpbb_db_backup > /usr/backups/mysql/db_backup2008-1-6.sql
还可以使用gzip命令对备份文件进行压缩：
#mysqlmp db_backup | gzip > /usr/backups/mysql/ db_backup2008-1-6.sql.gz (备份后生成的sql不含建库语句！)
只备份一些频繁更新的数据库表：
## mysqlmp sample_db articles comments links > /usr/backups/mysql/sample_db.art_comm_lin.2008-1-6.sql
上面的命令会备份articles, comments, 和links 三个表。

恢复数据使用命令：
#mysql –u -p db_backup </usr/backups/mysql/ db_backup2008-1-6.sql
注意使用这个命令时必须保证数据库正在运行。

2 使用 SOURCE 语法

其实这不是标准的 SQL 语法，而是 mysql 客户端提供的功能，例如：
# SOURCE /tmp/db_name.sql;
这里需要指定文件的绝对路径，并且必须是 mysqld 运行用户(例如 nobody)有权限读取的文件。

3 mysqlhot备份

mysqlhot 只能用于备份 MyISAM，并且只能运行在 linux 和Unix 和 NetWare 系统上。mysqlhot 支持一次性拷贝多个数据库，同时还支持正则表达。以下是几个例子：
#mysqlhot -h=localhost -u=goodcjh -p=goodcjh db_name /tmp
(把数据库目录 db_name 拷贝到 /tmp 下)
注意，想要使用 mysqlhot，必须要有 SELECT、RELOAD(要执行 FLUSH TABLES) 权限，并且还必须要能够有读取 datadir/db_name 目录的权限。

还原数据库方法：

mysqlhot 备份出来的是整个数据库目录，使用时可以直接拷贝到 mysqld 指定的 目录 (在这里是 /usr/local/mysql/data/)目录下即可，同时要注意权限的问题，另外首先应当删除数据库旧副本如下例：

# /bin/rm -rf /mysql-backup/**//*old
关闭mysql 服务器、复制文件、查询启动mysql服务器的三个步骤：
# /etc/init.d/mysqld stop
Stopping MySQL: [ OK ]
# cp -af /mysql-backup/**//* /var/lib/mysql /
# /etc/init.d/mysqld start
Starting MySQL: [ OK ]
#chown -R nobody:nobody /usr/local/mysql/data/ (将 db_name 目录的属主改成 mysqld 运行用户)
二、使用网络备份

将MYSQL数据放在一台计算机上是不安全的，所以应当把数据备份到局域网中其他Linux计算机中。假设Mysql服务器IP地址是：192.168.1.3。局域网使用Linux的远程计算机IP地址是192.168.1.4；类似于windows的网络共享，UNIX(Linux)系统也有自己的网络共享，那就是NFS(网络文件系统)，在linux客户端挂接(mount)NFS磁盘共享之前，必须先配置好NFS服务端。linux系统NFS服务端配置方法如下：

(1)修改 /etc/exports,增加共享目录
/export/home/sunky 192.168.1.4(rw)
/export/home/sunky1 *(rw)
/export/home/sunky2 linux-client(rw)

3. unix下mysql数据库如何利用工具进行数据备份

用以备份的工具

1. mysqlmp

2. mysqlhot

3.mysqlsnapshot

4.ibbackup
联机备份 .VS. 脱机备份

联机备份通常使用在不能接受数据库停机的情况下，一般来说，脱机备份速度快，并且发生错误的几率少，我们不用担心数据库正在执行事务，锁表等容易发生一致性问题的发生。如果你幸运的可以停下数据库或者有一个主从方式的数据库，请使用脱机方式备份。
Data Dump vs Raw backups

Data mp 输出一系列SQL 语句序列，可以在后来用来重新创建数据库的结构并恢复数据。mysqlmp 是这个领域的首选工具，他可以用在任意类型的表上面，无论是本地的还是网络的。当然，由于要产生很多额外的SQL语句，导出结果将是一个很大的文件并且占用很多CPU资源，最重要的是，当数据恢复后需要一次完全的索引重建。

更有效率的方法是是对MySQL数据库的物理文件做一次快照(snapshot)。因为我们跳过了很多转化步骤，因此处理起来比较高效。 做一个MyISM数据表的备份只要拷贝磁盘上数据文件和索引文件。对InnoDB，需要备份对应表空间和关联的事务日志。
mysqlmp / mysqlhot / mysqlsnapshot / ibbackup

mysqlmp - (online, mp) - 最一般的工具，他会通过锁表的方式从一个联机数据库中做数据导出并写到指定的文件中（磁盘或网络上)。他只适合小的数据库。

# typical mysql mp backup and restore usage
mysqlmp -u root -pPassword -x –all-databases > db_mp.sql
mysql -u root -pPassword < db_mp.sql

# mp into ‘backup’ folder (local machine), into two text files <data, table_structure>
mysqlmp -T backup –fields-terminated-by=’,’ database-name -u root -pPassword

# compress the mped data on the fly
mysqlmp -u root -pPassword –all-databases | bzip2 -c > db_mp.bz2

mysqlhot - (online, raw) 将对由 ISAM或MyISAM 表构成的数据库做一个完全的物理备份。他的操作方式：对所有表获取一个只读锁=>做文件拷贝=>释放锁。

# perform an online backup into /backup/location
mysqlhot -u root -p password database_name /backup/location

mysqlsnapshot - (online, raw) 一个非常好的工具用来在联机方式下获得MySQL数据库的一个快照。可以配置它来压缩数据，并/或 为每一个数据库提供一个分离的tar文件。 不过他只适合 MyISAM 类型数据库。

# save a full database snapshot of an online database into /backup/location
mysqlsnapshot -u root -pPassword -s /backup/location

# restore a snapshot
tar -xvf /backup/location/db.tar

ibbackup - (online, raw) 可以对使用InnoDB和MyISAM表的任何数据库做联机备份。是一个很好的工具就是要收费.当然如果你是一个InnoDB的用户，还是值得花钱购买的。

# perform online backup of MyISAM / InnoDB tables
ibbackup /etc/my.cnf /etc/ibbackup.cnf

# restore recent backup (as configured in ibbackup.cnf)
ibbackup –restore /etc/ibbackup.cnf

cp, scp, nc - (offline, raw) 如果你可以停下数据库，则可以使用这几个工具直接拷贝数据库目录下的文件。是获取数据库快照的最安全方法。

4. 本机运行的MySQL 数据库 如何安全的备份/还原

一般是即时备份。做主从。或者是每天增量备份。
本文是在linux下,mysql 4.1.14版本下测试的,经过适当修改可能适合mysql 4.0,5.0及其其他版本.

本文适合于没有启动复制功能的mysql,如果启动了复制,可能不需要采取这种备份策略或者需要修改相关参数.

每个人的备份策略都可能不同,所以请根据实际情况修改,做到举一反三,不要照搬照抄,可能会造成不必要的损失.

希望你明白这个脚本要干什么工作!

脚本描述

每7天备份一次所有数据,每天备份binlog,也就是增量备份.

(如果数据少,每天备份一次完整数据即可,可能没必要做增量备份)

作者对shell脚本不太熟悉,所以很多地方写的很笨 :)

开启 bin log

在mysql 4.1版本中,默认只有错误日志,没有其他日志.可以通过修改配置打开bin log.方法很多,其中一个是在/etc/my.cnf中的mysqld部分加入:

[mysqld]
log-bin

这个日志的主要作用是增量备份或者复制(可能还有其他用途).

如果想增量备份,必须打开这个日志.

对于数据库操作频繁的mysql,这个日志会变得很大,而且可能会有多个.

在数据库中flush-logs,或者使用mysqladmin,mysqlmp调用flush-logs后并且使用参数delete-master-logs,这些日志文件会消失,并产生新的日志文件(开始是空的).

所以如果从来不备份,开启日志可能没有必要.

完整备份的同时可以调用flush-logs,增量备份之前flush-logs,以便备份最新的数据.

完整备份脚本

如果数据库数据比较多,我们一般是几天或者一周备份一次数据,以免影响应用运行,如果数据量比较小,那么一天备份一次也无所谓了.

#!/bin/sh

# mysql data backup script
# by scud
# 2005-10-30
#
# use mysqlmp --help,get more detail.
#

BakDir=/backup/mysql
LogFile=/backup/mysql/mysqlbak.log

DATE=`date +%Y%m%d`

echo " " >> $LogFile
echo " " >> $LogFile
echo "-------------------------------------------" >> $LogFile
echo $(date +"%y-%m-%d %H:%M:%S") >> $LogFile
echo "--------------------------" >> $LogFile

cd $BakDir

DumpFile=$DATE.sql
GZDumpFile=$DATE.sql.tgz

mysqlmp --quick --all-databases --flush-logs
--delete-master-logs --lock-all-tables
> $DumpFile

echo "Dump Done" >> $LogFile

tar czvf $GZDumpFile $DumpFile >> $LogFile 2>&1

echo "[$GZDumpFile]Backup Success!" >> $LogFile

rm -f $DumpFile

#delete previous daily backup files:采用增量备份的文件,如果完整备份后,则删除增量备份的文件.
cd $BakDir/daily

rm -f *

cd $BakDir

echo "Backup Done!"

echo "please Check $BakDir Directory!"

echo " it to your local disk or ftp to somewhere !!!"

ls -al $BakDir
上面的脚本把mysql备份到本地的/backup/mysql目录,增量备份的文件放在/backup/mysql/daily目录下.

注意:上面的脚本并没有把备份后的文件传送到其他远程计算机,也没有删除几天前的备份文件:需要用户增加相关脚本,或者手动操作.

增量备份

增量备份的数据量比较小,但是要在完整备份的基础上操作,用户可以在时间和成本上权衡,选择最有利于自己的方式.

增量备份使用bin log,脚本如下:

#!/bin/sh

#
# mysql binlog backup script
#

/usr/bin/mysqladmin flush-logs

DATADIR=/var/lib/mysql
BAKDIR=/backup/mysql/daily

###如果你做了特殊设置,请修改此处或者修改应用此变量的行:缺省取机器名,mysql缺省也是取机器名
HOSTNAME=`uname -n`

cd $DATADIR

FILELIST=`cat $HOSTNAME-bin.index`

##计算行数,也就是文件数
COUNTER=0
for file in $FILELIST
do
COUNTER=`expr $COUNTER + 1 `
done

NextNum=0
for file in $FILELIST
do
base=`basename $file`
NextNum=`expr $NextNum + 1`
if [ $NextNum -eq $COUNTER ]
then
echo "skip lastest"
else
dest=$BAKDIR/$base
if(test -e $dest)
then
echo "skip exist $base"
else
echo "ing $base"
cp $base $BAKDIR
fi
fi
done

echo "backup mysql binlog ok"
增量备份脚本是备份前flush-logs,mysql会自动把内存中的日志放到文件里,然后生成一个新的日志文件,所以我们只需要备份前面的几个即可,也就是不备份最后一个.
因为从上次备份到本次备份也可能会有多个日志文件生成,所以要检测文件,如果已经备份过,就不用备份了.

注:同样,用户也需要自己远程传送,不过不需要删除了,完整备份后程序会自动生成.

访问设置

脚本写完了,为了能让脚本运行,还需要设置对应的用户名和密码,mysqladmin和mysqlmp都是需要用户名和密码的,当然可以写在脚本中,但是修改起来不太方便,假设我们用系统的root用户来运行此脚本,那么我们需要在/root(也就是root用户的home目录)创建一个.my.cnf文件,内容如下

[mysqladmin]
password =password
user= root
[mysqlmp]
user=root
password=password
注:设置本文件只有root可读.(chmod 600 .my.cnf )

此文件说明程序使用mysql的root用户备份数据,密码是对应的设置.这样就不需要在脚本里写用户名和密码了.

自动运行

为了让备份程序自动运行,我们需要把它加入crontab.

有2种方法,一种是把脚本根据自己的选择放入到/etc/cron.daily,/etc/cron.weekly这么目录里.
一种是使用crontab -e放入到root用户的计划任务里,例如完整备份每周日凌晨3点运行,日常备份每周一-周六凌晨3点运行.

5. displa通过sessioncontainer1.log_backup1是什么文件

displaysessioncontainer是NVDisplay文件。

为了方便建立从库，Xtrabackup 在备份完成后会将 binlogposition 与 GTID 的相关信息保存于 xtrabackup_binlog_info 文件中。但是当你使用 Xtrabackup 生成的备份建立一个从库时，会发现恢复后的实例执行 show master status。

显示的 Executed_Gtid_Set 与 xtrabackup_binlog_info 文件中记录的信息并不一致，而且使用 Xtrabackup 2.4 与 8.0（对 MySQL 8.0 进行备份）生成的备份在恢复后，信息不一致的表现又不相同。本篇文章主要针对该现象进行简单的分析。

工作方式：

1. 在电脑上安装DisplayLink驱动，负责GPU与CPU之间的信号转换、自动调制。

2. 用独创的DisplayLink自适应压缩技术自动根据CPU和USB带宽的情况压缩视频内容。

3. 压缩的数据包通过USB电缆快速传送到DisplayLink设备上，让用户几乎感觉不到延迟。

4. 如果高速DisplayLink芯片嵌入显示设备、对接站或适配器上可以直接传送视频或图形数据。

6. xtrabackup怎么在windows上用

备份
备份时无法指定备份名，每一个备份文件夹都是以时间来命名的，里面存放的是数据文件、日志文件，目录需存在，没有则先创建。
1，全量备份
[root@localhost]# innobackupex --user=root --password=123456 --host=127.0.0.1 /var/backup/all
2，增量备份
[root@localhost]# innobackupex --user=root --password=123456 --host=127.0.0.1 --incremental --incremental-basedir=/var/backup/all/2015-10-12_11-15-21 /var/backup/inc1
远程备份
压缩备份
[root@localhost]# innobackupex --user=root --password=dba@85263382 --host=127.0.0.1 --stream=tar /tmp | ssh [email protected] "gzip - > /tmp/bak.tar.gz"
或者
[root@localhost]# innobackupex --user=root --password=dba@85263382 --host=127.0.0.1 --stream=tar /tmp | gzip | ssh [email protected] " /tmp/bak.tar.gz"
--stream=tar：tar格式
gzip：压缩
非压缩备份
[root@localhost]# innobackupex --user=root --password=dba@85263382 --host=127.0.0.1 --stream=tar /tmp | ssh [email protected] "cat - > /tmp/bak.tar"
远程恢复
数据压缩的文件需要加上 “i”
[root@localhost]# tar -izxvf bak.tar.gz
恢复
当恢复时，data文件夹需要清空，如果是单库备份的恢复，像MySQL的系统库需要移动到临时文件夹中，当恢复完成后再拷贝到data文件夹中，当然也可以在备份时加入mysql库，恢复时也能把Mysql库恢复了。同时需要注意，清空data后，将mysql服务关闭后执行恢复，恢复完成后再启动

7. windows mysql几种备份和 恢复

1、复制date文件夹备份
============================
假想环境：
MySQL 安装位置：C:\MySQL
论坛数据库名称为：bbs
数据库备份目的地：C:\db_bak\
============================
新建db_bak.bat，写入以下代码

*******************************Code Start*****************************
net stop mysql
x c:\mysql\data\bbs\*.* c:\db_bak\bbs\%date:~0,10%\ /S /I
net start mysql
*******************************Code End *****************************

然后使用Windows的“计划任务”定时执行该批处理脚本即可。（例如：每天凌晨3点执行back_db.bat）
解释：备份和恢复的操作都比较简单，完整性比较高，控制备份周期比较灵活，例如，用%date:~0,10%。此方法适合有独立主机但对mysql没有管理经验的用户。缺点是占用空间比较多，备份期间mysql会短时间断开（例如：针对30M左右的数据库耗时5s左右）,针对%date:~0,10%的用法参考 。

2、mysqlmp备份成sql文件
==============
假想环境：
MySQL 安装位置：C:\MySQL
论坛数据库名称为：bbs
MySQL root 密码：123456
数据库备份目的地：D:\db_backup\

脚本：

rem *******************************Code Start*****************************
@echo off
set "Ymd=%date:~,4%%date:~5,2%%date:~8,2%"
C:\MySQL\bin\mysqlmp --opt -u root --password=123456 bbs > D:\db_backup\bbs_%Ymd%.sql
@echo on
rem *******************************Code End*****************************

将以上代码保存为backup_db.bat
然后使用Windows的“计划任务”定时执行该脚本即可。（例如：每天凌晨5点执行back_db.bat）
说明：此方法可以不用关闭数据库，并且可以按每一天的时间来名称备份文件。
通过%date:~5,2%来组合得出当前日期，组合的效果为yyyymmdd,date命令得到的日期格式默认为yyyy-mm-dd(如果不是此格式可以通过pause命令来暂停命令行窗口看通过%date:~,20%得到的当前计算机日期格式)，所以通过%date:~5,2%即可得到日期中的第五个字符开始的两个字符，例如今天为2009-02-05,通过%date:~5,2%则可以得到02。（日期的字符串的下标是从0开始的）

3、利用WinRAR对MySQL数据库进行定时备份。
对于MySQL的备份，最好的方法就是直接备份MySQL数据库的Data目录。下面提供了一个利用WinRAR来对Data目录进行定时备份的方法。

首先当然要把WinRAR安装到计算机上。

将下面的命令写入到一个文本文件里

*******************************Code Start*****************************
net stop mysql

c:\progra~1\winrar\winrar a -ag -k -r -s d:\mysql.rar d:\mysql\data

net start mysql
*******************************Code End*****************************

保存，然后将文本文件的扩展名修改成CMD。进入控制面版，打开计划任务，双击“添加计划任务”。在计划任务向导中找到刚才的CMD文件，接着为这个任务指定一个运行时间和运行时使用的账号密码就可以了。
这种方法缺点是占用时间比较多，备份期间压缩需要时间，mysql断开比第一种方法更多的时间，但是对于文件命名很好。

8. mysql的备份都有哪些方式原理都是基于什么的，适用范围是什么有详细解答的高手没

数据备份是数据容灾的最后一道防线，即便有着两地三中心的架构，备份也依然重要。如果备份出问题，备份时影响了交易业务，备份数据无法恢复，这些也是企业难以承受的。所以选择合适的备份工具尤为重要。

每个企业级数据库都会有配套的备份工具，MEB(MySQL Enterprise Backup)就是MySQL企业版中非常重要的工具之一，是为企业级客户提供的数据备份方案。

Xtrabackup一直作为MEB 开源版备胎而存在，从MySQL 8.0开始情况可能会变得有所不同。

在 MySQL 8.0的Backup Lock、Redo Log Archiving、Page Tracking等新特性的加持下，MEB备份/恢复体验会更好，目前xtrabackup还不支持这些特性。

MySQL 企业版还有哪些功能？

9. mysql如何快速备份

来源：知乎

河南-老宋(志强)

问题描述的不是非常的清晰
使用mysqlmp备份时一般会会加上--single-transaction参数，这里假设你是加了这个参数。
一 加速备份
1 加了single-transaction参数 备份时 需要先flush table with read lock 这个过程中会有一个锁表的过程，如果有事务或语句正在执行，没有结束，那么备份进程会一直等待，并且阻塞别的事务，那么也会影响业务。所以要先确认备份的时候没有大的事务在运行。
具体 single-transaction的加锁可以参考 我的博客：mysqlmp备份时加single-transaction会不会加锁
2 mysqlmp是单进程的，没有办法并行，但现在机器的瓶颈多是出现在IO方面，可以使用更了的IO设备加快速度
3 mysqlmp时如果空间够的话，不要边压缩边备份
二 加速恢复
1 关闭binlog:不写入Binlog会大大的加快数据导入的速度
2 innodb_flush_log_at_trx_commit=0
3 更好的配置
建议：
一 如果非要使用逻辑备份，可以考虑mysqlmper, mysqlpump(5.7)这两个工具去备份，这两个在备份的时候支持并行操作，mysqlmper还可以对单表进行恢复，在只需要恢复单表的情况下，恢复速度会大大加快
二 使用物理备份 xtrabackup (open source),MEB(oracle提供，收费)： 他们的备份原理是基于mysql crash recover， 备份速度 是和逻辑备份的相差不太大。但是恢复速度却有很大的提升。
逻辑备份 备出来的是sql语句文件，恢复时需要一条一条的执行sql,所以恢复很慢。
而物理备份和还原的速度 相当于直接文件，所以恢复的时候性能有很大的提升
并且这两个软件还支持并行，效果更好。
逻辑备份最大的优点是 备份好的文件经压缩后占用空间较小，最大缺点恢复太慢
物理备份可以很快的恢复，但是备份好的文件压缩后占用空间比逻辑备份要大。
使用云，你做为用户可以不用考虑这些事情。

附：xtrabackup的并行参数
Parallel local backups
Parallel compression
Parallel encryption
Parallel apply-log

Gary Chen

《MySQL DBA修炼之道》作者。从事数据库领域10多年。
1.一般来说,你只有靠更好的硬件. 软件没有大的变动的情况下不可能突破硬件瓶颈;
2. mysqlmp默认的导出选项已经可以了,单进程的工具不要期望太多,TommyChiu介绍的工具可试试.;
3. 导出的时候观察下系统,如果是cpu瓶颈,你基本无解.如果是swap问题,看是否是因为内存不够;
4. 恢复的时候主要是一个参数:innodb_flush_log_at_trx_commit=2

TommyChiu
mk-parallel-mp 试试