本文討論 mysql 的備份和恢復(fù)機制,以及如何維護數(shù)據(jù)表,包括最主要的兩種表類型:MyISAM 和 Innodb,文中設(shè)計的 MySQL 版本為 5.0.22。
日期:2006/10/01
本文討論 MySQL 的備份和恢復(fù)機制,以及如何維護數(shù)據(jù)表,包括最主要的兩種表類型:<font face="NSimsun">MyISAM</font>
和 <font face="NSimsun">Innodb</font>
,文中設(shè)計的 MySQL 版本為 5.0.22。
目前 MySQL 支持的免費備份工具有:<font face="NSimsun"><a style="color:#f60; text-decoration:underline;" title="mysql" href="https://www.php.cn/zt/15713.html" target="_blank">mysql</a>dump、mysqlhotcopy</font>
,還可以用 SQL 語法進行備份:<font face="NSimsun">BACKUP TABLE</font>
或者 <font face="NSimsun">SELECT INTO OUTFILE</font>
,又或者備份<font face="NSimsun">二進制日志(binlog)</font>
,還可以是<font face="NSimsun">直接拷貝數(shù)據(jù)文件和相關(guān)的配置文件</font>
。MyISAM 表是保存成文件的形式,因此相對比較容易備份,上面提到的幾種方法都可以使用。<font face="NSimsun">Innodb</font>
所有的表都保存在同一個數(shù)據(jù)文件 <font face="NSimsun">ibdata1</font>
中(也可能是多個文件,或者是獨立的表空間文件),相對來說比較不好備份,免費的方案可以是<font face="NSimsun">拷貝數(shù)據(jù)文件</font>
、<font face="NSimsun">備份 binlog</font>
,或者用 <font face="NSimsun">mysqldump</font>
。
1、mysqldump
1.1 備份
<font face="NSimsun">mysqldump</font>
是采用SQL級別的備份機制,它將數(shù)據(jù)表導(dǎo)成 SQL 腳本文件,在不同的 MySQL 版本之間升級時相對比較合適,這也是最常用的備份方法。
現(xiàn)在來講一下 <font face="NSimsun">mysqldump</font>
的一些主要參數(shù):
- –compatible=name
它告訴 mysqldump,導(dǎo)出的數(shù)據(jù)將和哪種數(shù)據(jù)庫或哪個舊版本的 MySQL 服務(wù)器相兼容。值可以為
<font face="NSimsun">ansi、mysql323、mysql40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_tables_options、no_field_options</font>
等,要使用幾個值,用逗號將它們隔開。當然了,它并不保證能完全兼容,而是盡量兼容。 - –complete-insert,-c
導(dǎo)出的數(shù)據(jù)采用包含字段名的完整
<font face="NSimsun">INSERT</font>
方式,也就是把所有的值都寫在一行。這么做能提高插入效率,但是可能會受到<font face="NSimsun">max_allowed_packet</font>
參數(shù)的影響而導(dǎo)致插入失敗。因此,需要謹慎使用該參數(shù),至少我不推薦。 - –default-character-set=charset
指定導(dǎo)出數(shù)據(jù)時采用何種字符集,如果數(shù)據(jù)表不是采用默認的
<font face="NSimsun">latin1</font>
字符集的話,那么導(dǎo)出時必須指定該選項,否則再次導(dǎo)入數(shù)據(jù)后將產(chǎn)生亂碼問題。 - –disable-keys
告訴
<font face="NSimsun">mysqldump</font>
在<font face="NSimsun">INSERT</font>
語句的開頭和結(jié)尾增加<font face="NSimsun">/*!40000 ALTER TABLE table DISABLE KEYS */;</font>
和<font face="NSimsun">/*!40000 ALTER TABLE table ENABLE KEYS */;</font>
語句,這能大大提高插入語句的速度,因為它是在插入完所有數(shù)據(jù)后才重建索引的。該選項只適合<font face="NSimsun">MyISAM</font>
表。 - –extended-insert = true|false
默認情況下,
<font face="NSimsun">mysqldump</font>
開啟<font face="NSimsun">--complete-insert</font>
模式,因此不想用它的的話,就使用本選項,設(shè)定它的值為<font face="NSimsun">false</font>
即可。 - –hex-blob
使用十六進制格式導(dǎo)出二進制字符串字段。如果有二進制數(shù)據(jù)就必須使用本選項。影響到的字段類型有
<font face="NSimsun">BINARY、VARBINARY、BLOB</font>
。 - –lock-all-tables,-x
在開始導(dǎo)出之前,提交請求鎖定所有數(shù)據(jù)庫中的所有表,以保證數(shù)據(jù)的一致性。這是一個全局讀鎖,并且自動關(guān)閉
<font face="NSimsun">--single-transaction</font>
和<font face="NSimsun">--lock-tables</font>
選項。 - –lock-tables
它和
<font face="NSimsun">--lock-all-tables</font>
類似,不過是鎖定當前導(dǎo)出的數(shù)據(jù)表,而不是一下子鎖定全部庫下的表。本選項只適用于<font face="NSimsun">MyISAM</font>
表,如果是<font face="NSimsun">Innodb</font>
表可以用<font face="NSimsun">--single-transaction</font>
選項。 - –no-create-info,-t
只導(dǎo)出數(shù)據(jù),而不添加
<font face="NSimsun">CREATE TABLE</font>
語句。 - –no-data,-d
不導(dǎo)出任何數(shù)據(jù),只導(dǎo)出數(shù)據(jù)庫表結(jié)構(gòu)。
- –opt
這只是一個快捷選項,等同于同時添加
<font face="NSimsun">--add-drop-tables --add-locking --create-option --disable-keys --extended-insert --lock-tables --quick --set-charset</font>
選項。本選項能讓<font face="NSimsun">mysqldump</font>
很快的導(dǎo)出數(shù)據(jù),并且導(dǎo)出的數(shù)據(jù)能很快導(dǎo)回。該選項默認開啟,但可以用<font face="NSimsun">--skip-opt</font>
禁用。注意,如果運行<font face="NSimsun">mysqldump</font>
沒有指定<font face="NSimsun">--quick</font>
或<font face="NSimsun">--opt</font>
選項,則會將整個結(jié)果集放在內(nèi)存中。如果導(dǎo)出大數(shù)據(jù)庫的話可能會出現(xiàn)問題。 - –quick,-q
該選項在導(dǎo)出大表時很有用,它強制
<font face="NSimsun">mysqldump</font>
從服務(wù)器查詢?nèi)〉糜涗浿苯虞敵龆皇侨〉盟杏涗浐髮⑺鼈兙彺娴絻?nèi)存中。 - –routines,-R
導(dǎo)出存儲過程以及自定義函數(shù)。
- –single-transaction
該選項在導(dǎo)出數(shù)據(jù)之前提交一個
<font face="NSimsun">BEGIN</font>
SQL語句,<font face="NSimsun">BEGIN</font>
不會阻塞任何應(yīng)用程序且能保證導(dǎo)出時數(shù)據(jù)庫的一致性狀態(tài)。它只適用于事務(wù)表,例如<font face="NSimsun">InnoDB</font>
和<font face="NSimsun">BDB</font>
。
本選項和<font face="NSimsun">--lock-tables</font>
選項是互斥的,因為<font face="NSimsun">LOCK TABLES</font>
會使任何掛起的事務(wù)隱含提交。
要想導(dǎo)出大表的話,應(yīng)結(jié)合使用<font face="NSimsun">--quick</font>
選項。 - –triggers
同時導(dǎo)出觸發(fā)器。該選項默認啟用,用
<font face="NSimsun">--skip-triggers</font>
禁用它。
其他參數(shù)詳情請參考手冊,我通常使用以下 SQL 來備份 <font face="NSimsun">MyISAM</font>
表:
/usr/local/mysql/bin/mysqldump -uyejr -pyejr --default-character-set=utf8 --opt --extended-insert=false --triggers -R --hex-blob -x db_name > db_name.sql
使用以下 SQL 來備份 <font face="NSimsun">Innodb</font>
表:
/usr/local/mysql/bin/mysqldump -uyejr -pyejr --default-character-set=utf8 --opt --extended-insert=false --triggers -R --hex-blob --single-transaction db_name > db_name.sql
另外,如果想要實現(xiàn)在線備份,還可以使用 <font face="NSimsun">--master-data</font>
參數(shù)來實現(xiàn),如下:
/usr/local/mysql/bin/mysqldump -uyejr -pyejr --default-character-set=utf8 --opt --master-data=1 --single-transaction --flush-logs db_name > db_name.sql
它只是在一開始的瞬間請求鎖表,然后就刷新binlog了,而后在導(dǎo)出的文件中加入<font face="NSimsun">CHANGE MASTER</font>
語句來指定當前備份的binlog位置,如果要把這個文件恢復(fù)到slave里去,就可以采用這種方法來做。
1.2 還原
用 <font face="NSimsun">mysqldump</font>
備份出來的文件是一個可以直接倒入的 SQL 腳本,有兩種方法可以將數(shù)據(jù)導(dǎo)入。
- 直接用
<font face="NSimsun">mysql</font>
客戶端例如:
/usr/local/mysql/bin/mysql -uyejr -pyejr db_name < db_name.sql
- 用 SOURCE 語法
其實這不是標準的 SQL 語法,而是
<font face="NSimsun">mysql</font>
客戶端提供的功能,例如:SOURCE /tmp/db_name.sql;
這里需要指定文件的絕對路徑,并且必須是
<font face="NSimsun">mysqld</font>
運行用戶(例如 nobody)有權(quán)限讀取的文件。
2、 mysqlhotcopy
2.1 備份
<font face="NSimsun">mysqlhotcopy</font>
是一個 PERL 程序,最初由Tim Bunce編寫。它使用 <font face="NSimsun">LOCK TABLES、FLUSH TABLES</font>
和 <font face="NSimsun">cp</font>
或 <font face="NSimsun">scp</font>
來快速備份數(shù)據(jù)庫。它是備份數(shù)據(jù)庫或單個表的最快的途徑,但它只能運行在數(shù)據(jù)庫文件(包括數(shù)據(jù)表定義文件、數(shù)據(jù)文件、索引文件)所在的機器上。<font face="NSimsun">mysqlhotcopy</font>
只能用于備份 <font face="NSimsun">MyISAM</font>
,并且只能運行在 <font face="NSimsun">類Unix</font>
和 <font face="NSimsun">NetWare</font>
系統(tǒng)上。
<font face="NSimsun">mysqlhotcopy</font>
支持一次性拷貝多個數(shù)據(jù)庫,同時還支持正則表達。以下是幾個例子:
root#/usr/local/mysql/bin/mysqlhotcopy -h=localhost -u=yejr -p=yejr db_name /tmp (把數(shù)據(jù)庫目錄 <TT>db_name</TT> 拷貝到 <TT>/tmp</TT> 下) root#/usr/local/mysql/bin/mysqlhotcopy -h=localhost -u=yejr -p=yejr db_name_1 ... db_name_n /tmp root#/usr/local/mysql/bin/mysqlhotcopy -h=localhost -u=yejr -p=yejr db_name./regex/ /tmp
更詳細的使用方法請查看手冊,或者調(diào)用下面的命令來查看 <font face="NSimsun">mysqlhotcopy</font>
的幫助:
perldoc /usr/local/mysql/bin/mysqlhotcopy
注意,想要使用 <font face="NSimsun">mysqlhotcopy</font>
,必須要有 <font face="NSimsun">SELECT、RELOAD(要執(zhí)行 FLUSH TABLES)</font>
權(quán)限,并且還必須要能夠有讀取 datadir/db_name 目錄的權(quán)限。
2.2 還原
<font face="NSimsun">mysqlhotcopy</font>
備份出來的是整個數(shù)據(jù)庫目錄,使用時可以直接拷貝到 <font face="NSimsun">mysqld</font>
指定的 datadir (在這里是 /usr/local/mysql/data/)目錄下即可,同時要注意權(quán)限的問題,如下例:
root#cp -rf db_name /usr/local/mysql/data/ root#chown -R nobody:nobody /usr/local/mysql/data/ (將 db_name 目錄的屬主改成 <CODE>mysqld</CODE> 運行用戶)
3、 SQL 語法備份
3.1 備份
<font face="NSimsun">BACKUP TABLE</font>
語法其實和 <font face="NSimsun">mysqlhotcopy</font>
的工作原理差不多,都是鎖表,然后拷貝數(shù)據(jù)文件。它能實現(xiàn)在線備份,但是效果不理想,因此不推薦使用。它只拷貝表結(jié)構(gòu)文件和數(shù)據(jù)文件,不同時拷貝索引文件,因此恢復(fù)時比較慢。
例子:
BACK TABLE tbl_name TO '/tmp/db_name/';
注意,必須要有 <font face="NSimsun">FILE</font>
權(quán)限才能執(zhí)行本SQL,并且目錄 /tmp/db_name/ 必須能被 <font face="NSimsun">mysqld</font>
用戶可寫,導(dǎo)出的文件不能覆蓋已經(jīng)存在的文件,以避免安全問題。
<font face="NSimsun">SELECT INTO OUTFILE</font>
則是把數(shù)據(jù)導(dǎo)出來成為普通的文本文件,可以自定義字段間隔的方式,方便處理這些數(shù)據(jù)。
例子:
SELECT * INTO OUTFILE '/tmp/db_name/tbl_name.txt' FROM tbl_name;
注意,必須要有 <font face="NSimsun">FILE</font>
權(quán)限才能執(zhí)行本SQL,并且文件 /tmp/db_name/tbl_name.txt 必須能被 <font face="NSimsun">mysqld</font>
用戶可寫,導(dǎo)出的文件不能覆蓋已經(jīng)存在的文件,以避免安全問題。
3.2 恢復(fù)
用 <font face="NSimsun">BACKUP TABLE</font>
方法備份出來的文件,可以運行 <font face="NSimsun">RESTORE TABLE</font>
語句來恢復(fù)數(shù)據(jù)表。
例子:
RESTORE TABLE FROM '/tmp/db_name/';
權(quán)限要求類似上面所述。
用 <font face="NSimsun">SELECT INTO OUTFILE</font>
方法備份出來的文件,可以運行 <font face="NSimsun">LOAD DATA INFILE</font>
語句來恢復(fù)數(shù)據(jù)表。
例子:
LOAD DATA INFILE '/tmp/db_name/tbl_name.txt' INTO TABLE tbl_name;
權(quán)限要求類似上面所述。倒入數(shù)據(jù)之前,數(shù)據(jù)表要已經(jīng)存在才行。如果擔心數(shù)據(jù)會發(fā)生重復(fù),可以增加 <font face="NSimsun">REPLACE</font>
關(guān)鍵字來替換已有記錄或者用 <font face="NSimsun">IGNORE</font>
關(guān)鍵字來忽略他們。
4、 啟用二進制日志(binlog)
采用 <font face="NSimsun">binlog</font>
的方法相對來說更靈活,省心省力,而且還可以支持增量備份。
啟用 <font face="NSimsun">binlog</font>
時必須要重啟 <font face="NSimsun">mysqld</font>
。首先,關(guān)閉 <font face="NSimsun">mysqld</font>
,打開 <font face="NSimsun">my.cnf</font>
,加入以下幾行:
server-id = 1 log-bin = binlog log-bin-index = binlog.index
然后啟動 <font face="NSimsun">mysqld</font>
就可以了。運行過程中會產(chǎn)生 <font face="NSimsun">binlog.000001</font>
以及 <font face="NSimsun">binlog.index</font>
,前面的文件是 <font face="NSimsun">mysqld</font>
記錄所有對數(shù)據(jù)的更新操作,后面的文件則是所有 <font face="NSimsun">binlog</font>
的索引,都不能輕易刪除。關(guān)于 <font face="NSimsun">binlog</font>
的信息請查看手冊。
需要備份時,可以先執(zhí)行一下 SQL 語句,讓 <font face="NSimsun">mysqld</font>
終止對當前 <font face="NSimsun">binlog</font>
的寫入,就可以把文件直接備份,這樣的話就能達到增量備份的目的了:
FLUSH LOGS;
如果是備份復(fù)制系統(tǒng)中的從服務(wù)器,還應(yīng)該備份 master.info 和 relay-log.info 文件。
備份出來的 <font face="NSimsun">binlog</font>
文件可以用 MySQL 提供的工具 <font face="NSimsun">mysqlbinlog</font>
來查看,如:
/usr/local/mysql/bin/mysqlbinlog /tmp/binlog.000001
該工具允許你顯示指定的數(shù)據(jù)庫下的所有 SQL 語句,并且還可以限定時間范圍,相當?shù)姆奖?,詳細的請查看手冊?/p>
恢復(fù)時,可以采用類似以下語句來做到:
/usr/local/mysql/bin/mysqlbinlog /tmp/binlog.000001 | mysql -uyejr -pyejr db_name
把 <font face="NSimsun">mysqlbinlog</font>
輸出的 SQL 語句直接作為輸入來執(zhí)行它。
如果你有空閑的機器,不妨采用這種方式來備份。由于作為 <font face="NSimsun">slave</font>
的機器性能要求相對不是那么高,因此成本低,用低成本就能實現(xiàn)增量備份而且還能分擔一部分數(shù)據(jù)查詢壓力,何樂而不為呢?
5、 直接備份數(shù)據(jù)文件
相較前幾種方法,備份數(shù)據(jù)文件最為直接、快速、方便,缺點是基本上不能實現(xiàn)增量備份。為了保證數(shù)據(jù)的一致性,需要在靠背文件前,執(zhí)行以下 SQL 語句:
FLUSH TABLES WITH READ LOCK;
也就是把內(nèi)存中的數(shù)據(jù)都刷新到磁盤中,同時鎖定數(shù)據(jù)表,以保證拷貝過程中不會有新的數(shù)據(jù)寫入。這種方法備份出來的數(shù)據(jù)恢復(fù)也很簡單,直接拷貝回原來的數(shù)據(jù)庫目錄下即可。
注意,對于 <font face="NSimsun">Innodb</font>
類型表來說,還需要備份其日志文件,即 <font face="NSimsun">ib_logfile*</font>
文件。因為當 <font face="NSimsun">Innodb</font>
表損壞時,就可以依靠這些日志文件來恢復(fù)。
6、 備份策略
對于中等級別業(yè)務(wù)量的系統(tǒng)來說,備份策略可以這么定:第一次全量備份,每天一次增量備份,每周再做一次全量備份,如此一直重復(fù)。而對于重要的且繁忙的系統(tǒng)來說,則可能需要每天一次全量備份,每小時一次增量備份,甚至更頻繁。為了不影響線上業(yè)務(wù),實現(xiàn)在線備份,并且能增量備份,最好的辦法就是采用主從復(fù)制機制(<font face="NSimsun">replication</font>
),在 <font face="NSimsun">slave</font>
機器上做備份。
7、 數(shù)據(jù)維護和災(zāi)難恢復(fù)
作為一名DBA(我目前還不是,呵呵),最重要的工作內(nèi)容之一是保證數(shù)據(jù)表能安全、穩(wěn)定、高速使用。因此,需要定期維護你的數(shù)據(jù)表。以下 SQL 語句就很有用:
CHECK TABLE 或 REPAIR TABLE,檢查或維護 MyISAM 表 OPTIMIZE TABLE,優(yōu)化 MyISAM 表 ANALYZE TABLE,分析 MyISAM 表
當然了,上面這些命令起始都可以通過工具 <font face="NSimsun">myisamchk</font>
來完成,在這里不作詳述。
<font face="NSimsun">Innodb</font>
表則可以通過執(zhí)行以下語句來整理碎片,提高索引速度:
ALTER TABLE tbl_name ENGINE = Innodb;
這其實是一個 <font face="NSimsun">NULL</font>
操作,表面上看什么也不做,實際上重新整理碎片了。
通常使用的 <font face="NSimsun">MyISAM</font>
表可以用上面提到的恢復(fù)方法來完成。如果是索引壞了,可以用 <font face="NSimsun">myisamchk</font>
工具來重建索引。而對于 <font face="NSimsun">Innodb</font>
表來說,就沒這么直接了,因為它把所有的表都保存在一個表空間了。不過 <font face="NSimsun">Innodb</font>
有一個檢查機制叫 <font face="NSimsun">模糊檢查點</font>
,只要保存了日志文件,就能根據(jù)日志文件來修復(fù)錯誤??梢栽?<font face="NSimsun">my.cnf</font> 文件中,增加以下參數(shù),讓 <font face="NSimsun">mysqld</font>
在啟動時自動檢查日志文件:
innodb_force_recovery = 4
關(guān)于該參數(shù)的信息請查看手冊。
8、 總結(jié)
做好數(shù)據(jù)備份,定只好合適的備份策略,這是一個DBA所做事情的一小部分,萬事開頭難,就從現(xiàn)在開始吧!