本篇文章給大家帶來了對 oracle 的實時數據捕獲以及性能調優，將試用過程中的一些關鍵細節進行分享，希望對大家有幫助。
Flink CDC 于 2021 年 11 月 15 日發布了最新版本 2.1，該版本通過引入內置 Debezium 組件，增加了對 oracle 的支持。筆者第一時間下載了該版本進行試用并成功實現了對 Oracle 的實時數據捕獲以及性能調優，現將試用過程中的一些關鍵細節進行分享。
試用環境：
Oracle：11.2.0.4.0（RAC 部署）
Flink：1.13.1
Hadoop：3.2.1
通過 Flink on Yarn 方式部署使用
一、無法連接數據庫
根據官方文檔說明，在 Flink SQL CLI 中輸入以下語句：
create?table?TEST?(A?string) WITH?('connector'='oracle-cdc', ????'hostname'='10.230.179.125', ????'port'='1521', ????'username'='myname', ????'password'='***', ????'database-name'='MY_SERVICE_NAME', ????'schema-name'='MY_SCHEMA', ????'table-name'='TEST'?);
之后嘗試通過 select * from TEST 觀察，發現無法正常連接 Oracle，報錯如下：
[ERROR]?Could?not?execute?SQL?statement.?Reason: oracle.net.ns.NetException:?Listener?refused?the?connection?with?the?following?error: ORA-12505,?TNS:listener?does?not?currently?know?of?SID?given?in?connect?descriptor
從報錯信息來看，可能是由于 Flink CDC 誤將連接信息中提供的 MY_SERVICE_NAME (Oracle 的服務名) 錯認為 SID。于是嘗試閱讀 Flink CDC 涉及到 Oracle Connector 的源碼，發現在 com.ververica.cdc.connectors.oracle.OracleValidator 中，對于 Oracle 連接的代碼如下：
public?static?Connection?openConnection(Properties?properties)?throws?SQLException?{ ????DriverManager.registerDriver(new?oracle.jdbc.OracleDriver()); ????String?hostname?=?properties.getProperty("database.hostname"); ????String?port?=?properties.getProperty("database.port"); ????String?dbname?=?properties.getProperty("database.dbname"); ????String?userName?=?properties.getProperty("database.user"); ????String?userpwd?=?properties.getProperty("database.password"); ????return?DriverManager.getConnection( ????????????"jdbc:oracle:thin:@"?+?hostname?+?":"?+?port?+?":"?+?dbname,?userName,?userpwd); }
由上可以看出，在當前版本的 Flink CDC 中，對于 SID 和 Service Name 的連接方式并未做區分，而是直接在代碼中寫死了 SID 的連接方式 (即 port 和 dbname 中間使用 “ : ” 分隔開)。
從 Oracle 8i 開始，Oracle 已經引入了 Service Name 的概念以支持數據庫的集群 (RAC) 部署，一個 Service Name 可作為一個數據庫的邏輯概念，統一對該數據庫不同的 SID 實例的連接。據此，可以考慮以下兩種方式：
在 Flink CDC 的 create table 語句中，將 database-name 由 Service Name 替換成其中一個 SID。該方式能解決連接問題，但無法適應主流的 Oracle 集群部署的真實場景；
對該源碼進行修改。具體可在新建工程中，重寫 com.ververica.cdc.connectors.oracle.OracleValidator 方法，修改為 Service Name 的連接方式 (即 port 和 dbname 中間使用 “ / ” 分隔開)，即：
“jdbc:oracle:thin:@” + hostname + “:” + port + “/” + dbname, userName, userpwd);
筆者采用的就是第二種方法，實現了正常連接數據庫的同時，保留對 Oracle Service Name 特性的使用。
二、無法找到 Oracle 表
按照上述步驟，再次通過 select * from TEST 觀察，發現依然無法正常獲取數據，報錯如下：
[ERROR]?Could?not?execute?SQL?statement.?Reason: io.debezium.DebeziumException:?Supplemental?logging?not?configured?for?table?MY_SERVICE_NAME.MY_SCHEMA.test.??Use?command:?ALTER?TABLE?MY_SCHEMA.test?ADD?SUPPLEMENTAL?LOG?DATA?(ALL)?COLUMNS
觀察到錯誤日志中提到的表是 MY_SERVICE_NAME.MY_SCHEMA.test，為什么數據庫名、Schema 名都是大寫，而表名是小寫？
注意到該錯誤由 io.debezium 包報出，通過分析該包的源代碼 (通過 Flink CDC 的 pom.xml 文件可知，目前使用的是 debezium 1.5.4 版本) 可知，在 io.debezium.relational.Tables 中有如下代碼：
private?TableId?toLowerCaseIfNeeded(TableId?tableId)?{ ????return?tableIdCaseInsensitive???tableId.toLowercase()?:?tableId; }
可見，Debezium 的開發者將 “大小寫不敏感” 統一定義為了 “需要將表名轉換為小寫”。對于 Debezium 支持的 PostgreSQL、Mysql 等確實如此。然而對于 Oracle 數據庫，“大小寫不敏感” 卻意味著在內部元信息存儲時，需要將表名轉換為大寫
因而 Debezium 在讀取到 “大小寫不敏感” 的配置后，按照上述代碼邏輯，只會因為嘗試去讀取小寫的表名而報錯。
由于 Debezium 直到目前最新的穩定版本 1.7.1，以及最新的開發版本 1.8.0 都未修復該問題，我們可以通過以下兩種方法繞過該問題：
如需使用 Oracle “大小寫不敏感” 的特性，可直接修改源碼，將上述 toLowercase 修改為 toUppercase (這也是筆者選擇的方法)；
如果不愿意修改源碼，且無需使用 Oracle “大小寫不敏感” 的特性，可以在 create 語句中加上 ‘debezium.database.tablename.case.insensitive’=’false’，如下示例：
create?table?TEST?(A?string) WITH?('connector'='oracle-cdc', ????'hostname'='10.230.179.125', ????'port'='1521', ????'username'='myname', ????'password'='***', ????'database-name'='MY_SERVICE_NAME', 'schema-name'='MY_SCHEMA', 'table-name'='TEST', 'debezium.database.tablename.case.insensitive'='false'?);
該方法的弊端是喪失了 Oracle “大小寫不敏感” 的特性，在 ‘table-name’ 中必須顯式指定大寫的表名。
需要注明的是，對于 database.tablename.case.insensitive 參數，Debezium 目前僅對 Oracle 11g 默認設置為 true，對其余 Oracle 版本均默認設置為 false。所以讀者如果使用的不是 Oracle 11g 版本，可無需修改該參數，但仍需顯式指定大寫的表名。
三、數據延遲較大
數據延遲較大，有時需要 3-5 分鐘才能捕捉到數據變化。對于該問題，在 Flink CDC FAQ 中已給出了明確的解決方案：在 create 語句中加上如下兩個配置項：
'debezium.log.mining.strategy'='online_catalog', 'debezium.log.mining.continuous.mine'='true'
那么為什么要這樣做呢？我們依然可以通過分析源碼和日志，結合 Oracle Logminer 的工作原理來加深對工具的理解。
對 Logminer 的抽取工作，主要在 Debezium 的 io.debezium.connector.oracle.logminer.LogMinerStreamingChangeEventSource 中 execute 方法進行。為節約篇幅，本文不列出實際的源碼，僅提煉出關鍵過程繪于下面的流程圖，有興趣的讀者可以對照該流程圖，結合實際源碼進行分析：
采用 redo_log_catalog 的方式，可以監控數據表的 DDL 信息，且由于 archive logs 被永久保存到磁盤上，可以在數據庫宕機后依然正常獲取到宕機前的所有 DDL 和 DML 操作。但由于涉及到比 online catalog 更多的信息監控，以及由此帶來的頻繁的日志切換和日志轉儲操作，其代價也是驚人的。
根據筆者實際測試情況，如果 debezium.log.mining.strategy 為默認配置 redo_log_catalog，則不僅需要多執行第 ① 步操作 (該操作耗時約為半分鐘到 1 分鐘之間)，在第 ④ 步，根據 archived logs 的數據量，耗時也會在 1 分鐘到 4 分鐘之間浮動；在第 ⑤ 步，實際查詢 V$LOGMNR_CONTENTS 視圖也常常需要十幾秒才能完成。
此外，由于 archive logs 在實際系統中增長速度較快，因此在實際使用中，常會配合進行定期刪除或轉儲過期日志的操作。由于上述第 ④ 步的耗時較長，筆者觀察到在第 ④ 步執行的過程中，在一定概率下會發生第 ② 步加入的a rchive logs 已過期而被刪除轉儲的情況，于是在第 ⑤ 步查詢的時候，會由于找不到第 ② 步加入的日志，而報下面的錯誤：
ORA-00308:?cannot?open?archive?log?'/path/to/archive/log/...' ORA-27037:?unable?to?obtain?file?status
一般來說，Flink CDC 所需要監控的表，特別是對于業務系統有重大意義的表，一般不會進行 DDL 操作，僅需要捕捉 DML 操作即可，且對于數據庫宕機等極特殊情況，也可使用在數據庫恢復后進行全量數據更新的方式保障數據的一致性。因而，online_catalog 的方式足以滿足我們的需要。
另外，無論使用 online_catalog，還是默認的 redo_log_catalog，都會存在第 ② 步找到的日志和第 ⑤ 步實際需要的日志不同步的問題，因此，加入 ‘debezium.log.mining.continuous.mine’=’true’ 參數，將實時搜集日志的工作交給 Oracle 自動完成，即可規避這一問題。
筆者按照這兩個參數配置后，數據延遲一般可以從數分鐘降至 5 秒鐘左右。
四、調節參數繼續降低數據延遲
上述流程圖的第 ③ 步和第 ⑦ 步，提到了根據配置項來確定 LogMiner 監控時序范圍，以及確定休眠時間。下面對該過程進行進一步分析，并對單個表的進一步調優給出一般性的方法論。
通過觀察 io.debezium.connector.oracle.logminer.LogMinerHelper 類中的 getEndScn 方法，可了解到 debezium 對監控時序范圍和休眠時間的調節原理。為便于讀者理解，將該方法用流程圖說明如下：
從上述的流程圖中可以看出，debezium 給出 log.mining.batch.size.* 和 log.mining.sleep.time.* 兩組參數，就是為了讓每一次 logMiner 運行的步長能夠盡可能和數據庫自身 SCN 增加的步長一致。由此可見：
log.mining.batch.size.* 和 log.mining.sleep.time.* 參數的設定，和數據庫整體的表現有關，和單個表的數據變化情況無關；
log.mining.batch.size.default 不僅僅是監控時序范圍的起始值，還是監控時序范圍變化的閾值。所以如果要實現更靈活的監控時序范圍調整，可考慮適當減小該參數；
由于每一次確定監控時序范圍時，都會根據 topScn 和 currentScn 的大小來調整 sleepTime，所以為了實現休眠時間更靈活的調整，可考慮適當增大 log.mining.sleep.time.increment.ms；
log.mining.batch.size.max 不能過小，否則會有監控時序范圍永遠無法追上數據庫當前 SCN 的風險。為此，debezium 在 io.debezium.connector.oracle.OracleStreamingChangeEventSourceMetrics 中存在以下邏輯：
if?(currentBatchSize?==?batchSizeMax)?{ ????LOGGER.info("LogMiner?is?now?using?the?maximum?batch?size?{}.?This?could?be?indicative?of?large?SCN?gaps",?currentBatchSize); }
如果當前的監控時序范圍達到了 log.mining.batch.size.max，那么 debezium 會在日志中給出如上提示。在實際應用中，觀察 Flink CDC 產生的 log 是否包含該提示，便可得知 log.mining.batch.size.max 的值是否合理。
五、Debezium Oracle Connector 的隱藏參數
事實上從上文中我們已經了解到了兩個隱藏參數：debezium.database.tablename.case.insensitive (見第二節內容) 和 debezium.log.mining.continuous.mine (見第三節內容)，這兩個參數在 Debezium 的官方文檔中均未給出實際說明，但實際上可以使用。通過分析源碼，現給出 Debezium Oracle Connector 的所有隱藏參數，以及其說明如下：
筆者認為除了上面我們已經用到的兩個參數以外，同樣值得重點關注的是 log.mining.history.recorder.class 參數。由于該參數目前默認為 io.debezium.connector.oracle.logminer.NeverHistoryRecorder，是一個空類，所以我們在分析 Flink CDC 行為時，通過自定義實現 io.debezium.connector.oracle.logminer.HistoryRecorder 接口的類，可在不修改源碼的情況下，實現對 Flink CDC 行為的個性化監控。
推薦教程：《Oracle教程》
