Merge pull request #29246 from taosdata/docs/add-exception-handling-s…

…trategy

docs: add exception handling strategy for data migration tasks

docs/zh/06-advanced/05-data-in/07-mqtt.md → docs/zh/06-advanced/05-data-in/07-mqtt.mdx

@@ -166,6 +166,12 @@ json 数据支持 JSONObject 或者 JSONArray，使用 json 解析器可以解
 
 ![mqtt-14](./mqtt-14.png)
 
-### 8. 创建完成
+### 8. 异常处理策略
+
+import Contributing from './_03-exception-handling-strategy.mdx'
+
+<Contributing />
+
+### 9. 创建完成
 
 点击 **提交** 按钮，完成创建 MQTT 到 TDengine 的数据同步任务，回到**数据源列表**页面可查看任务执行情况。

docs/zh/06-advanced/05-data-in/08-kafka.md → docs/zh/06-advanced/05-data-in/08-kafka.mdx

@@ -196,12 +196,16 @@ json 数据支持 JSONObject 或者 JSONArray，使用 json 解析器可以解
 
 ### 8. 配置高级选项
 
-**高级选项** 区域是默认折叠的，点击右侧 `>` 可以展开，如下图所示：
+import AdvancedOptions from './_02-advanced_options.mdx'
 
-![kafka-15.png](./kafka-15.png)
+<AdvancedOptions/>
 
-![kafka-16.png](./kafka-16.png)
+### 9. 异常处理策略
 
-### 9. 创建完成
+import Contributing from './_03-exception-handling-strategy.mdx'
+
+<Contributing />
+
+### 10. 创建完成
 
 点击 **提交** 按钮，完成创建 Kafka 到 TDengine 的数据同步任务，回到**数据源列表**页面可查看任务执行情况。

docs/zh/06-advanced/05-data-in/09-influxdb.md → docs/zh/06-advanced/05-data-in/09-influxdb.mdx

@@ -75,9 +75,9 @@ InfluxDB 是一种流行的开源时间序列数据库，它针对处理大量
 
 ### 6. 配置高级选项
 
-**高级选项** 区域是默认折叠的，点击右侧 `>` 可以展开，如下图所示：
-![InfluxDB-09zh-AdvancedOptionsExpandButton.png](./pic/InfluxDB-09zh-AdvancedOptionsExpandButton.png "高级选项展开按钮")
-![InfluxDB-10zh-AdvancedOptionsExpand.png](./pic/InfluxDB-10zh-AdvancedOptionsExpand.png "高级选项展开按钮")
+import AdvancedOptions from './_02-advanced_options.mdx'
+
+<AdvancedOptions/>
 
 ### 7. 创建完成
 

docs/zh/06-advanced/05-data-in/10-opentsdb.md → docs/zh/06-advanced/05-data-in/10-opentsdb.mdx

@@ -58,9 +58,9 @@ OpenTSDB 是一个架构在 HBase 系统之上的实时监控信息收集和展
 
 ### 5. 配置高级选项
 
-**高级选项** 区域是默认折叠的，点击右侧 `>` 可以展开，如下图所示：
-![OpenTSDB-07zh-AdvancedOptionsExpandButton.png](./pic/OpenTSDB-07zh-AdvancedOptionsExpandButton.png "高级选项展开按钮")
-![OpenTSDB-08zh-AdvancedOptionsExpand.png](./pic/OpenTSDB-08zh-AdvancedOptionsExpand.png "高级选项展开按钮")
+import AdvancedOptions from './_02-advanced_options.mdx'
+
+<AdvancedOptions/>
 
 ### 6. 创建完成
 

docs/zh/06-advanced/05-data-in/11-csv.md → docs/zh/06-advanced/05-data-in/11-csv.mdx

@@ -107,13 +107,25 @@ sidebar_label: "CSV"
 
 ![csv-09.png](./csv-09.png)
 
-### 5. 创建完成
+### 5. 配置高级选项
+
+import AdvancedOptions from './_02-advanced_options.mdx'
+
+<AdvancedOptions/>
+
+### 6. 异常处理策略
+
+import Contributing from './_03-exception-handling-strategy.mdx'
+
+<Contributing />
+
+### 7. 创建完成
 
 点击 **提交** 按钮，完成创建 CSV 到 TDengine 的数据同步任务，回到数据写入任务列表页面，可查看任务执行情况，也可以进行任务的“启动/停止”操作与“查看/编辑/删除/复制”操作。
 
 ![csv-10.png](./csv-10.png)
 
-### 6. 查看运行指标
+### 8. 查看运行指标
 
 点击 **查看** 按钮，查看任务的运行指标，同时也可以查看任务中所有文件的处理情况。
 

docs/zh/06-advanced/05-data-in/12-aveva-historian.md → docs/zh/06-advanced/05-data-in/12-aveva-historian.mdx

@@ -134,6 +134,12 @@ split 提取器，seperator 填写分割符 `,`, number 填写 2。
 
 ![aveva-historian-08.png](pic/aveva-historian-08.png)
 
-### 7. 创建完成
+### 7. 异常处理策略
+
+import Contributing from './_03-exception-handling-strategy.mdx'
+
+<Contributing />
+
+### 8. 创建完成
 
 点击 **提交** 按钮，完成创建任务。提交任务后，回到**数据写入**页面可以查看任务状态。

docs/zh/06-advanced/05-data-in/13-mysql.md → docs/zh/06-advanced/05-data-in/13-mysql.mdx

@@ -98,14 +98,16 @@ MySQL 是最流行的关系型数据库之一。很多系统都曾经或正在
 
 ### 8. 配置高级选项
 
-**高级选项** 区域是默认折叠的，点击右侧 `>` 可以展开，如下图所示：
+import AdvancedOptions from './_02-advanced_options.mdx'
 
-**最大读取并发数** 数据源连接数或读取线程数限制，当默认参数不满足需要或需要调整资源使用量时修改此参数。
+<AdvancedOptions/>
 
-**批次大小** 单次发送的最大消息数或行数。默认是 10000。
+### 9. 异常处理策略
 
-![mysql-07.png](pic/mysql-07.png)
+import Contributing from './_03-exception-handling-strategy.mdx'
 
-### 9. 创建完成
+<Contributing />
+
+### 10. 创建完成
 
 点击 **提交** 按钮，完成创建  MySQL 到 TDengine 的数据同步任务，回到**数据源列表**页面可查看任务执行情况。

docs/zh/06-advanced/05-data-in/14-postgres.md → docs/zh/06-advanced/05-data-in/14-postgres.mdx

@@ -99,14 +99,16 @@ TDengine 可以高效地从 PostgreSQL 读取数据并将其写入 TDengine，
 
 ### 8. 配置高级选项
 
-**高级选项** 区域是默认折叠的，点击右侧 `>` 可以展开，如下图所示：
+import AdvancedOptions from './_02-advanced_options.mdx'
 
-**最大读取并发数** 数据源连接数或读取线程数限制，当默认参数不满足需要或需要调整资源使用量时修改此参数。
+<AdvancedOptions/>
 
-**批次大小** 单次发送的最大消息数或行数。默认是 10000。
+### 9. 异常处理策略
 
-![postgres-07.png](pic/postgres-07.png)
+import Contributing from './_03-exception-handling-strategy.mdx'
 
-### 9. 创建完成
+<Contributing />
+
+### 10. 创建完成
 
 点击 **提交** 按钮，完成创建 PostgreSQL 到 TDengine 的数据同步任务，回到**数据源列表**页面可查看任务执行情况。

docs/zh/06-advanced/05-data-in/15-oracle.md → docs/zh/06-advanced/05-data-in/15-oracle.mdx

@@ -91,14 +91,16 @@ TDengine 可以高效地从 Oracle 读取数据并将其写入 TDengine，以实
 
 ### 7. 配置高级选项
 
-**高级选项** 区域是默认折叠的，点击右侧 `>` 可以展开，如下图所示：
+import AdvancedOptions from './_02-advanced_options.mdx'
 
-**最大读取并发数** 数据源连接数或读取线程数限制，当默认参数不满足需要或需要调整资源使用量时修改此参数。
+<AdvancedOptions/>
 
-**批次大小** 单次发送的最大消息数或行数。默认是 10000。
+### 8. 异常处理策略
 
-![oracle-06.png](pic/oracle-06.png)
+import Contributing from './_03-exception-handling-strategy.mdx'
 
-### 8. 创建完成
+<Contributing />
+
+### 9. 创建完成
 
 点击 **提交** 按钮，完成创建 Oracle 到 TDengine 的数据同步任务，回到**数据源列表****页面可查看任务执行情况。

docs/zh/06-advanced/05-data-in/16-mssql.md → docs/zh/06-advanced/05-data-in/16-mssql.mdx

@@ -105,14 +105,16 @@ Microsoft SQL Server 是最流行的关系型数据库之一。很多系统都
 
 ### 8. 配置高级选项
 
-**高级选项** 区域是默认折叠的，点击右侧 `>` 可以展开，如下图所示：
+import AdvancedOptions from './_02-advanced_options.mdx'
 
-**最大读取并发数** 数据源连接数或读取线程数限制，当默认参数不满足需要或需要调整资源使用量时修改此参数。
+<AdvancedOptions/>
 
-**批次大小** 单次发送的最大消息数或行数。默认是 10000。
+### 9. 异常处理策略
 
-![mssql-07.png](pic/mssql-07.png)
+import Contributing from './_03-exception-handling-strategy.mdx'
 
-### 9. 创建完成
+<Contributing />
+
+### 10. 创建完成
 
 点击 **提交** 按钮，完成创建  Microsoft SQL Server 到 TDengine 的数据同步任务，回到**数据源列表**页面可查看任务执行情况。

docs/zh/06-advanced/05-data-in/17-mongodb.md → docs/zh/06-advanced/05-data-in/17-mongodb.mdx

@@ -122,14 +122,16 @@ MongoDB 是一个介于关系型数据库与非关系型数据库之间的产品
 
 ### 8. 配置高级选项
 
-**高级选项** 区域是默认折叠的，点击右侧 `>` 可以展开，如下图所示：
+import AdvancedOptions from './_02-advanced_options.mdx'
 
-**最大读取并发数** 数据源连接数或读取线程数限制，当默认参数不满足需要或需要调整资源使用量时修改此参数。
+<AdvancedOptions/>
 
-**批次大小** 单次发送的最大消息数或行数。默认是 10000。
+### 9. 异常处理策略
 
-![mongodb-07.png](pic/mongodb-07.png)
+import Contributing from './_03-exception-handling-strategy.mdx'
 
-### 9. 创建完成
+<Contributing />
+
+### 10. 创建完成
 
 点击 **提交** 按钮，完成创建 MongoDB 到 TDengine 的数据同步任务，回到**数据源列表**页面可查看任务执行情况。

docs/zh/06-advanced/05-data-in/_02-advanced_options.mdx

@@ -0,0 +1,7 @@
+**高级选项** 区域是默认折叠的，点击右侧 `>` 可以展开，如下图所示：
+
+**最大读取并发数** 数据源连接数或读取线程数限制，当默认参数不满足需要或需要调整资源使用量时修改此参数。
+
+**批次大小** 单次发送的最大消息数或行数。默认是 10000。
+
+![advanced_options.png](pic/advanced_options.png)

docs/zh/06-advanced/05-data-in/_03-exception-handling-strategy.mdx

@@ -0,0 +1,23 @@
+异常处理策略区域是对数据异常时的处理策略进行配置，默认折叠的，点击右侧 `>` 可以展开，如下图所示：
+
+![exception-handling-strategy.png](pic/exception-handling-strategy.png)
+
+各异常项说明及相应可选处理策略如下：
+
+> 通用处理策略说明：  
+> 归档：将异常数据写入归档文件（默认路径为 `${data_dir}/tasks/_id/.datetime`），不写入目标库  
+> 丢弃：将异常数据忽略，不写入目标库  
+> 报错：任务报错
+
+- **主键时间戳溢出** 检查数据中第一列时间戳是否在正确的时间范围内（now - keep1, now + 100y），可选处理策略：归档、丢弃、报错
+- **主键时间戳空** 检查数据中第一列时间戳是否为空，可选处理策略：归档、丢弃、报错、使用当前时间
+  > 使用当前时间：使用当前时间填充到空的时间戳字段中
+- **表名长度溢出** 检查子表表名的长度是否超出限制（最大 192 字符），可选处理策略：归档、丢弃、报错、截断、截断且归档
+  > 截断：截取原始表名的前 192 个字符作为新的表名  
+  > 截断且归档：截取原始表名的前 192 个字符作为新的表名，并且将此行记录写入归档文件
+- **表名非法字符** 检查子表表名中是否包含特殊字符（符号 `.` 等），可选处理策略：归档、丢弃、报错、非法字符替换为指定字符串
+  > 非法字符替换为指定字符串：将原始表名中的特殊字符替换为后方输入框中的指定字符串，例如 `a.b` 替换为 `a_b`
+- **表名模板变量空值** 检查子表表名模板中的变量是否为空，可选处理策略：丢弃、留空、变量替换为指定字符串
+  > 留空：变量位置不做任何特殊处理，例如 `a_{x}` 转换为 `a_`
+  > 变量替换为指定字符串：变量位置使用后方输入框中的指定字符串，例如 `a_{x}` 转换为 `a_b`
+- **列名长度溢出** 检查列名的长度是否超出限制（最大 64 字符），可选处理策略：归档、丢弃、报错