修复BOS实际表字段迁移并发布1.0.20

This commit is contained in:
chen qiang
2026-09-03 13:41:59 +08:00
parent 1be3c31ec1
commit 88af651eb4
7 changed files with 207 additions and 17 deletions
+8 -2
View File
@@ -91,7 +91,7 @@
单字段 SQL 写入目标库时,限定值组按名称、限定值按组和值判断,只补充缺失项;引用元数据按引用表名和字段 `DBNAME` 映射,目标引用字段不存在或不唯一时直接报错,不自动创建。 单字段 SQL 写入目标库时,限定值组按名称、限定值按组和值判断,只补充缺失项;引用元数据按引用表名和字段 `DBNAME` 映射,目标引用字段不存在或不唯一时直接报错,不自动创建。
单字段读取还会查询源库 `USER_TABLES`、`USER_TAB_COLUMNS`。源对象是物理表且源字段存在时,输出文件首先检查目标库物理表和字段:目标表不存在时报错,目标字段不存在时按源字段的数据类型、长度、精度和字符语义执行 `ALTER TABLE ... ADD`。源对象是视图或 BOS 计算字段时不生成物理字段 DDL。 BOS 单字段读取先按 `AD_TABLE.NAME` 定位 BOS 表;`REALTABLE_ID` 非空时沿 `REALTABLE_ID -> AD_TABLE.ID` 解析最终实际表名称,支持多级映射,映射记录缺失、不唯一或循环引用时报错。BOS 配置仍按原 BOS 表名导出,物理字段按最终实际表名读取和写入。同名表或映射后的实际表必须命中 `USER_TABLES`,并排除 `USER_VIEWS`、`USER_MVIEWS`(物化视图也可能出现在 `USER_TABLES` 中)。源物理字段存在时,输出文件先检查目标同名普通物理表和字段:目标表不存在或为视图/物化视图时报错,目标字段不存在时按源字段类型、长度、精度和字符语义执行 `ALTER TABLE ... ADD`,已存在则跳过物理 DDL。源对象是视图、物化视图或源物理字段不存在时仅导出 BOS 配置。独立“表字段”页签不解析 BOS 映射。
写入流程:索引项 -> 读取对应 `data/*_{后缀}.txt` -> `DbServices.ExecuteCreate` -> 在目标库执行 -> 更新写入状态。批量写入遇到第一条失败即停止,并在内存中记录断点;断点不会跨进程持久化。 写入流程:索引项 -> 读取对应 `data/*_{后缀}.txt` -> `DbServices.ExecuteCreate` -> 在目标库执行 -> 更新写入状态。批量写入遇到第一条失败即停止,并在内存中记录断点;断点不会跨进程持久化。
@@ -147,7 +147,13 @@ dotnet build .\henlo_migration_wpf10\henlo_migration_wpf10.csproj -c Debug
dotnet build .\henlo_migration_wpf10\henlo_migration_wpf10.csproj -c Debug --no-restore dotnet build .\henlo_migration_wpf10\henlo_migration_wpf10.csproj -c Debug --no-restore
``` ```
当前没有测试项目。最低验证要求: 离线 BOS 实际表/字段回归(使用模拟元数据,不启动应用、不连接数据库):
```powershell
dotnet run --project .\tests\BosPhysicalColumnRegression\BosPhysicalColumnRegression.csproj
```
最低验证要求:
1. 所有 C#/XAML 修改至少执行一次主项目构建。 1. 所有 C#/XAML 修改至少执行一次主项目构建。
2. 仅文档修改可不构建,但要重新读取文件检查 Markdown、路径和命令。 2. 仅文档修改可不构建,但要重新读取文件检查 Markdown、路径和命令。
+7
View File
@@ -1,5 +1,12 @@
# 更新记录 # 更新记录
## 1.0.20 - 2026-09-03
### 修复
- BOS 字段迁移按 `REALTABLE_ID` 解析实际表,目标实际字段已存在则跳过物理 DDL,不存在才新增;BOS 配置仍迁移到原 BOS 表。
- 普通视图、物化视图不再生成物理字段 DDL;增加映射缺失、重复和循环引用检查及离线回归用例。
## 1.0.19 - 2026-08-26 ## 1.0.19 - 2026-08-26
### 新增 ### 新增
+2 -1
View File
@@ -116,7 +116,8 @@ BOS 单字段配置生成
`pre/hmig_get_table_bos_field_31.prc` 自动安装后再读取。 `pre/hmig_get_table_bos_field_31.prc` 自动安装后再读取。
单字段配置写入时,目标库缺少的限定值组和限定值会自动补充;引用字段只做存在性和唯一性检查,不存在或不唯一时停止并报错。 单字段配置写入时,目标库缺少的限定值组和限定值会自动补充;引用字段只做存在性和唯一性检查,不存在或不唯一时停止并报错。
若源对象是物理表且存在同名物理字段,生成的 SQL 还会检查目标表字段,并在字段缺失时按源字段类型执行 `ALTER TABLE ... ADD`;目标物理表不存在时直接报错。视图字段和 BOS 计算字段不会创建物理字段。 BOS 单字段读取会先解析 `AD_TABLE.REALTABLE_ID`:未设置时使用原 BOS 表名,已设置时沿映射找到最终实际表名(支持多级映射,缺失、不唯一或循环引用时报错)。物理字段读取和目标库写入均使用实际表名,BOS 配置仍按原 BOS 表名迁移。
只有实际对象是普通物理表且源字段存在时,才生成 `ALTER TABLE ... ADD`:写入前检查目标实际表字段,已存在则跳过物理 DDL,不存在才新增;目标实际表不存在或为视图/物化视图时报错。源普通视图、物化视图和没有物理字段的 BOS 计算字段仅导出 BOS 配置,不生成物理 DDL。独立“表字段”页签不受此 BOS 映射规则影响。
### 3. 基本操作流程 ### 3. 基本操作流程
+57 -13
View File
@@ -368,10 +368,10 @@ namespace henlo_migration.Services
else else
bosSql = output.Value.ToString() ?? ""; bosSql = output.Value.ToString() ?? "";
// 旧版过程输出中的说明只针对其自身生成的 BOS 块;最终文件已在开头加入物理字段检查。 // 文件开头会说明物理字段的实际表来源;视图和物化视图不生成物理字段 DDL。
bosSql = bosSql.Replace( bosSql = bosSql.Replace(
"-- 注意:本文件不包含 Oracle 物理字段 DDL。", "-- 注意:本文件不包含 Oracle 物理字段 DDL。",
"-- BOS 字段配置块;物理字段检查位于本文件开头。", "-- BOS 字段配置块;是否包含物理字段 DDL 请参见本文件开头说明。",
StringComparison.Ordinal); StringComparison.Ordinal);
return physicalColumnSql + bosSql; return physicalColumnSql + bosSql;
} }
@@ -382,26 +382,67 @@ namespace henlo_migration.Services
} }
} }
/// <summary>生成目标库物理字段存在性检查;源对象不是物理表或字段时只输出说明</summary> /// <summary>解析 BOS 实际表,仅为普通物理表生成字段检查,排除视图和物化视图</summary>
private static string BuildPhysicalColumnEnsureSql(string tableName, string columnName) private static string BuildPhysicalColumnEnsureSql(string tableName, string columnName)
{ {
var db = SqlSugarHelper.DbOrig; var db = SqlSugarHelper.DbOrig;
int sourceTableCount = db.Ado.GetInt( return BuildPhysicalColumnEnsureSql(tableName, columnName,
"SELECT COUNT(*) FROM USER_TABLES WHERE TABLE_NAME = :table_name", (sql, parameters) => db.Ado.GetDataTable(sql, parameters));
new SugarParameter("table_name", tableName)); }
if (sourceTableCount == 0)
return $"-- 源库对象 {tableName} 不是物理表,不生成物理字段 DDL。\n";
var columnResult = db.Ado.GetDataTable(@" // 查询委托便于离线验证分类分支,避免回归测试连接真实 Oracle。
private static string BuildPhysicalColumnEnsureSql(string tableName, string columnName,
Func<string, SugarParameter[], DataTable> query)
{
var bosTables = query(
"SELECT ID, NAME, REALTABLE_ID FROM AD_TABLE WHERE UPPER(NAME) = :table_name",
new[] { new SugarParameter("table_name", tableName) });
if (bosTables.Rows.Count == 0)
throw new InvalidOperationException($"BOS表[{tableName}]不存在");
if (bosTables.Rows.Count != 1)
throw new InvalidOperationException($"BOS表[{tableName}]存在多条AD_TABLE配置");
string bosTableName = tableName;
var visited = new HashSet<decimal>();
DataRow bosTable = bosTables.Rows[0];
while (true)
{
if (!visited.Add(Convert.ToDecimal(bosTable["ID"])))
throw new InvalidOperationException($"BOS表[{bosTableName}]的 REALTABLE_ID 存在循环引用。");
tableName = bosTable["NAME"]?.ToString()?.Trim().ToUpperInvariant() ?? "";
if (string.IsNullOrWhiteSpace(tableName))
throw new InvalidOperationException($"BOS表[{bosTableName}]的实际表名称为空。");
if (bosTable["REALTABLE_ID"] == DBNull.Value)
break;
var realTables = query(
"SELECT ID, NAME, REALTABLE_ID FROM AD_TABLE WHERE ID = :table_id",
new[] { new SugarParameter("table_id", bosTable["REALTABLE_ID"]) });
if (realTables.Rows.Count != 1)
throw new InvalidOperationException($"BOS表[{bosTableName}]的 REALTABLE_ID 指向的表配置不存在或不唯一。");
bosTable = realTables.Rows[0];
}
string sourceNote = $"-- BOS表 {bosTableName} 的物理字段来源:{tableName}.{columnName}\n";
var sourceTables = query(@"
SELECT COUNT(*) FROM USER_TABLES t
WHERE t.TABLE_NAME = :table_name
AND NOT EXISTS (SELECT 1 FROM USER_VIEWS v WHERE v.VIEW_NAME = t.TABLE_NAME)
AND NOT EXISTS (SELECT 1 FROM USER_MVIEWS m WHERE m.MVIEW_NAME = t.TABLE_NAME)",
new[] { new SugarParameter("table_name", tableName) });
int sourceTableCount = Convert.ToInt32(sourceTables.Rows[0][0]);
if (sourceTableCount == 0)
return sourceNote + $"-- 源库对象 {tableName} 不是普通物理表(可能为视图或物化视图),仅导出 BOS 字段配置。\n";
var columnResult = query(@"
SELECT DATA_TYPE, DATA_LENGTH, DATA_PRECISION, DATA_SCALE, SELECT DATA_TYPE, DATA_LENGTH, DATA_PRECISION, DATA_SCALE,
CHAR_LENGTH, CHAR_USED CHAR_LENGTH, CHAR_USED
FROM USER_TAB_COLUMNS FROM USER_TAB_COLUMNS
WHERE TABLE_NAME = :table_name WHERE TABLE_NAME = :table_name
AND COLUMN_NAME = :column_name", AND COLUMN_NAME = :column_name",
new SugarParameter("table_name", tableName), new[] { new SugarParameter("table_name", tableName),
new SugarParameter("column_name", columnName)); new SugarParameter("column_name", columnName) });
if (columnResult.Rows.Count == 0) if (columnResult.Rows.Count == 0)
return $"-- 源库物理表 {tableName} 不存在字段 {columnName},仅导出 BOS 字段配置。\n"; return sourceNote + $"-- 源库物理表 {tableName} 不存在字段 {columnName},仅导出 BOS 字段配置。\n";
string columnType = BuildOracleColumnType(columnResult.Rows[0]); string columnType = BuildOracleColumnType(columnResult.Rows[0]);
string quotedTable = QuoteOracleIdentifier(tableName); string quotedTable = QuoteOracleIdentifier(tableName);
@@ -409,12 +450,15 @@ namespace henlo_migration.Services
string alterSql = $"ALTER TABLE {quotedTable} ADD ({quotedColumn} {columnType})"; string alterSql = $"ALTER TABLE {quotedTable} ADD ({quotedColumn} {columnType})";
var sql = new StringBuilder(); var sql = new StringBuilder();
sql.Append(sourceNote);
sql.AppendLine($"-- 确保目标库物理字段存在:{tableName}.{columnName}"); sql.AppendLine($"-- 确保目标库物理字段存在:{tableName}.{columnName}");
sql.AppendLine("DECLARE"); sql.AppendLine("DECLARE");
sql.AppendLine(" v_table_count NUMBER;"); sql.AppendLine(" v_table_count NUMBER;");
sql.AppendLine(" v_column_count NUMBER;"); sql.AppendLine(" v_column_count NUMBER;");
sql.AppendLine("BEGIN"); sql.AppendLine("BEGIN");
sql.AppendLine($" SELECT COUNT(*) INTO v_table_count FROM user_tables WHERE table_name = '{EscapeQuote(tableName)}';"); sql.AppendLine($" SELECT COUNT(*) INTO v_table_count FROM user_tables t WHERE t.table_name = '{EscapeQuote(tableName)}'");
sql.AppendLine(" AND NOT EXISTS (SELECT 1 FROM user_views v WHERE v.view_name = t.table_name)");
sql.AppendLine(" AND NOT EXISTS (SELECT 1 FROM user_mviews m WHERE m.mview_name = t.table_name);");
sql.AppendLine(" IF v_table_count = 0 THEN"); sql.AppendLine(" IF v_table_count = 0 THEN");
sql.AppendLine($" RAISE_APPLICATION_ERROR(-20201, '目标库缺少物理表:{EscapeQuote(tableName)}');"); sql.AppendLine($" RAISE_APPLICATION_ERROR(-20201, '目标库缺少物理表:{EscapeQuote(tableName)}');");
sql.AppendLine(" END IF;"); sql.AppendLine(" END IF;");
@@ -8,7 +8,7 @@
<Nullable>disable</Nullable> <Nullable>disable</Nullable>
<ApplicationIcon>Resources\favicon.ico</ApplicationIcon> <ApplicationIcon>Resources\favicon.ico</ApplicationIcon>
<Deterministic>true</Deterministic> <Deterministic>true</Deterministic>
<Version>1.0.19</Version> <Version>1.0.20</Version>
</PropertyGroup> </PropertyGroup>
<ItemGroup> <ItemGroup>
@@ -0,0 +1,12 @@
<Project Sdk="Microsoft.NET.Sdk">
<PropertyGroup>
<OutputType>Exe</OutputType>
<TargetFramework>net10.0-windows</TargetFramework>
<UseWPF>true</UseWPF>
<ImplicitUsings>enable</ImplicitUsings>
<Nullable>enable</Nullable>
</PropertyGroup>
<ItemGroup>
<ProjectReference Include="../../henlo_migration_wpf10/henlo_migration_wpf10.csproj" />
</ItemGroup>
</Project>
@@ -0,0 +1,120 @@
using System.Data;
using System.Reflection;
using henlo_migration.Services;
using SqlSugar;
// Only the injected metadata reader is called. No app startup, configuration or Oracle connection.
var builder = typeof(DbServices).GetMethod("BuildPhysicalColumnEnsureSql",
BindingFlags.NonPublic | BindingFlags.Static, null,
[typeof(string), typeof(string), typeof(Func<string, SugarParameter[], DataTable>)], null)!;
var splitter = typeof(DbServices).GetMethod("SplitStatements", BindingFlags.NonPublic | BindingFlags.Static)!;
var passed = 0;
void Check(bool condition, string message)
{
if (!condition) throw new Exception(message);
}
void Run(string label, TableInfo[] tables, string kind, string? expectedTable,
bool columnExists = true, string? expectedError = null)
{
var columnReads = 0;
string? queriedTable = null;
DataTable Read(string sql, SugarParameter[] parameters)
{
var result = new DataTable();
if (sql.Contains("FROM AD_TABLE"))
{
result.Columns.Add("ID", typeof(decimal));
result.Columns.Add("NAME", typeof(string));
result.Columns.Add("REALTABLE_ID", typeof(decimal));
var matches = sql.Contains("UPPER(NAME)")
? tables.Where(t => t.Name.Equals(parameters[0].Value.ToString(), StringComparison.OrdinalIgnoreCase))
: tables.Where(t => t.Id == Convert.ToDecimal(parameters[0].Value));
foreach (var t in matches)
result.Rows.Add(t.Id, t.Name, t.RealId.HasValue ? (object)t.RealId.Value : DBNull.Value);
}
else if (sql.Contains("FROM USER_TABLES"))
{
Check(sql.Contains("NOT EXISTS (SELECT 1 FROM USER_VIEWS"), "源库未排除视图");
Check(sql.Contains("NOT EXISTS (SELECT 1 FROM USER_MVIEWS"), "源库未排除物化视图");
queriedTable = parameters[0].Value.ToString();
result.Columns.Add("COUNT", typeof(int));
// Simulate the filtered dictionary result, including MVIEW's backing USER_TABLES row.
result.Rows.Add(kind == "TABLE" ? 1 : 0);
}
else if (sql.Contains("FROM USER_TAB_COLUMNS"))
{
columnReads++;
Check(parameters[0].Value.ToString() == queriedTable, "字段查询未使用实际表名");
Check(parameters[1].Value.ToString() == "TEST_COL", "字段名称改变");
foreach (var name in new[] { "DATA_TYPE", "DATA_LENGTH", "DATA_PRECISION", "DATA_SCALE", "CHAR_LENGTH", "CHAR_USED" })
result.Columns.Add(name, typeof(object));
if (columnExists) result.Rows.Add("VARCHAR2", 120, DBNull.Value, DBNull.Value, 30, "C");
}
else throw new Exception("意外查询:" + sql);
return result;
}
try
{
var sql = (string)builder.Invoke(null,
["BOS_TEST", "TEST_COL", (Func<string, SugarParameter[], DataTable>)Read])!;
Check(expectedError == null, label + " 应报错");
if (expectedTable != null)
{
Check(queriedTable == expectedTable, label + " 实际表解析错误");
Check(columnReads == 1, label + " 未读取实际字段");
Check(sql.Contains($"ALTER TABLE \"{expectedTable}\" ADD (\"TEST_COL\" VARCHAR2(30 CHAR))"), label + " DDL不正确");
Check(sql.Contains("NOT EXISTS (SELECT 1 FROM user_mviews"), "目标库未排除物化视图");
Check(sql.Contains($"table_name = '{expectedTable}' AND column_name = 'TEST_COL'"), "目标字段检查错误");
Check(sql.IndexOf("IF v_column_count = 0 THEN", StringComparison.Ordinal)
< sql.IndexOf("EXECUTE IMMEDIATE", StringComparison.Ordinal), "已有字段没有跳过保护");
Check(sql.Contains("IF v_table_count = 0 THEN") && sql.Contains("RAISE_APPLICATION_ERROR"), "目标表缺失未报错");
var blocks = (string[])splitter.Invoke(null, [sql + "BEGIN NULL; END;\n/\n"])!;
Check(blocks.Length == 2 && blocks[0].EndsWith("END;") && blocks[1] == "BEGIN NULL; END;", "PL/SQL分隔错误");
}
else
{
Check(!sql.Contains("ALTER TABLE") && !sql.Contains("EXECUTE IMMEDIATE"), label + " 不应生成物理DDL");
Check(columnReads == (kind == "TABLE" ? 1 : 0), label + " 发生非预期字段读取");
}
}
catch (TargetInvocationException ex) when (expectedError != null)
{
Check(ex.InnerException is InvalidOperationException
&& ex.InnerException.Message.Contains(expectedError), label + " 异常不正确:" + ex.InnerException?.Message);
Check(columnReads == 0, "无效映射仍读取字段");
}
Console.WriteLine("PASS " + label);
passed++;
}
Run("同名普通表", [new(1, "BOS_TEST", null)], "TABLE", "BOS_TEST");
Run("REALTABLE_ID映射", [new(1, "BOS_TEST", 2), new(2, "REAL_TEST", null)], "TABLE", "REAL_TEST");
Run("多级映射", [new(1, "BOS_TEST", 2), new(2, "MID_TEST", 3), new(3, "REAL_TEST", null)], "TABLE", "REAL_TEST");
Run("普通视图", [new(1, "BOS_TEST", null)], "VIEW", null);
Run("物化视图及其底层表", [new(1, "BOS_TEST", null)], "MVIEW", null);
Run("映射到视图", [new(1, "BOS_TEST", 2), new(2, "REAL_TEST", null)], "VIEW", null);
Run("映射到物化视图", [new(1, "BOS_TEST", 2), new(2, "REAL_TEST", null)], "MVIEW", null);
Run("源物理对象不存在", [new(1, "BOS_TEST", null)], "MISSING", null);
Run("BOS计算字段", [new(1, "BOS_TEST", null)], "TABLE", null, columnExists: false);
Run("映射实际表缺少字段", [new(1, "BOS_TEST", 2), new(2, "REAL_TEST", null)], "TABLE", null, columnExists: false);
Run("映射记录缺失", [new(1, "BOS_TEST", 2)], "TABLE", null, expectedError: "不存在或不唯一");
Run("映射循环", [new(1, "BOS_TEST", 2), new(2, "REAL_TEST", 1)], "TABLE", null, expectedError: "循环引用");
Run("自引用", [new(1, "BOS_TEST", 1)], "TABLE", null, expectedError: "循环引用");
Run("BOS表不存在", [], "TABLE", null, expectedError: "不存在");
Run("BOS表名重复", [new(1, "BOS_TEST", null), new(2, "BOS_TEST", null)], "TABLE", null, expectedError: "多条");
Run("映射ID不唯一", [new(1, "BOS_TEST", 2), new(2, "REAL_A", null), new(2, "REAL_B", null)], "TABLE", null, expectedError: "不存在或不唯一");
Run("实际表名称为空", [new(1, "BOS_TEST", 2), new(2, "", null)], "TABLE", null, expectedError: "名称为空");
Run("实际表名称规范化", [new(1, "BOS_TEST", 2), new(2, "real_test", null)], "TABLE", "REAL_TEST");
var representativeSql = "CREATE TABLE TEST_T (ID NUMBER);\n/\n"
+ "COMMENT ON COLUMN TEST_T.ID IS '编号';\n/\n"
+ "ALTER TABLE TEST_T ADD CONSTRAINT TEST_PK PRIMARY KEY (ID);\n/\n"
+ "BEGIN NULL; END;\n/\nINSERT INTO TEST_T (ID) VALUES (1);\n/\n";
var statements = (string[])splitter.Invoke(null, [representativeSql])!;
Check(statements.Length == 5 && statements[3] == "BEGIN NULL; END;", "代表性DDL/注释/约束/PLSQL/INSERT分隔回归失败");
Console.WriteLine("PASS DDL/注释/约束/PLSQL/INSERT分隔");
Console.WriteLine($"通过 {passed} 个离线回归场景(未连接数据库)。");
record TableInfo(decimal Id, string Name, decimal? RealId);