深入理解xLua基于IL代码注入的热更新原理

目前大部分手游都会采用热更新来解决应用商店审核周期长,无法满足快节奏迭代的问题。另外热更新能够有效降低版本升级所需的资源大小,节省玩家的时间和流量,这也使其成为移动游戏的主流更新方式之一。
热更新可以分为资源热更和代码热更两类,其中代码热更又包括Lua热更和C#热更。Lua作为一种轻量小巧的脚本语言,由Lua虚拟机解释执行。所以Lua热更通过简单的源代码文件替换即可完成。反观C#的整个编译执行过程是先通过编译器将C#编译成IL(Intermediate Language),再由CLR(Common Language Runtime)将IL编译成平台相关的二进制机器码进行执行。
在JIT(Just in time)模式下可以做到运行时将IL编译成机器码,此时如果C#利用反射动态加载程序集,则通过替换DLL文件即可完成C#热更。虽然Android是支持JIT的,但IOS并不支持,IOS仅支持AOT(Ahead of time)模式。且Mono在IOS平台上使用的是Full AOT模式,会在程序运行前就将IL编译成机器码。如果使用反射执行DLL文件,就会触发Mono的JIT编译器,而Full AOT模式又不允许JIT,就会报以下错误

ExecutionEngineException: Attempting to JIT compile method '...' while running with --aot-only.

所以C#通过反射热更的方式在不同平台并不通用。
基于IL代码注入热更
最后只剩下基于IL代码注入的C#热更方案了,这也是xLua框架热更所采用的方案。它的基本思想是,对于一个类
public class TestXLua { public int Add(int a, int b) { return a - b; } }

通过在IL层面为其注入代码,使其变成类似这样
public class TestXLua { static Func hotfix_Add = null; int Add(int a, int b) { if (hotfix_Add != null) return hotfix_Add(this, a, b); return a - b; } }

然后通过Lua编写补丁,使hotfix_Add指向一个lua的适配函数,从而达到替换原C#函数,实现更新的目的。
根据xLua热更新操作指南,使用xLua热更主要有以下4个步骤
1、打开该特性添加HOTFIX_ENABLE宏,(在Unity3D的File->Build Setting->Scripting Define Symbols下添加)。编辑器、各手机平台这个宏要分别设置!如果是自动化打包,要注意在代码里头用API设置的宏是不生效的,需要在编辑器设置。2、执行XLua/Generate Code菜单。3、注入,构建手机包这个步骤会在构建时自动进行,编辑器下开发补丁需要手动执行"XLua/Hotfix Inject In Editor"菜单。打印“hotfix inject finish!”或者“had injected!”才算成功,否则会打印错误信息。4、使用xlua.hotfix或util.hotfix_ex打补丁

接下来将逐个分析上述步骤背后都做了些什么,是如何一步步基于IL代码注入实现热更的
打开HOTFIX_ENABLE宏
HOTFIX_ENABLE是xLua定义启用热更的一个宏,添加这个宏主要有两个作用
  1. 在编辑器中出现"XLua/Hotfix Inject In Editor"菜单,通过该菜单可以手动执行代码注入
  2. 利用HOTFIX_ENABLE进行了条件编译,定义了一些只有使用热更时才需要的方法。例如DelegateBridge.cs中的部分方法,这些方法会在针对泛型方法进行IL注入时用到
    // DelegateBridge.cs #if HOTFIX_ENABLE private int _oldTop = 0; private Stack _stack = new Stack(); public void InvokeSessionStart() { // ... } public void Invoke(int nRet) { // ... } public void InvokeSessionEnd() { // ... } // ... #endif

生成代码
生成代码的作用,主要是为标记有Hotfix特性的方法生成对应的匹配函数。以添加了Hotfix特性的TestXLua为例
// 测试用 TestXLua.cs [Hotfix] public class TestXLua { public int Add(int a, int b) { return a - b; // 这里的Add方法故意写成减法,后面通过热更新修复 } }

会在配置的Gen目录下生成DelegatesGensBridge.cs文件,其中有为TestXLua.Add生成的对应的匹配函数__Gen_Delegate_Imp1
// DelegatesGensBridge.cs public partial class DelegateBridge : DelegateBridgeBase { // ... public int __Gen_Delegate_Imp1(object p0, int p1, int p2) { #if THREAD_SAFE || HOTFIX_ENABLE lock (luaEnv.luaEnvLock) { #endif RealStatePtr L = luaEnv.rawL; int errFunc = LuaAPI.pcall_prepare(L, errorFuncRef, luaReference); ObjectTranslator translator = luaEnv.translator; translator.PushAny(L, p0); LuaAPI.xlua_pushinteger(L, p1); LuaAPI.xlua_pushinteger(L, p2); PCall(L, 3, 1, errFunc); int __gen_ret = LuaAPI.xlua_tointeger(L, errFunc + 1); LuaAPI.lua_settop(L, errFunc - 1); return__gen_ret; #if THREAD_SAFE || HOTFIX_ENABLE } #endif } // ... }

为什么需要生成对应的匹配函数呢?这是因为xLua就是通过将该C#函数替换成Lua函数来实现热更的。也就是说,热更后就会出现C#调用Lua函数的情况,而C#想要调用Lua函数,就需要用到生成的匹配函数。具体流程是,调用传递给C#的Lua函数时,相当于调用以"__Gen_Delegate_Imp"开头的生成函数,这个生成函数负责参数压栈,并通过保存的索引获取到真正的Lua function,然后使用lua_pcall完成Lua function的调用。
关于C#如何调用Lua方法的详细介绍可以参考这篇文章
注入
点击"XLua/Hotfix Inject In Editor"菜单后会开始注入代码。将触发HotfixInject方法,内部再通过xLua提供的工具XLuaHotfixInject.exe来完成代码注入。应该是为了避免文件占用问题,所以直接提供了exe工具。同时IL代码注入需要用到Mono.Cecil库,这样也避免了每个项目都要额外集成这个库。
// Hotfix.cs [MenuItem("XLua/Hotfix Inject In Editor", false, 3)] public static void HotfixInject() { HotfixInject("./Library/ScriptAssemblies"); }

通过查看exe工具源码可知,最终实际完成代码注入的还是在Hotfix.cs文件中定义的重载方法HotfixInject,相关代码通过XLUA_GENERAL宏做了条件编译。
// Hotfix.cs public static void HotfixInject(string injectAssemblyPath, string xluaAssemblyPath, IEnumerable searchDirectorys, string idMapFilePath, Dictionary hotfixConfig) { AssemblyDefinition injectAssembly = null; AssemblyDefinition xluaAssembly = null; // ... injectAssembly = readAssembly(injectAssemblyPath); // injected flag check if (injectAssembly.MainModule.Types.Any(t => t.Name == "__XLUA_GEN_FLAG")) { Info(injectAssemblyPath + " had injected!"); return; } // 添加一个新的类型定义,以标记已注入 injectAssembly.MainModule.Types.Add(new TypeDefinition("__XLUA_GEN", "__XLUA_GEN_FLAG", ILRuntime.Mono.Cecil.TypeAttributes.Class, injectAssembly.MainModule.TypeSystem.Object)); xluaAssembly = (injectAssemblyPath == xluaAssemblyPath || injectAssembly.MainModule.FullyQualifiedName == xluaAssemblyPath) ? injectAssembly : readAssembly(xluaAssemblyPath); Hotfix hotfix = new Hotfix(); hotfix.Init(injectAssembly, xluaAssembly, searchDirectorys, hotfixConfig); //var hotfixDelegateAttributeType = assembly.MainModule.Types.Single(t => t.FullName == "XLua.HotfixDelegateAttribute"); var hotfixAttributeType = xluaAssembly.MainModule.Types.Single(t => t.FullName == "XLua.HotfixAttribute"); var toInject = (from module in injectAssembly.Modules from type in module.Types select type).ToList(); // injectAssembly中的各个类型 foreach (var type in toInject) { if (!hotfix.InjectType(hotfixAttributeType, type)) { return; } } Directory.CreateDirectory(Path.GetDirectoryName(idMapFilePath)); hotfix.OutputIntKeyMapper(new FileStream(idMapFilePath, FileMode.Create, FileAccess.Write)); File.Copy(idMapFilePath, idMapFilePath + "." + DateTime.Now.ToString("yyyyMMddHHmmssfff")); // 写入对程序集的修改 writeAssembly(injectAssembly, injectAssemblyPath); Info(injectAssemblyPath + " inject finish!"); // ... }

其中,injectAssemblyPath表示要注入的程序集,例如./Library/ScriptAssemblies\Assembly-CSharp.dll。xluaAssemblyPath表示LuaEnv所在程序集的完全限定路径,一般情况下和injectAssemblyPath相同。HotfixInject的主要任务是遍历injectAssembly中的所有类型,通过InjectType依次对它们进行代码注入
// Hotfix.cs public bool InjectType(TypeReference hotfixAttributeType, TypeDefinition type) { foreach(var nestedTypes in type.NestedTypes) { if (!InjectType(hotfixAttributeType, nestedTypes)) { return false; } } if (type.Name.Contains("<") || type.IsInterface || type.Methods.Count == 0) // skip anonymous type and interface { return true; } CustomAttribute hotfixAttr = type.CustomAttributes.FirstOrDefault(ca => ca.AttributeType == hotfixAttributeType); // 获取type上的HotfixAttribute HotfixFlagInTool hotfixType; // 仅对带有HotfixAttribute的类型或hotfixCfg中有配置的类型进行注入 if (hotfixAttr != null) { hotfixType = (HotfixFlagInTool)(int)hotfixAttr.ConstructorArguments[0].Value; // 获取HotfixAttribute构造函数的第一个参数,HotfixFlag } else { if (!hotfixCfg.ContainsKey(type.FullName)) { return true; } hotfixType = (HotfixFlagInTool)hotfixCfg[type.FullName]; }// 通过HotfixFlag的不同设定过滤要注入的方法 bool ignoreProperty = hotfixType.HasFlag(HotfixFlagInTool.IgnoreProperty); bool ignoreCompilerGenerated = hotfixType.HasFlag(HotfixFlagInTool.IgnoreCompilerGenerated); bool ignoreNotPublic = hotfixType.HasFlag(HotfixFlagInTool.IgnoreNotPublic); bool isInline = hotfixType.HasFlag(HotfixFlagInTool.Inline); bool isIntKey = hotfixType.HasFlag(HotfixFlagInTool.IntKey); bool noBaseProxy = hotfixType.HasFlag(HotfixFlagInTool.NoBaseProxy); if (ignoreCompilerGenerated && type.CustomAttributes.Any(ca => ca.AttributeType.FullName == "System.Runtime.CompilerServices.CompilerGeneratedAttribute"))// 忽略由编译器生成的类型 { return true; } if (isIntKey && type.HasGenericParameters) { throw new InvalidOperationException(type.FullName + " is generic definition, can not be mark as IntKey!"); } //isIntKey = !type.HasGenericParameters; foreach (var method in type.Methods) { if (ignoreNotPublic && !method.IsPublic) { continue; } if (ignoreProperty && method.IsSpecialName && (method.Name.StartsWith("get_") || method.Name.StartsWith("set_")))// 忽略属性 { continue; } if (ignoreCompilerGenerated && method.CustomAttributes.Any(ca => ca.AttributeType.FullName == "System.Runtime.CompilerServices.CompilerGeneratedAttribute")) { continue; } if (method.Name != ".cctor" && !method.IsAbstract && !method.IsPInvokeImpl && method.Body != null && !method.Name.Contains("<")) { //Debug.Log(method); if ((isInline || method.HasGenericParameters || genericInOut(method, hotfixType)) ? !injectGenericMethod(method, hotfixType) : !injectMethod(method, hotfixType)) { return false; } } } // ... }

InjectType的主要任务是遍历指定类型的所有方法(根据HotfixFlag会做一些过滤),依次对它们进行代码注入。注入方法有两个,一个是针对泛型方法的injectGenericMethod,一个是针对普通方法的injectMethod。两个方法逻辑是类似的,这里简单起见,就主要分析injectMethod方法
// Hotfix.cs bool injectMethod(MethodDefinition method, HotfixFlagInTool hotfixType) { var type = method.DeclaringType; // 方法所在类 bool isFinalize = (method.Name == "Finalize" && method.IsSpecialName); MethodReference invoke = null; int param_count = method.Parameters.Count + (method.IsStatic ? 0 : 1); if (!findHotfixDelegate(method, out invoke, hotfixType))// 找到与method匹配的生成方法,以__Gen_Delegate_Imp开头的 { Error("can not find delegate for " + method.DeclaringType + "." + method.Name + "! try re-genertate code."); return false; } if (invoke == null) { throw new Exception("unknow exception!"); } #if XLUA_GENERAL invoke = injectAssembly.MainModule.ImportReference(invoke); #else invoke = injectAssembly.MainModule.Import(invoke); #endif FieldReference fieldReference = null; VariableDefinition injection = null; // IntKey是xLua的标志位,可以控制不生成静态字段,而是把所有注入点放到一个数组集中管理。这里可以先忽略,主要看 is not IntKey的逻辑 bool isIntKey = hotfixType.HasFlag(HotfixFlagInTool.IntKey) && !type.HasGenericParameters && isTheSameAssembly; //isIntKey = !type.HasGenericParameters; if (!isIntKey) { injection = new VariableDefinition(invoke.DeclaringType); // 新创建一个XLua.DelegateBridge类型的变量 method.Body.Variables.Add(injection); var luaDelegateName = getDelegateName(method); // 获取将要添加的静态变量的名称,这个静态变量用于保存Lua补丁设置的方法 if (luaDelegateName == null) { Error("too many overload!"); return false; }FieldDefinition fieldDefinition = new FieldDefinition(luaDelegateName, ILRuntime.Mono.Cecil.FieldAttributes.Static | ILRuntime.Mono.Cecil.FieldAttributes.Private, invoke.DeclaringType); // 创建一个静态XLua.DelegateBridge变量,用于保存Lua补丁设置的方法 type.Fields.Add(fieldDefinition); // 给type添加一个luaDelegateName静态字段,这个字段值在调用xlua.hotfix时会赋值 fieldReference = fieldDefinition.GetGeneric(); }bool ignoreValueType = hotfixType.HasFlag(HotfixFlagInTool.ValueTypeBoxing); var insertPoint = method.Body.Instructions[0]; // //获取IL处理器 var processor = method.Body.GetILProcessor(); if (method.IsConstructor) { insertPoint = findNextRet(method.Body.Instructions, insertPoint); // 获取到下一个Ret指令 }Dictionary originToNewTarget = new Dictionary(); HashSet noCheck = new HashSet(); // 真正的IL代码注入逻辑。通过Mono.Cecil库的API插入一些IL指令 while (insertPoint != null) { Instruction firstInstruction; if (isIntKey) { // ... } else { firstInstruction = processor.Create(OpCodes.Ldsfld, fieldReference); // 加载静态域fieldReference,即luaDelegateName字段 processor.InsertBefore(insertPoint, firstInstruction); processor.InsertBefore(insertPoint, processor.Create(OpCodes.Stloc, injection)); // 存储本地变量,将injection变量的值设置为luaDelegateName字段的值 processor.InsertBefore(insertPoint, processor.Create(OpCodes.Ldloc, injection)); // 加载本地变量 }// Brfalse表示栈上的值为 false/null/0 时发生跳转,如果injection的值为空,就调转到insertPoint,那通过InsertBefore插入的指令就都会被跳过了 var jmpInstruction = processor.Create(OpCodes.Brfalse, insertPoint); processor.InsertBefore(insertPoint, jmpInstruction); if (isIntKey) { // ... } else { processor.InsertBefore(insertPoint, processor.Create(OpCodes.Ldloc, injection)); // 再加载一次injection的值 } // 加载参数 for (int i = 0; i < param_count; i++) { if (i < ldargs.Length) { processor.InsertBefore(insertPoint, processor.Create(ldargs[i])); // 加载第i个参数 } else if (i < 256) { processor.InsertBefore(insertPoint, processor.Create(OpCodes.Ldarg_S, (byte)i)); } else { processor.InsertBefore(insertPoint, processor.Create(OpCodes.Ldarg, (short)i)); } if (i == 0 && !method.IsStatic && type.IsValueType) { processor.InsertBefore(insertPoint, processor.Create(OpCodes.Ldobj, type)); // 加载对象 } // ... }// 插入方法调用指令 processor.InsertBefore(insertPoint, processor.Create(OpCodes.Call, invoke)); // 调用injection处值(DelegateBridge对象)的方法invoke(__Gen_Delegate_Imp开头的方法)if (!method.IsConstructor && !isFinalize) { processor.InsertBefore(insertPoint, processor.Create(OpCodes.Ret)); // 插入返回指令 }if (!method.IsConstructor) { break; } else { originToNewTarget[insertPoint] = firstInstruction; noCheck.Add(jmpInstruction); } insertPoint = findNextRet(method.Body.Instructions, insertPoint); } // ... }

injectMethod的主要逻辑是对于要注入的方法method,先找到与其相匹配的以__Gen_Delegate_Imp开头的生成方法,然后通过IL操作为method所在类添加一个DelegateBridge类型的静态变量(变量名通过getDelegateName方法获得)。并在method方法头部插入IL指令逻辑:判断静态变量是否不为空,如果不为空,则调用DelegateBridge变量的以__Gen_Delegate_Imp开头的生成方法并直接返回不再执行原逻辑。这个生成方法在打补丁后对应的就是Lua函数。
打补丁
xlua可以通过xlua.hotfix或xlua.hotfix_ex将C#函数逻辑替换成Lua函数。例如替换TestXLua.Add方法来修复其求和算法的错误
-- lua测试文件 xlua.hotfix(CS.TestXLua, "Add", function(self, a, b) return a + b-- 修复成正确的加法 end)

xlua.hotfix的定义在LuaEnv.cs文件中,其中cs表示要修复的类,field表示要修复的变量名,func表示对应的修复函数
-- LuaEnv.cs xlua.hotfix = function(cs, field, func) if func == nil then func = false end local tbl = (type(field) == 'table') and field or {[field] = func} for k, v in pairs(tbl) do local cflag = '' if k == '.ctor' then cflag = '_c' k = 'ctor' end local f = type(v) == 'function' and v or nil -- cflag .. '__Hotfix0_'..k 对应了前面C#代码中的 luaDelegateName xlua.access(cs, cflag .. '__Hotfix0_'..k, f) -- at least one pcall(function() for i = 1, 99 do xlua.access(cs, cflag .. '__Hotfix'..i..'_'..k, f) end end) end xlua.private_accessible(cs) end

主要逻辑是,先根据一定规则计算得到真正的C#变量名,这个变量名与前面的getDelegateName方法得到的变量名相同。例如在修复TestXLua.Add的例子中,这个变量名就叫做"__Hotfix0_Add"。然后通过xlua.access方法为这个变量设置对应的Lua修复函数
// StaticLuaCallbacks.cs public static int XLuaAccess(RealStatePtr L) { try { ObjectTranslator translator = ObjectTranslatorPool.Instance.Find(L); Type type = getType(L, translator, 1); // 获取第一个参数的类型 object obj = null; if (type == null && LuaAPI.lua_type(L, 1) == LuaTypes.LUA_TUSERDATA) { obj = translator.SafeGetCSObj(L, 1); if (obj == null) { return LuaAPI.luaL_error(L, "xlua.access, #1 parameter must a type/c# object/string"); } type = obj.GetType(); }if (type == null) { return LuaAPI.luaL_error(L, "xlua.access, can not find c# type"); }string fieldName = LuaAPI.lua_tostring(L, 2); BindingFlags bindingFlags = BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Instance | BindingFlags.Static; if (LuaAPI.lua_gettop(L) > 2) // set设置字段值 { // 设置字段(参数2)值为参数3 var field = type.GetField(fieldName, bindingFlags); if (field != null) { field.SetValue(obj, translator.GetObject(L, 3, field.FieldType)); return 0; } var prop = type.GetProperty(fieldName, bindingFlags); if (prop != null) { prop.SetValue(obj, translator.GetObject(L, 3, prop.PropertyType), null); return 0; } } else { // 获取字段(参数2)值 var field = type.GetField(fieldName, bindingFlags); if (field != null) { translator.PushAny(L, field.GetValue(obj)); return 1; } var prop = type.GetProperty(fieldName, bindingFlags); if (prop != null) { translator.PushAny(L, prop.GetValue(obj, null)); return 1; } } return LuaAPI.luaL_error(L, "xlua.access, no field " + fieldName); // 没有找到fieldName字段,抛出异常 } catch (Exception e) { return LuaAPI.luaL_error(L, "c# exception in xlua.access: " + e); } }

xlua.access实际上调用的是StaticLuaCallbacks.cs的XLuaAccess方法。主要功能是设置或访问指定字段的值。我们主要看设置字段值的部分,参数数量大于2(参数1类型,参数2字段名,参数3要设置的值),就表示是要设置字段值。xlua.hotfix通过XLuaAccess是为"__Hotfix0_Add"静态字段设置了一个Lua函数,在C#中这个Lua函数对应的是DelegateBridge对象(其内部保存着Lua函数的索引),这也是为什么前面IL注入时是为类添加一个DelegateBridge类型的静态变量
总结
以修复TestXLua.Add函数为例来描述一下整个热更过程
先通过Generate Code为TestXLua.Add生成与其声明相同的匹配函数"__Gen_Delegate_Imp1",这个匹配函数是被生成在DelegateBridge类中的。有了这个匹配函数,Lua函数就可以被传递到C#中。
然后通过IL代码注入,为TestXLua添加一个名为"__Hotfix0_Add"的DelegateBridge类型的静态变量。并在原来的Add方法中注入判断静态变量是否不为空,如果不为空就调用静态变量所对应的Lua方法的逻辑。反编译已注入IL代码的Assembly-CSharp.dll,查看其中的TestXLua如下所示
using System; using XLua; // Token: 0x02000016 RID: 22 [Hotfix(HotfixFlag.Stateless)] public class TestXLua { // Token: 0x06000051 RID: 81 RVA: 0x00002CE0 File Offset: 0x00000EE0 public int Add(int a, int b) { DelegateBridge _Hotfix0_Add = TestXLua.__Hotfix0_Add; if (_Hotfix0_Add != null) { return _Hotfix0_Add.__Gen_Delegate_Imp1(this, a, b); } return a - b; } // Token: 0x06000052 RID: 82 RVA: 0x00002D14 File Offset: 0x00000F14 public TestXLua() { DelegateBridge c__Hotfix0_ctor = TestXLua._c__Hotfix0_ctor; if (c__Hotfix0_ctor != null) { c__Hotfix0_ctor.__Gen_Delegate_Imp2(this); } } // Token: 0x04000022 RID: 34 private static DelegateBridge __Hotfix0_Add; // Token: 0x04000023 RID: 35 private static DelegateBridge _c__Hotfix0_ctor; }

【深入理解xLua基于IL代码注入的热更新原理】最后打补丁时通过xlua.hotfix为静态变量"__Hotfix0_Add"设置一个Lua函数。这样下次调用TestXLua.Add时,"__Hotfix0_Add"将不为空,此时将执行_Hotfix0_Add.__Gen_Delegate_Imp1,即调用设置的Lua函数,而不再执行原有逻辑。从而实现了C#热修复。
参考
  • 深入xLua实现原理之Lua如何调用C#
  • 深入xLua实现原理之C#如何调用Lua
  • 如何评价腾讯在Unity下的xLua(开源)热更方案? - 车雄生的回答 - 知乎
  • 理解IL
  • xlua注入源码解读
  • Unity 热更新为啥用Lua
  • 热更新

    推荐阅读