Solo tienes que capturar los paquetes de entrada y salida del servidor, desencriptarlos via intuicion, localizar los paquetes que contienen las llamadas que te interesan forzando esa situación, parsearlos, entender el paquete, hacer un defour de la función que envía y la que recibe los paquetes via dll e inyectar tu código.
No obstante, si localizas la función que te saca del juego y parcheas el propio ejecutable quizá también pueda funcionar.
No obstante 2, si haces todo eso el speed hack te va dar un poco igual pues básicamente puedes tener el control del juego.
No obstante 3, puedes empezar por manuales de ensamblador seguido de C++ y sistemas operativos ¿windows?
Espero ser de ayuda, saludos.
Edito:
No obstante 4, Lo raro es que el speedhack de cheatengine haya funcionado en algún sitio alguna vez, creo que es la primera vez que oigo eso

No obstante 5, si ha funcionado el cheatengine prueba no hayan sido tan cutres y hayan capado solo por procesos activos en cuyo caso desde el mismo cheatengine puedes buscar la lista de software que detectan que estará en texto plano, probablemente.