文章目录

前言
调试过程中的疑问
- 为什么一段时间不使用CyberController，翻译就无法触发了？
- 为什么连接成功了，但却依然无法进行语音识别和翻译？
- 多长时间TCP连接就会挂掉
- 连接正常与断开连接有什么区别？
- 不停进行翻译，会断掉TCP连接吗？
- 如何解决120秒socket通讯连接断掉的问题？
- 为什么可以进行翻译，但是无法进行语音输入？
- NameError: name 'key_down' is not defined
修改
- 修改翻译的触发快捷键
- 关掉不停的打印按键
- 关掉手机上麦克风图标
- 电脑端翻译的代码是哪一段？
- 手动往手机端发送数据
- 手动进行保活
- 自动进行保活
- 这样只要电脑和手机连着同一局域网的WiFi，无论过多久都不会把这个TCP连接来杀掉

前言

本教程是 CyberController手机外挂的番外篇，- CyberController的源码二次修改

之前已经可以跑通demo了，但是有一些功能不符合自己的需求，需要进行进一步的修改，这部分因为涉及到源码修改，我没有办法仔细的讲解为什么那么修改，所以就需要读者有一定的Python基础了

调试过程中的疑问

为什么一段时间不使用CyberController，翻译就无法触发了？

这个时候再重新在手机上进行一下语音输入，就又可以进行翻译了
因为这个时候连接报错了
应该是一段时间无使用，那么安卓系统就会好，这个软件和电脑端的TCP连接给杀掉，那么肯定无法进行翻译了。而当手机端使用语音输入的时候，相当于手机端主动和电脑端建立TCP连接，这个时候就可以再次正常进行翻译了
解决方法其实很简单，只需要设置电池优化白名单

为什么连接成功了，但却依然无法进行语音识别和翻译？

现象
可能单纯的是网络不好吧
- 查看一下手机能否打开其他网址，如果打不开其他网址的话，就重启一下手机
- 查看一下代理延迟是不是太高了
  - 重新选择一个延迟比较低的节点
  - 之后就可以正常语音识别了
- 2022.11.18-20:48:29
- 重启一下手机之后，发现正常了
可能是因为开了电池优化白名单
- 我发现每次只要一开这个电池优化排名单，马上就无法联网了

多长时间TCP连接就会挂掉

两分钟就会挂掉
Android中socket通信连接时长大概为120s，如果超过这个时间没有操作，就会断开连接

连接正常与断开连接有什么区别？

连接正常
断开连接

不停进行翻译，会断掉TCP连接吗？

不会
- 自己每30秒翻译一次，坚持了11分钟还没断掉

如何解决120秒socket通讯连接断掉的问题？

这个暂时未解决，下面的方案，是网络上给出的解决方法
手机端每隔一段时间往服务器转发一条不被解析的命令，这样可以使这个socket通讯一直保持畅通（但是自己对于java的编程不太擅长，如果有同学可以完成这部分工作的话，那就非常棒了）

通过PowerManager设置电源模式

Android SocketClient休眠断开的问题 - 简书

PowerManager pm = (PowerManager) getSystemService(Context.POWER_SERVICE); 
PowerManager.WakeLock wl = pm.newWakeLock(PowerManager.SCREEN_DIM_WAKE_LOCK, "My Tag"); 
wl.acquire(); 
..screen will stay on during this section.. 
wl.release();

因为app使用activity，故在oncreate中wl.acquire();，在ondestroy中wl.release();
加权限：android.permission.WAKE_LOCK

为什么可以进行翻译，但是无法进行语音输入？

可以在手机端识别到对应的语音输入内容，但是无法发送到电脑端
因为电脑端出错了
在Controller.py文件中添加一行代码
from KeyboardManager import *
之后就可以成功了

NameError: name ‘key_down’ is not defined

出现这个错误，一般是在手机和电脑第一次建立连接的时候，不用管它，继续运行即可
之后会发现，就算有这个错误，也不影响运行
- 如果非要找原因的话，我们可以定位到对应的代码处查看
  - 应该是这个key_down按键脚本找不到了
  - 但实际上，在KeyboardListener.py文件中，这个函数是存在的
  - 我们新建一个测试脚本，把下面的代码输入进去，看能否运行成功
    - 但实际上是可以运行成功的。那么可能的原因应该就是因为这个key_down()函数是放在exec()字符中的，之前PyCharm自动清理的时候，将from KeyboardManager import * 这行代码清理掉了（因为PyCharm认为这个包没有用到，所以是无用的）
    - 因此我们在原始代码中，补充上这行代码就好了

修改

修改翻译的触发快捷键

这里是使用了三次Ctrl+c的快捷键作为触发，但是每次想要翻译一个单词，都需要按三次键，感觉太繁琐，因此我将其修改为了使用一个Ctrl+Q的快捷键作为触发，只需要修改下面的代码
将KeyboardListener.py-onKeyEvent()函数中的if修改为下面的代码

import pyautogui 
if key.event_type == "down" \ 
        and key.name.lower() == "q" \ 
        and self.isCtrlHolding(): 
    pyautogui.hotkey('ctrl', 'c') 
 
    print("need trans") 
    if self.callback: 
        self.callback()

KeyboardListener.py的完整代码如下

import keyboard 
import time 
from screen_shot import ScreenCapture 
import io 
import pyautogui 
 
class KeyboardListener: 
	def __init__(self, tcpServer): 
		self.tcpServer = tcpServer 
		self.t = 0 
		self.c = 0 
		self.key_state_map={} 
		self.screen_capture = None 
		 
	def listen_keyboard(self,callback): 
		self.callback = callback 
		keyboard.hook(self.onKeyEvent) 
		keyboard.wait() 
 
	def onImgCapture(self,pic):	 
		imgByteArr = io.BytesIO() 
		pic.save(imgByteArr, format='JPEG') 
		bytes_data = imgByteArr.getvalue() 
		self.tcpServer.send_img(bytes_data) 
 
	def isCtrlHolding(self): 
		return ('ctrl' in self.key_state_map and self.key_state_map['ctrl']=='down')\ 
			or ('left ctrl' in self.key_state_map and self.key_state_map['left ctrl']=='down')\ 
			or ('right ctrl' in self.key_state_map and self.key_state_map['right ctrl']=='down') 
 
	def isAltHolding(self): 
		return ('alt' in self.key_state_map and self.key_state_map['alt']=='down')\ 
			or ('left alt' in self.key_state_map and self.key_state_map['left alt']=='down')\ 
			or ('right alt' in self.key_state_map and self.key_state_map['right alt']=='down') 
 
	def isKeyHolding(self,key): 
		return (key in self.key_state_map and self.key_state_map[key]=='down') 
 
 
	def onKeyEvent(self,key): 
		#update key_state_map 
		self.key_state_map[key.name.lower()]=key.event_type 
 
		#is screenshoot? 
 
		if  self.isKeyHolding("caps lock")\ 
			and key.event_type=="down"\ 
			and key.name.lower()=="a": 
			self.screen_capture = ScreenCapture() 
			self.screen_capture.are_capture(self.onImgCapture) 
 
		#print(self.key_state_map) 
		#is triple c? 
		# if  key.event_type=="down" \ 
		# 	and key.name.lower()=="c" \ 
		# 	and self.isCtrlHolding(): 
		# 
		# 	if self.t == 0: 
		# 		self.t=time.time() 
		# 		self.c += 1 
		# 		print("wait for nex c",self.c) 
		# 		return 
		# 
		# 	if (time.time()-self.t<0.5): 
		# 		self.t=time.time() 
		# 		self.c += 1 
		# 		print("wait for nex c:",self.c) 
		# 
		# 	else: 
		# 		self.c = 0 
		# 		self.t=0 
		# 		print("wait for nex c",self.c) 
		# 
		# 	if self.c>=2: 
		# 		self.c=0 
		# 		print("need trans") 
		# 		if self.callback: 
		# 			self.callback() 
 
 
 
 
		if  key.event_type=="down" \ 
			and key.name.lower()=="q" \ 
			and self.isCtrlHolding(): 
			pyautogui.hotkey('ctrl', 'c') 
 
			print("need trans") 
			if self.callback: 
				self.callback()

关掉不停的打印按键

将这行代码注释掉即可

关掉手机上麦克风图标

自己并不想要有这个麦克风的图标

电脑端翻译的代码是哪一段？

这个onTrans()函数

手动往手机端发送数据

程序不能直接运行，必须得有一个时间等待，否则手机和电脑端的TCP连接还没有建立上，会发送数据失败

import json 
import time 
 
from ComputerMonitor import ComputerMonitor 
from KeyboardListener import KeyboardListener 
from TcpServer import TcpServer 
from service import * 
 
 
def on_message_received(data): 
	command_message = json.loads(data) 
	script = command_message["script"] 
	params = command_message["params"] 
	exec(script) 
 
def on_screen_locked(): 
	print("screen locked") 
	data = json.dumps({"command":2,"message":""}) 
	print(data) 
	tcpServer.send_text(data) 
 
computerMonitor = ComputerMonitor(on_screen_locked) 
 
def on_tcp_connected(): 
	if not computerMonitor.started: 
		computerMonitor.start() 
 
 
tcpServer = TcpServer() 
tcpServer.set_receive_listener(on_message_received) 
tcpServer.connected_listener = on_tcp_connected 
tcpServer.start() 
 
keyboardListener = KeyboardListener(tcpServer) 
 
def onTrans(): 
	print("need trans1111") 
	content = getClipContent() 
	text = json.dumps({"command":1,"message":content}) 
 
	tcpServer.send_text(text) 
 
 
def Trans_alive():		#用来进行TCP保活 
	print("need trans1111") 
	content = getClipContent() 
	text = json.dumps({"command":1,"message":content}) 
 
	tcpServer.send_text(text) 
 
#keyboardListener.listen_keyboard(onTrans) 
time.sleep(5) 
onTrans()

手动进行保活

原理很简单，就是电脑端和手机端发空文本

import json 
import time 
 
from ComputerMonitor import ComputerMonitor 
from KeyboardListener import KeyboardListener 
from TcpServer import TcpServer 
from service import * 
 
 
def on_message_received(data): 
	command_message = json.loads(data) 
	script = command_message["script"] 
	params = command_message["params"] 
	exec(script) 
 
def on_screen_locked(): 
	print("screen locked") 
	data = json.dumps({"command":2,"message":""}) 
	print(data) 
	tcpServer.send_text(data) 
 
computerMonitor = ComputerMonitor(on_screen_locked) 
 
def on_tcp_connected(): 
	if not computerMonitor.started: 
		computerMonitor.start() 
 
 
tcpServer = TcpServer() 
tcpServer.set_receive_listener(on_message_received) 
tcpServer.connected_listener = on_tcp_connected 
tcpServer.start() 
 
keyboardListener = KeyboardListener(tcpServer) 
 
def onTrans(): 
	print("need trans1111") 
	content = getClipContent() 
	text = json.dumps({"command":1,"message":content}) 
 
	tcpServer.send_text(text) 
 
 
def Trans_alive():		#用来进行TCP保活 
	print("need trans1111") 
	content = '' 
	text = json.dumps({"command":1,"message":content}) 
 
	tcpServer.send_text(text) 
 
#keyboardListener.listen_keyboard(onTrans) 
time.sleep(5) 
Trans_alive()

自动进行保活

在Controller.py进入键盘监听循环之前添加下面一段代码

def Trans_alive():		#用来进行TCP保活 
	content = '' 
	# text = json.dumps({"command":1,"message":content}) 
	text = json.dumps({"command":11,"message":content})		#这里之所以用11，而不是1，是因为原作者的command1对应的命令是翻译，会在手机端触发对应的翻译任务看，而11就只相当于是一条空命令了，既可以完成保活，又不会干扰手机端的命令执行，一举两得 
	print("text:", text) 
	tcpServer.send_text(text) 
 
def run(): 
	print('用来保活的,不用管我') 
	t = threading.Timer(3, run) 
	t.start() 
 
	Trans_alive() 
 
 
t = threading.Timer(3,run) 
t.start()

完整Controller.py代码

import json 
import time 
 
from ComputerMonitor import ComputerMonitor 
from KeyboardListener import KeyboardListener 
from TcpServer import TcpServer 
from service import * 
import threading 
 
def on_message_received(data): 
	command_message = json.loads(data) 
	script = command_message["script"] 
	params = command_message["params"] 
	exec(script) 
 
def on_screen_locked(): 
	print("screen locked") 
	data = json.dumps({"command":2,"message":""}) 
	print(data) 
	tcpServer.send_text(data) 
 
computerMonitor = ComputerMonitor(on_screen_locked) 
 
def on_tcp_connected(): 
	if not computerMonitor.started: 
		computerMonitor.start() 
 
 
tcpServer = TcpServer() 
tcpServer.set_receive_listener(on_message_received) 
tcpServer.connected_listener = on_tcp_connected 
tcpServer.start() 
 
keyboardListener = KeyboardListener(tcpServer) 
 
def onTrans(): 
	print("need trans1111") 
	content = getClipContent() 
	text = json.dumps({"command":1,"message":content}) 
 
	tcpServer.send_text(text) 
 
 
def Trans_alive():		#用来进行TCP保活 
	content = '' 
	# text = json.dumps({"command":1,"message":content}) 
	text = json.dumps({"command":11,"message":content})		#这里之所以用11，而不是1，是因为原作者的command1对应的命令是翻译，会在手机端触发对应的翻译任务看，而11就只相当于是一条空命令了，既可以完成保活，又不会干扰手机端的命令执行，一举两得 
	print("text:", text) 
	tcpServer.send_text(text) 
 
def run(): 
	print('用来保活的,不用管我') 
	t = threading.Timer(3, run) 
	t.start() 
 
	Trans_alive() 
 
 
t = threading.Timer(3,run) 
t.start() 
 
keyboardListener.listen_keyboard(onTrans)

效果
- 这样只要电脑和手机连着同一局域网的WiFi，无论过多久都不会把这个TCP连接来杀掉
额外说明
- 使用command为1进行发送的结果
  - 可以看到发送的字符串虽然没空，但终究是要进行翻译任务的，所以会把麦克风给掩盖掉，我感觉效果并不好了
- 使用command为11进行发送的结果
  - 这个结果就很nice，也很干净了，压根儿查看不出来后台进行了数据发送与接收用来进行TCP socket保活