最近在学习Java网络编程恰好之前写过一个基于TCP的多人聊天室一直想给它加上视频通话功能。经过几天的折腾终于把UDP视频流和TCP信令成功整合到了一起。这篇文章会完整记录开发过程、踩过的坑以及最终的代码实现一、项目背景与目标原有基础一个基于TCP Socket的多人聊天系统支持登录、注册、广播、私聊。新增需求任意两个在线用户之间可以发起视频通话实时传输摄像头画面。技术选型TCP用于登录验证、文本消息、视频信令请求/接受/拒绝/挂断UDP用于视频数据流点对点不经过服务器减轻压力JPEG压缩 分片传输避免IP分片Java Swing做简单界面二、整体架构设计整个系统分为三个部分TCP服务器管理用户在线状态、转发文本消息、转发视频信令。TCP客户端处理登录、发送/接收文本、处理视频信令回调。UDP点对点传输双方直接发送JPEG分片不经过服务器。消息协议TCP消息统一为消息类型:内容\n格式消息类型定义在MessageType接口中。三、关键代码3.1 消息类型定义java public interface MessageType { byte LOGIN 1; byte REGISTER 2; byte CHAT 3; // 普通聊天广播或私聊 byte VIDEO_REQUEST 4; byte VIDEO_ACCEPT 5; byte VIDEO_REJECT 6; byte VIDEO_END 7; byte YES 8; byte NO 9; }3.2 服务器核心用户在线管理服务器使用ConcurrentHashMapInteger, Socket存储在线用户ID与Socket的映射。登录成功后将该用户加入Map断开连接时自动移除。java // 处理登录 private void handleLogin(String content) { String[] parts content.split(:); // 验证用户名密码... onlineUsers.put(currentUserId, socket); out.println(MessageType.LOGIN : MessageType.YES); out.println(currentUserId); // 单独一行发送用户ID }关键点登录响应分两行发送客户端先读状态行再读ID行避免粘包。3.3 视频信令转发视频通话的发起、接受、拒绝、结束都通过TCP信令转发。信令格式为目标用户ID:实际内容服务器解析后转发给目标用户。java private void forwardVideoSignal(int type, String content) { String[] parts content.split(:, 2); int targetId Integer.parseInt(parts[0]); String signalContent parts[1]; Socket targetSocket onlineUsers.get(targetId); PrintWriter pout new PrintWriter(targetSocket.getOutputStream(), true); pout.println(type : signalContent); }3.4 客户端TCP通信线程客户端使用BufferedReader按行读取服务器消息根据消息类型分发到不同的处理方法。java while ((line in.readLine()) ! null) { int colon line.indexOf(:); int type Integer.parseInt(line.substring(0, colon)); String content line.substring(colon 1); switch (type) { case MessageType.LOGIN: // 登录响应 case MessageType.CHAT: // 文本消息 case MessageType.VIDEO_REQUEST: // 视频信令 // ... } }3.5 UDP视频发送器VideoSender从摄像头捕获图像 → 压缩成JPEG → 分片每片≤1400字节→ 添加12字节头部帧序号、总分片数、分片索引→ 通过UDP发送。java // 分片循环 int totalChunks (jpegData.length MAX_PACKET_SIZE - 1) / MAX_PACKET_SIZE; for (int i 0; i totalChunks; i) { byte[] packetData new byte[len 12]; writeInt(packetData, 0, frameSeq); writeInt(packetData, 4, totalChunks); writeInt(packetData, 8, i); System.arraycopy(jpegData, offset, packetData, 12, len); socket.send(new DatagramPacket(packetData, packetData.length, targetIp, targetPort)); }3.6 UDP视频接收器VideoReceiver监听本地UDP端口收到分片后缓存到ConcurrentHashMapInteger, FrameChunks当一帧的所有分片收齐后重组JPEG并显示。java FrameChunks fc frameCache.computeIfAbsent(seq, k - new FrameChunks(total)); fc.addChunk(index, chunk); if (fc.isComplete()) { byte[] fullJpeg fc.assemble(); BufferedImage img ImageIO.read(new ByteArrayInputStream(fullJpeg)); // 显示到界面 }3.7 界面集成ChatFrame聊天窗口左侧显示文本聊天记录右侧显示对方视频。顶部输入对方用户ID底部发送文本消息。两个按钮“发起视频通话”和“挂断”。java // 发起视频通话 String content targetUserId : myIp : myVideoPort; MClient.send(MessageType.VIDEO_REQUEST, content);四、踩坑记录4.1 TCP粘包/半包问题最初使用InputStream.read(byte[])固定长度读取导致消息边界错乱。解决改用BufferedReader.readLine()每条消息以\n结尾保证完整性。4.2 服务器无意义的欢迎消息干扰协议原来服务器在连接建立后会发送一条xxx客户端连接成功字符串不是合法消息头导致客户端解析错位。解决删除该欢迎消息所有通信必须遵循类型:内容\n格式。4.3 UDP分片乱序与丢帧视频分片可能乱序到达甚至丢包。解决使用ConcurrentHashMap缓存每帧的分片数组按分片索引存放收齐后重组。简单起见未实现重传机制局域网环境下丢包率较低偶尔花屏可接受。4.4 摄像头占用问题webcam-capture库在Windows上有时无法释放摄像头。解决在VideoSender.stop()中确保调用webcam.close()并在窗口关闭时调用。五、运行效果启动服务器MServer启动多个客户端LoginFrame使用测试账号登录11/11, 21/21, 31/31...在聊天窗口顶部输入对方用户ID点击“设置”点击“发起视频通话”对方接受后即可看到实时视频六、后续优化方向丢包重传给UDP分片加序号接收端反馈ACK发送端重传丢失分片。NAT穿透目前只适用于局域网可引入STUN/TURN服务器实现公网通话。多路视频支持群组视频通话MCU或SFU架构。加密传输对视频流进行AES加密保护隐私。七、总结通过这个项目我深刻体会到了TCP和UDP各自的适用场景TCP可靠、有序适合信令和文本消息。UDP实时性好适合视频、音频等对丢包不敏感的数据。项目源码结构textsrc/ ├── com/xf/video0310/common/MessageType.java ├── com/xf/video0310/server/ {MServer.java, ServerThread.java, User.java} └── com/xf/video0310/client/ {MClient.java, LoginFrame.java, ChatFrame.java, VideoSender.java, VideoReceiver.java}依赖库webcam-capture-0.3.12.jar 及配套库。运行命令bashjavac -cp .;lib/* com/xf/video0310/server/*.java com/xf/video0310/client/*.java java -cp .;lib/* com.xf.video0310.server.MServer java -cp .;lib/* com.xf.video0310.client.LoginFrame代码仓库network: 简单实现私聊与视频通话内容的通信系统