文章目录
1、获取以太网数据
自定义协议栈,需要获取原始的以太网数据,获取方式有:
- raw socket 原始套接字
- 实现一个网卡驱动 driver
- 旁路:netmap dpdk
- hook 机制:bpf, ebpf
这里以 netmap 为例。
1.1、netmap 原理
netmap 采用 mmap 的方式,将网卡驱动的 ring 内存空间映射到用户空间。这样用户态可以直接操作内存,获取原始的数据,避免了内核和用户态的两次拷贝(网卡 -> 内核协议栈 -> 内存)

1.2、netmap 环境搭建
安装 netmap
# 安装 netmap
git clone https://github.com/luigirizzo/netmap.git
cd netmap/LINUX
./configure
make && make install
# 将头文件拷贝到 /usr/include/net
cd ./netmap/sys/net/ # netmap 头文件位置
cp * /usr/include/net  
启动 netmap
# 开启 netmap
insmod netmap.ko 
ls /dev/netmap -l
# 关闭 netmap
rmmod netmap.ko
2、udp 协议栈的实现
2.1、以太网帧

// 以太网数据帧头,字节对齐: sizeof = 16
struct ethhdr {
	unsigned char dmac[ETH_ADDR_LENGTH];	 // 目的mac地址
	unsigned char smac[ETH_ADDR_LENGTH]; 	 // 源mac地址
	unsigned short protocol; 			    // 协议:上层协议的类型,ip:0x0800
};
2.2、ip 协议

// ip 数据包首部
struct iphdr {
    unsigned char version:4,    // ip协议版本,IPv4:0100
                hdrlen:4;       // 首部长度,* 4
    unsigned char tos;          // 服务类型
    unsigned short totlen;      // 总长度,* 1,最大65535字节,超过MTU(1500)分片
    unsigned short id;          // 标识,相同表示数据包来源于同一报文
    unsigned short flag:3,      // 标志,MF:more frag、DF:don't frag、未用
                flag_offset:13; // 片偏移,标识该数据包在上层数据报文中的偏移量
    unsigned char ttl;          // 生存时间 time to live,默认是64,避免环路
    unsigned char type;         // 协议,上层协议的类型,udp, tcp
    unsigned short check;       // 首部校验和
    unsigned int sip;           // 源ip
    unsigned int dip;           // 目的ip
};
2.3、udp 协议

// udp报文首部
struct udphdr {
    unsigned short sport;       // 源端口
    unsigned short dport;       // 目的端口
    unsigned short length;      // udp 报文长度
    unsigned short check;       // udp 校验
};
协议栈中用户数据经过逐层封装,增加各层的首部,得到 udp 数据报

// udp 报文,sizeof(struct udppkt) == 42
struct udppkt {
    struct ethhdr eh;       // 以太网帧首部
    struct iphdr ip;        // ip 首部
    struct udphdr udp;      // udp 首部
    
    unsigned char payload[0];  // 应用层数据,柔性数组(零长数组)
};
零长数组(柔性数组):柔性数组是定义结构体时创建一个空数组,运行时可以动态进行结构体的扩展。注意零长数组必须声明为结构体的最后一个成员,且不能作为结构体的唯一成员,sizefo返回的结构体的大小不包括柔性数组的内存。
那么,为什么使用柔性数组?下面两种定义方式存在问题:
// 1、指针分配的内存是不连续的,分配内存:结构体->指针,释放内存:指针->结构体
unsigned char* payload; 
// 2、若数据不够存储,发生越界,内存泄漏。
unsigned char* payload[65535];  
使用柔性数组的优势
- 无需初始化,数组名就是偏移
- 不占用空间
- 空间一次分配,分配连续的内存
柔性数组的适用场景
- 可以计算出长度
- 内存初始被分配好
2.4、问题分析
实现 udp 协议后,运行代码,过了一段时间,产生了两个问题:
- 服务端不能继续接收数据:在客户端使用 arp -a发现没有服务端的 ip 和 mac,这需要我们手动实现ARP协议
- 服务端不能 ping 通:需要手动实现 icmp 协议
3、ARP 协议的实现

// ARP 首部
struct arphdr {
    unsigned short type;        // 硬件类型
    unsigned short protocol;    // 协议类型
    unsigned char addrlen;      // 硬件地址长度
    unsigned char protolen;     // 协议地址长度
    unsigned short oper;  // 操作类型,ARP请求1,ARP响应2,RARP请求3,RARP响应4 
    unsigned char smac[ETH_ADDR_LENGTH];   // 源 mac 地址
    unsigned int sip;                       // 源 ip 地址
    unsigned char dmac[ETH_ADDR_LENGTH];   // 目的 mac 地址
    unsigned int dip;                       // 目的 ip 地址
};
// ARP 数据包
struct arppkt {
    struct ethhdr eh;   // 以太网帧首部
    struct arphdr arp;  // ARP 首部
};
在客户端测试 arp -a,前后的对比:

注:如果不用代码的实现形式,可以采用静态绑定 arp 地址
4、icmp 协议的实现

// icmp 首部,icmp分为差错报文和查询报文,由类型和代码共同决定
struct icmphdr {
	unsigned char type;		// 类型
	unsigned char code;		// 代码
	unsigned short check;	// 首部校验和
	unsigned short id;		// 标识
	unsigned short seq;		// 序列号
	unsigned char data[32];	// 数据
};
// icmp 数据包
struct icmppkt {
	struct ethhdr eh;		// 以太网帧首部
	struct iphdr ip;		// ip 首部
	struct icmphdr icmp;	// icmp 首部
};
在客户端 ping服务端,前后的对比:

5、netmap 代码实现
#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
#include <sys/poll.h>
#include <arpa/inet.h>
#define NETMAP_WITH_LIBS
#include <net/netmap_user.h>	// netmap 开启
#pragma pack(1)					// 以1个字节对齐
#define ETH_ADDR_LENGTH	6		// 以太网 mac 地址长度
#define PROTO_IP	0x0800		// ip协议
#define PROTO_ARP	0x0806		// ARP协议
#define PROTO_UDP	17
#define PROTO_ICMP	1
#define PROTO_IGMP	2
#define UDP		1		
#define ICMP	1		
#define ARP		1
// 以太网数据帧头,字节对齐: sizeof = 16
struct ethhdr {
	unsigned char dmac[ETH_ADDR_LENGTH];	 // 目的mac地址
	unsigned char smac[ETH_ADDR_LENGTH]; // 源mac地址
	unsigned short protocol; 				 //协议:上层协议的类型,ip:0x0800
};
// ip 数据包首部
struct iphdr {
    unsigned char version:4,    // ip协议版本,IPv4:0100
                  hdrlen:4;     // 首部长度,* 4
    unsigned char tos;          // 服务类型
    unsigned short tot_len;      // 总长度,* 1,最大65535字节,超过MTU(1500)分片
    unsigned short id;          // 标识,相同表示数据包来源于同一报文
    unsigned short flag:3,      // 标志,MF:more frag、DF:don't frag、未用
                   flag_offset:13; // 片偏移,标识该数据包在上层数据报文中的偏移量
    unsigned char ttl;          // 生存时间 time to live,默认是64,避免环路
    unsigned char protocol;         // 协议,上层协议的类型,udp, tcp
    unsigned short check;       // 首部校验和
    unsigned int sip;           // 源ip
    unsigned int dip;           // 目的ip
};
// udp报文首部
struct udphdr {
    unsigned short sport;       // 源端口
    unsigned short dport;       // 目的端口
    unsigned short len;      // udp报文长度
    unsigned short check;       // udp 校验
};
// udp 报文,sizeof(struct udppkt) == 42
struct udppkt {
    struct ethhdr eh;    // 以太网帧首部
    struct iphdr ip;        // ip 首部
    struct udphdr udp;      // udp 首部
    
    unsigned char payload[0];  //应用层数据,柔性数组(零长数组)
};
// ARP 首部
struct arphdr {
    unsigned short type;        // 硬件类型
    unsigned short protocol;    // 协议类型
    unsigned char addrlen;      // 硬件地址长度
    unsigned char protolen;     // 协议地址长度
    unsigned short oper;        // 操作类型,ARP请求1,ARP响应2,RARP请求3,RARP响应4    
    unsigned char smac[ETH_ADDR_LENGTH];   // 源 mac 地址
    unsigned int sip;                       // 源 ip 地址
    unsigned char dmac[ETH_ADDR_LENGTH];   // 目的 mac 地址
    unsigned int dip;                       // 目的 ip 地址
};
// ARP 数据包
struct arppkt {
    struct ethhdr eh;   // 以太网帧首部
    struct arphdr arp;  // ARP 首部
};
// icmp 首部,icmp报文分为差错报文和查询报文,由类型和代码共同决定其类型
struct icmphdr {
	unsigned char type;		// 类型
	unsigned char code;		// 代码,指定类型中的一个功能
	unsigned short check;	// 首部校验和
	unsigned short id;		// 标识
	unsigned short seq;		// 序列号
	unsigned char data[32];
};
// icmp 数据包
struct icmppkt {
	struct ethhdr eh;		// 以太网帧首部
	struct iphdr ip;		// ip 首部
	struct icmphdr icmp;	// icmp 首部
};
// 字符串"FF:...:FF"转 mac 地址(十六进制数字)
int str2mac(char *mac, char *str) {
	char *p = str;
	unsigned char value = 0x0; // 十六进制起始
	
	int i = 0;
	while (*p != '\0') {
		 // : 分割符
		if (*p == ':') {
			mac[i++] = value;	
			value = 0x0; 
		} else {
			// 处理数字
			unsigned char temp = *p;
			if (temp <= '9' && temp >= '0') {
				temp -= '0';
			} else if (temp <= 'f' && temp >= 'a') {
				temp -= 'a';
				temp += 10;
			} else if (temp <= 'F' && temp >= 'A') {
				temp -= 'A';
				temp += 10;
			} else {	
				break;
			}
			value <<= 4;
			value |= temp;
		}
		p ++;
	}
	mac[i] = value;
	return 0;
}
// 回复 arp 
void echo_arp_pkt(struct arppkt *arp, struct arppkt *arp_rt, char *hmac) {
	memcpy(arp_rt, arp, sizeof(struct arppkt));
	memcpy(arp_rt->eh.dmac, arp->eh.smac, ETH_ADDR_LENGTH);
	str2mac(arp_rt->eh.smac, hmac);
	arp_rt->eh.protocol = arp->eh.protocol;
	arp_rt->arp.addrlen = 6;
	arp_rt->arp.protolen = 4;
	arp_rt->arp.oper = htons(2);
	
	str2mac(arp_rt->arp.smac, hmac);
	arp_rt->arp.sip = arp->arp.dip;
	
	memcpy(arp_rt->arp.dmac, arp->arp.smac, ETH_ADDR_LENGTH);
	arp_rt->arp.dip = arp->arp.sip;
}
// 回复 udp,bad udp,估计是校验的问题
void echo_udp_pkt(struct udppkt *udp, struct udppkt *udp_rt) {
	memcpy(udp_rt, udp, sizeof(struct udppkt));
	memcpy(udp_rt->eh.dmac, udp->eh.smac, ETH_ADDR_LENGTH);
	memcpy(udp_rt->eh.smac, udp->eh.dmac, ETH_ADDR_LENGTH);
	udp_rt->ip.sip = udp->ip.dip;
	udp_rt->ip.dip = udp->ip.sip;
	udp_rt->udp.sport = udp->udp.dport;
	udp_rt->udp.dport = udp->udp.sport;
}
// icmp 校验和
unsigned short in_cksum(unsigned short *addr, int len) {
	register int nleft = len;
	register unsigned short *w = addr;
	register int sum = 0;
	unsigned short answer = 0;
	while (nleft > 1)  {
		sum += *w++;
		nleft -= 2;
	}
	if (nleft == 1) {
		*(u_char *)(&answer) = *(u_char *)w ;
		sum += answer;
	}
	sum = (sum >> 16) + (sum & 0xffff);	
	sum += (sum >> 16);			
	answer = ~sum;
	
	return (answer);
}
// 回复 icmp 
void echo_icmp_pkt(struct icmppkt *icmp, struct icmppkt *icmp_rt) {
	memcpy(icmp_rt, icmp, sizeof(struct icmppkt));
	icmp_rt->icmp.type = 0x0; 
	icmp_rt->icmp.code = 0x0; 
	icmp_rt->icmp.check = 0x0;
	icmp_rt->ip.sip = icmp->ip.dip;
	icmp_rt->ip.dip = icmp->ip.sip;
	memcpy(icmp_rt->eh.dmac, icmp->eh.smac, ETH_ADDR_LENGTH);
	memcpy(icmp_rt->eh.smac, icmp->eh.dmac, ETH_ADDR_LENGTH);
	icmp_rt->icmp.check = in_cksum((unsigned short*)&icmp_rt->icmp, sizeof(struct icmphdr));
	
}
int main() {
	
	struct ethhdr *eh;
	struct pollfd pfd = {0};
	struct nm_pkthdr h;
	unsigned char *stream = NULL;
	struct nm_desc *nmr = nm_open("netmap:eth0", NULL, 0, NULL);
	if (nmr == NULL) {
		return -1;
	}
	pfd.fd = nmr->fd;
	pfd.events = POLLIN;
	while (1) {
		int ret = poll(&pfd, 1, -1);
		if (ret < 0) continue;
		
		if (pfd.revents & POLLIN) {
			// 从内存的 ringbuf 中取出一个包
			stream = nm_nextpkt(nmr, &h);
			eh = (struct ethhdr*)stream;
			// 若以太网帧携带的是 ip 数据
			if (ntohs(eh->protocol) == PROTO_IP) {
				struct udppkt *udp = (struct udppkt*)stream;
				// 1、ip数据包携带的是 udp 报文
				if (udp->ip.protocol == PROTO_UDP) {
					struct in_addr addr;
					addr.s_addr = udp->ip.sip;
					int udp_length = ntohs(udp->udp.len);
					printf("%s:%d: udp_length:%d, ip_len:%d -->\n", inet_ntoa(addr), ntohs(udp->udp.sport), 
						 udp_length, ntohs(udp->ip.tot_len));
					udp->payload[udp_length - 8] = '\0';	// udp报文长度=udp长度-udp首部
					printf("udp pkt: %s\n", udp->payload);
#if 1
					struct udppkt udp_rt;
					echo_udp_pkt(udp, &udp_rt);
					nm_inject(nmr, &udp_rt, sizeof(struct udppkt));
#endif
				} 
#if ICMP		
				// 2、ip数据包携带的是 icmp 报文
				else if (udp->ip.protocol == PROTO_ICMP) {
					
					struct icmppkt *icmp = (struct icmppkt*)stream;
					printf("icmp ---------- --> %d, %x\n", icmp->icmp.type, icmp->icmp.check);
					if (icmp->icmp.type == 0x08) {
						struct icmppkt icmp_rt = {0};
						echo_icmp_pkt(icmp, &icmp_rt);
						//printf("icmp check %x\n", icmp_rt.icmp.check);
						nm_inject(nmr, &icmp_rt, sizeof(struct icmppkt));
					}
					
				} 
#endif
				else if (udp->ip.protocol == PROTO_IGMP) {
				} 
				else {
					printf("other ip packet");
				}
				
			}  
#if ARP
			// 若以太网帧携带的是 arp 数据
			else if (ntohs(eh->protocol) == PROTO_ARP) {
				struct arppkt *arp = (struct arppkt *)stream;
				struct arppkt arp_rt;
				
				// 若访问的是本机的ip,回复arp数据包
				if (arp->arp.dip == inet_addr("192.168.0.104")) {
					echo_arp_pkt(arp, &arp_rt, "00:0c:29:18:ef:9d"); // 本地的mac
					nm_inject(nmr, &arp_rt, sizeof(struct arppkt));
				}
			}
#endif
		} 
	}
}



















