[TOC]Linux 系统编程 文件篇 二1 open 函数介绍1.1 标记位上一篇的结尾我们讲到了我们用的打开文件的库函数其实是封装了这个 open 的系统调用然后解释了这个 open 函数的 这个标记位flags 是一个位图的形式。现在我们继续之前的说。这里补充一下open 的第一个参数还是指定路径下的文件绝对路径和相对路径都可以因为是进程来新建文件而不是语言层面的。首先还是从标记位讲起标记位其实就是宏man 一下打开可以看到这些标记位都是什么这三个我们应该很熟悉readonly , writeonly , read write 分别就是只读只写和这个读写的形式。还有几个我们需要认识一下第一个是 append 追加对应就是 ‘a’ 第二个是 create 故名思意就是创建文件的意思。第三个其实我们之前也见过在这个 ‘w’ 打开的时候我们可以看到这个 ‘w’ 描述第一个次就是这个 truncate 清空的意思。所以我们就能推断我们之前说的什么 ‘r’ 打开 ‘w’ 打开 ‘a’ 打开其实就是这些标记位的组合。比如 ‘w’ - O_WRONLY | O_CREAT | O_TRUNC , 分别对应 ‘w’ 打开的三个特点写方式打开没有这个文件就下新建每一次都清空。我们继续看这个 open 函数说实话有同学可能发现了华点C 语言里面没有重载但是为什么有两个同名的 open 函数其实这里是用宏来实现的具体的后面会谈。第二个open函数和第一个一模一样唯一不同的是多了一个 mode 参数 这个 mode 是什么不卖关子就是权限。打开的这个文件的权限。其实也不难理解 linux 里面是有权限概念的如果我新建一个文件去读去写新建的文件应该是要有权限的如果我们只是使用第一个 open 去新建会发现这个权限是乱的。是不符合这个权限的要求的。所以我们新建我呢教案的时候就可以用第二个 open 去手动设置权限。1.2 权限我们之前说过权限是可以看成这个 8 进制数来设置的所以这个 mode 的参数类型就给成了一个 int 。默认就是 0666 第一个 0 是用来标志这是 8 进制的。回归一下权限 首先是对象有 拥有者 所属组 和 other 。 每一个对象有一组权限是 r w x 也就对应 三个二进制位 000.二进制位为 1 就是有 为 0 就是没有 比如 rw- 对应 110 八进制下就是 6 。但是我们还是会发现我们新建出来的文件的权限还是不太对和我们设置的不一样。为什么因为有这个权限掩码 umask 可以手动屏蔽一些个权限。其实这里也侧面说明的这个 umask 也是系统层面的。如果我们就是想这个新建文件的权限设置的和我们传进去的参数一模一样我们也可以调用 umask 接口每错 umask 也是个函数通过我们传入的数据来修改当前程序的一共 umask 想和传参一样的这个 umask 传参传 0 就好了。这个umask 是遵循就近原则的如果当前进程设置了umask 就按当前进程的来没有就按系统的来。1.3 读写接口介绍还有就是 open 函数的返回值。可以看到这个值如果成功打开返回这个文件的文件描述符 这个文件描述符后面有大用这里先把这个观点抛出来。然后如果打开失败就返回 -1 然后设置 errno 。当我们关闭怎么办当然也有相应的系统调用就是close()。可以看到这里的 close 只需要传入这个文件的文件描述符也就是 open 函数的返回值就可以关闭这个文件了。有了开关以后还要有读写才行要不然怎么对文件进行操作可以看到这里也就这个系统调用就是这个 write 。第一个参数是文件描述符表示往那个文件里面写第二个是要写的内容第三个是要写的内容的个数。这里写的方式和我们之前说到的 open 函数的标记位也是是有关系的open 函数的标志位是什么这里写的方式就是什么。比如说 如果open 函数里面没有 O_TRUNC 的话再次写就不会被清空而是从头开始覆盖写。我们语言层面封装的 ‘w’ 和 ‘a’ 其实最后都会转化位系统层面相应的标记位。我们注意到这个函数的参数和我们之前提到的 fwirte 的二进制读写传参是很像的。这里我们就又要把这个二进制读写和文本读写再拉出来说说。我们看到这个 write 的系统调用的要写的内容的地方是 void* 也就是说它什么都能写。也就是说在系统层面他时不关心我们是怎么写的系统什么都能写。所谓的文本写入和这个二进制写入其实都是语言层面的概念。假如我要写一个 n 12345 到显示器上他是按一万两千三百四十五打印还是 ‘1’ ,‘2’ ,‘3’ … 这样的字符打印。我们之前也提到过如果我们用printf是按照字符的方式打印的。如果我们用这个write直接打印这个 n 的话会发现是乱码这样其实就是二进制打印的被这个文本编辑器强行按照这个ascii码给解读成字符了。如果我们就是像用 write 打印字符串怎么办我们就需要自己调整格式先把 12345 转化成字符串比如用一个 snscanf把写好的字符串放在一个 buffer 里面直接把这个 buffer传给 write 就好了。别忘了系统什么都能打。换句话说想要系统怎么打印就看我们对文本怎么解释。我们不解释库函数有时也会帮我们解释比如 printf fputs 之类打印就是打印字符串。那么读文件呢读文件也好办有 write 系统调用就有 read 系统调用这个read的使用和write大差不差依旧是系统什么都能读放到这个 buffer 里面。这个函数的返回值提一句如果成功读了但会读了多少个字节如果返回零则表示读到了文件的末尾。读取失败返回小于零的数。或许有同学有疑问什么时候字符串读什么时候文本读其实啊文件是我们自己的内容什么的我们其实都知道什么时候文本读什么时候二进制读我们自己肯定也知道。可以看到我们以读方式打开文件的话其实就不需要传这个权限了因为不需要新建文件了嘛所以这也是为什么open要有两个的原因。可以看到我们文件里面写的 123456 以字符串的形式就打印出来了是我们自己手动调整的格式包括这个char的buffer还有这个加 \0 的操作。文件接口其实不止我们以前C语言里面学的那么多后期我们再谈但是涉及到输入输出的其实底层都封装了这个read 和 write然后再做一些处理比如帮我们处理格式。2 文件描述符2.1 初识文件操作符我们之前称这个 open 函数的返回值叫文件描述符。我们用到的 write read close 等系统调用传参都是要求的文件描述符。文件描述符是什么呢可以看到这个文件描述符其实就是一个整形数字表示我们打开的文件。为什么这个数字是从 3 开始的以及为什么操作系统可以通过一个数字来控制文件的读写和关闭我们一个一个来谈首先为什么从 3 开始 我们说一个进程默认打开三个文件 stdin stdout stderror 而 这个log.txt是我们自己打开的第一个文件如果 stdin 是第 0 个那么我们的 log.txt 正好是 3。所以直接出结论 0 1 2其实就是标准输入标准输出和标准错误。我们还观察到有关文件的系统调用的接口处理open因为会自己新建文件别的接口传入的参数都是文件标识符。换句话说操作系统只认 fd 也就是 文件标识符。但是这个时候就有同学要问了我们之前学的fopenfprintf什么的传入的参数还有这个 stdin stdout stderror 的类型都是FILE* 的指针啊。注意FILE*是语言层面的是C语言提供的一个结构体typedef出来的。 typedef XXX{…}FILE;但是实际上我们说打开文件或者往文件写入是进程来做的文件在磁盘里面要打开必须经过操作系统操作系统不相信任何人所以必须要通过系统调用。所以我们可以得出结论 FILE*里面一定封装了 文件标识符。知道了这个封装之后思考一下只有C 语言里面有这个封装吗C java python php go 等等这些语言有没有这样的封装为什么要有这个封装。首先第一个问题的答案是肯定的比方说c里面有I/O流 cin cout cerr其它的面对象的语言也都是有的。为什么要有这个封装我们思考一下操作系统不止一款吧比如说有 windows linux macos等等这些操作系统是完全一样吗肯定不是。但是我们能说一种语言只能在一个操作系统使用吗比如说C语言只能在linux上使用别的操作系统使用就报错肯定是不行的。所以 C语言的库 libc.so 在实现的时候就必须把这些平台的接口全部实现一份出来然后再封装一层使得用户在不同平台下使用的方面上来讲都是一样的。因为库里面有很多平台的实现在特定的平台需要的只是这一个平台的其它的就会被裁剪掉没错还是老朋友条件编译干的。说了这么多总结一句话就是为了增加这个语言的可移植性让他在那个平台下都能跑。那么为什么语言要增加可移植性如果可移植性差了用的人就少那这个语言相关的社区生态就少久而久之这个语言就被挤占没了淘汰掉了。所以增加可移植性是让更多的人去使用增加市场的占有率。2.2 再探文件表示符刚才我们只回答了第一个问题为什么我们自己开文件是从 3 开始的。现在我们来回答第二个问题文件表示符是什么为什么操作系统可以通过文件标识符来对文件进行操作。文件标识符的 fd 从 0 开始。是不是很熟悉数组下标也是从 0 开始的。所以文件标识符会不会是一个数组下标呢其实文件标识符还真是数组下标。在文件篇一里面我们提到进程可以打开多个文件进程一定是要对文件进行管理的怎么管理先描述再组织。比如说一个磁盘里面的文件被打开了以后就会有 struct file 被加载到内存这个 struct file 就是用来描述这个文件的。换句话说struct file 就代表被打开的文件。而在这个 struct file 和这个文件之间还有一个内核缓冲区的存在数据只有先经过缓冲区才能在两边流动。这个 struct file就是我们继 task_struct ,mm_struct ,之后学到的第三个内核数据结构的结构体节点。知道了这个 struct file以后之后肯定就是要再组织了依旧是串成一张表。和之前有所不同的是文件描述符表 struct files_struct 里面还有一些其它的信息存储这些 struct file 的地址的是这个文件描述符表里面的一个指针数组 struct file* fd_array[]进程的 pcb里面只要找到这个文件描述符表就可以把这些打开的文件管理起来。而我们刚才说到的文件描述符 fd 就是这个 struct file* fd_array[], 的指针数组的下标。数组里面存储的是每一个struct file的地址。至于这个文件缓冲区对文件进行任何操作都要把文件加载到内核对应的文件缓冲区内打开文件的时候也会预加载一些方便读。本质就是 磁盘到内存的一个拷贝。关于缓冲区更多的内容我们之后会详细说这里先知道有这么个东西就好。我们再使用像 read 等系统调用的时候传入这个 fd 通过当前进程的 PCB 找到文件描述符表然后访问这个指针数组对应的下标就可以找到这个struct file即这个被打开的文件然后从缓冲区里面拷贝内容出来放到我们要放的地方去。所以read 本质上是内核到用户空间的拷贝函数。3. 重定向原理3.1 重定向原理初步我们之前也见识过重定向也知道输出重定向是 w 写追加重定向是 a 写。那么重定向的原理是什么呢我们知道程序与运行默认打开三个参数stdin stdout stderror分别对应键盘文件显示器文件显示器文件。如果我们把这个 stdout 给他关了再打开一个别的文件然后 printf 会发生什么呢可以看到我们把这个文件描述符 1 也就是 stdout 关了然后新建一个 log.txt 打开然后再输出可以猜到屏幕上已经没有了那么这个 hello 打印到哪里去了呢可以看到打到这个 log.txt 里面去了。这里我忘敲回车了黏糊糊的嘻嘻这个现象是不是很像为我们的重定向操作本来写道一个文件里面然后写到别的文件里面了。我们这个现象出现是为社么你呢首先文件描述符的分配规则是从小到大没被占用的先分配。由于我们已经拿 1 给关了所以新来的这个 log.txt 就占上了 1 这个位置。printf 这个函数呢打印的时候认死理就要往文件描述符为 1 的文件里面打。所以就有了上面这个现象。其实就是来了一波狸猫换太子。挺有趣的吧。翻译成人话就是数组下标没变而数组这个位置的指针指向变了。这其实就是重定向的原理。如果在刚才的代码后面加上一句把这个log.txt 关掉会发现什么也不会输出。这个涉及到后面讲缓冲区时候的事情这里简单提一嘴。每一个文件的 file 里面存储着文件的 inode 元信息这个信息是什么呢现阶段可以理解为就是除了文件名和文件内容别的几乎都有因为好多东西都没讲到后期再谈但是啊刚才我们实现这个狸猫换太子是先把这个 1 关上然后再把这个 新文件打开如果还有下一步的话就应该是把这个 1 打开新文件关上。如果要重定向的文件多了直接麻烦死了。所以这个时候就要有这个系统调用登场当当当当当就是这个 dup2 奥可以看到这个参数就是 新的fd 和 旧的 fd 这个函数可以让 旧fd 位置的指针指向新新 fd 位置的 struct file。返回值是成功了返回这个新位置的 fd 失败了返回 -1 这只 errno。还有一个问题就以这个 stdin 和 新来的 log.txt 分别fd是 1 和 3 嘛谁是 old 谁是 new ?可以看到这个 dup2 这里有个描述 newfd 是 oldfd 的拷贝 如果必要的话关闭 newfd 所以 newfd 就是 1而这个 oldfd 就是 3 。因为 1 位置的指针指向拷贝到了 3 位置了嘛。所以 dup2(fd, 1)。 就是用法。3.2 重定向原理再探所以重定向的完成其实就是 打开文件的方式 dup2 。 后面我们给之气自己写的 minishell 加上这个重定向功能。但是还有一件事。我们 dup2 以后这个 fd 指针数组指向就不一样了。后续要怎么恢复呢如果我们是让子进程去执行这个重定向那直接不用恢复了跟着子进程自生自灭就好喽。为什么可以这样子进程修改子进程 fd 指向会不会影响父进程完全不会因为进程是独立的子进程创建拷贝了一份父进程子进程修改自己的信息父进程拿不到而如果修改共同信息的话会发生写实拷贝也不会影响父进程所以让子进程去执行这个正好。我们自己写 minishell 也是用的这个 原理 bash 是父进程嘛。回顾一下我们之前讲进程等待的时候为什么status是放在waitpid里面的输出型参数而不是区全局变量父进程拿不到子进程自己的变量而且还有写实拷贝。这个重定向那直接不用恢复了跟着子进程自生自灭就好喽。为什么可以这样子进程修改子进程 fd 指向会不会影响父进程完全不会因为进程是独立的子进程创建拷贝了一份父进程子进程修改自己的信息父进程拿不到而如果修改共同信息的话会发生写实拷贝也不会影响父进程所以让子进程去执行这个正好。我们自己写 minishell 也是用的这个 原理 bash 是父进程嘛。回顾一下我们之前讲进程等待的时候为什么status是放在waitpid里面的输出型参数而不是区全局变量父进程拿不到子进程自己的变量而且还有写实拷贝。如果非要是父进程自己用这个dup2,要怎么调回来呢其实会在这个数指针数组里面新开一个地方先把这个 1 的指向存起来等到结束了以后再把 1 的指针指向换回去。 就想我们交换两个数那样整一个 tmp 变量。