EDA365欢迎您登录!
您需要 登录 才可以下载或查看,没有帐号?注册
x
对于传统的操作系统来说,普通的 I/O 操作一般会被内核缓存,这种 I/O 被称作缓存 I/O。本文所介绍的文件访问机制不经过操作系统内核的缓存,数据直接在磁盘和应用程序地址空间进行传输,所以该文件访问的机制称作为直接 I/O。Linux 中就提供了这样一种文件访问机制,对于那种将 I/O 缓存存放在用户地址空间的应用程序来说,直接 I/O 是一种非常高效的手段。
9 M4 u) N' f. |+ m“Linux 中一切皆文件”这句话已经不知道说了多少遍了,后面也会提到很多次。那么在深入学习之前,肯定要掌握对 Linux 文件的各种操作,包括读、写、创建等基本知识。
0 {" s0 @* X* A- x8 R本章配套视频为:" `" j8 B0 C- s P" m- T4 L
“视频 05_01 文件 IO 之 open 打开操作”
. K7 u! j2 h& E { L: U) q' V“视频 05_02 文件 IO 之 creat 创建操作”/ G5 @/ J, ~' X9 U8 w0 L- q
“视频 05_03 文件 IO 之 write 写操作”$ p p- Y8 S8 U
“视频 05_04 文件 IO 之 read 读操作”( @. }, P, k5 T3 N
16.1 Linux 中 中 IO 的概念介绍
- Q6 p: C6 g, `3 P8 G' i, Q: Y所有的 I/O 操作都是通过读文件或者写文件来完成的。在这里,把所有的外围设备,包括键盘和显示器,都看成是文件系统中的文件。, W: r) s& y+ T- z
什么是缓存 I/O
' y O* a5 O& j2 b+ K; e缓存 I/O 又被称作标准 I/O,大多数文件系统的默认 I/O 操作都是缓存 I/O。在 Linux 的缓存 I/O 机制中,操作系统会将 I/O 的数据缓存在文件系统的页缓存( page cache ) 中,也就是说,数据会先被拷贝到操作系统内核的缓冲区中,然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。缓存 I/O 有9 O. T' t3 C3 R2 k" _( [2 I
以下这些优点:
' i; h* @7 D7 C$ ^6 r2 }缓存 I/O 使用了操作系统内核缓冲区,在一定程度上分离了应用程序空间和实际的物理设备。$ E8 y& v! Y# b( k P
缓存 I/O 可以减少读盘的次数,从而提高性能。
, G% K" j! t% o, ~- S9 k当应用程序尝试读取某块数据的时候,如果这块数据已经存放在了页缓存中,那么这块数据就可以立即返回给应用程序,而不需要经过实际的物理读盘操作。当然,如果数据在应用程序读取之前并未被存放在页缓存中,那么就需要先将数据从磁盘读到页缓存中去。对于写操作来说,应用程序也会将数据先写到6 R+ p" X H; ~, A
页缓存中去,数据是否被立即写到磁盘上去取决于应用程序所采用的写操作机制:如果用户采用的是同步写机制( synchronous writes ), 那么数据会立即被写回到磁盘上,应用程序会一直等到数据被写完为止;如果用户采用的是延迟写机制( deferred writes ),那么应用程序就完全不需要等到数据全部被写回到磁盘,数据只要被写到页缓存中去就可以了。在延迟写机制的情况下,操作系统会定期地将放在页缓存中的数据刷到磁盘上。与异步写机制( asynchronous writes )不同的是,延迟写机制在数据完全写到磁盘上的时候不会通知应用程序,而异步写机制在数据完全写到磁盘上的时候是会返回给应用程序的。所以延迟写机制本身是存在数据丢失的风险的,而异步写机制则不会有这方面的担心。, F4 ~4 N5 R+ T9 u9 L3 D
缓存 I/O 的缺点7 ^4 P- r6 ~0 Y! U4 K8 N/ f
在缓存 I/O 机制中,DMA 方式可以将数据直接从磁盘读到页缓存中,或者将数据从页缓存直接写回到磁盘上,而不能直接在应用程序地址空间和磁盘之间进行数据传输,这样的 话,数据在传输过程中需要在应用程序地址空间和页缓存之间进行多次数据拷贝操作,这些数据拷贝操作所带来的 CPU 以及内存开销是 H z3 u( W, i9 Q3 T1 o
非常大的。
6 a- D$ V+ v: z; t% Q( x对于某些特殊的应用程序来说,避开操作系统内核缓冲区而直接在应用程序地址空间和磁盘之间传输数据会比使用操作系统内核缓冲区获取更好的性能,下边这一小节中提到的自缓存应用程序就是其中的一种。0 D. b" B: ~; t6 n' W
小贴士-关于文件的相关知识的一点说明1 X9 v8 @6 N1 {* v
在 Linux 中,文件非常重要,所以在 linux 系统中提供了丰富的文件操作函数。6 ^. o1 y. |3 _5 x1 {
在系统编程中,只会介绍编程中用到的最终的 API 和必须掌握的知识,还有大量的和文件相关的知识,例如高级 IO,制作文件系统,虚拟文件系统,文件共享,网络文件系统等等。0 I+ C* n t+ ?5 v1 ]
如果真是要详细的介绍整个 linux 文件,可能好几千页的书都介绍不完,而且对于大家学习初期也没有太大的帮助,得不偿失。! X; `5 R+ g9 R8 {: @
手册中还会以其它形式介绍文件相关的知识,有的时候会介绍一步一步介绍如何操作,例如制作文件系统,NFS 网络启动;有时候会介绍如何使用,例如内核教程中介绍的虚拟文件系统等等。大家如果感兴趣,在学习教程之外可以通过学习相关知识,去了解更加具体的含义。6 _6 e. x4 F& N( V- m# j
文件对于 Linux 实在是太重要了,不过大家学习了本章的知识和实验,了解其他和文件系统相关的知识,在后面 Linux 编程中遇到的问题基本可以自行解决了。. d& W( X8 d9 e; b, h6 j
函数头文件9 c2 ~: L1 k7 }
在所有的 Linux 系统中,如果需要对文件的进行操作,只要包含如下 4 个头文件即可。) P J$ y9 I5 W0 J
#include <unistd.h>
5 d3 k& t0 ?7 P9 W4 @- y#include <sys/types.h>
) M" V3 b$ _9 v5 _3 _; n#include <sys/stat.h>
J" Z2 l; B) e G#include <fcntl.h>
- b" o/ }+ ]+ A& [: X5 m. \1 x1 W6 `上面四个头文件中包含了打开,关闭,创建,读文件,写文件的函数,还有标志位,以及在不同 32 位以及 64 位系统下数据长度的宏变量定义。' ?' G/ f& Z! ~7 W( b
16.2 打开文件函数 open
: {! d. q* x7 A! f+ m8 E2 P使用 open 函数的时候会返回一个文件句柄,文件句柄是文件的唯一识别符 ID。对文件的操作必须从读取句柄开始。
" w9 h5 ?6 ^8 o' @先来看一下函数 open 的两个原型。& \ K" A4 @) i* i- y+ }
int open(const char *path, int oflags);6 B/ ?; h* m" g: p' ?% m# o
有两个参数的‘open’函数主要用于创建文件,在本章的 10.5.5 小节会和创建文件的函数 creat 的同时介绍具体用法,并给出例子。5 _, }+ G- \ U) Z3 ?: E$ a, @
int open(const char *path, int oflags,mode_t mode);5 U! ?& X# _* u. i6 u/ k' k
open 函数可以建立一个文件或者设备的访问路径。在打开或创建文件时可以指定文件的属性及用户的
3 O2 I Q- }; @% X5 R权限等参数。1 r# ~' F7 j3 q' y. {. ^ g7 c
第一个参数 path 表示:路径名或者文件名。路径名为绝对路径名,例如开发板中的 led 驱动的设备节点/dev/leds。, g/ }1 f* i8 I
第二个参数 oflags 表示:打开文件所采取的动作。下 面 三 个 选 项 是 必 须 选 择 其 中 之 一的 。
: Q/ o. L' X2 xO_RDONLY 文件只读, j% V8 A6 d ]$ n
O_WRONLY 文件只写
$ R- a! A0 e! E$ b2 m/ Q2 q: y* ?- j: OO_RDWR 文件可读可写- K/ }0 G. u/ H4 F
下面是可以任意选择的。
) N$ n3 d. m _3 jO_APPEND 每次写操作都写入文件的末尾
: Z I4 p4 H! u% }! OO_CREAT 如果指定文件不存在,则创建这个文件
1 y4 i* J+ u. Q5 F3 K0 ~O_EXCL 如果要创建的文件已存在,则返回 -1,并且修改 errno 的值
! x3 D7 a5 z QO_TRUNC 如果文件存在,并且以只写/读写方式打开,则清空文件全部内容; S9 V# c9 Z7 H8 |% K
O_NOCTTY 如果路径名指向终端设备,不要把这个设备用作控制终端。* I6 X3 f: o5 I1 |1 o
O_NONBLOCK 如果路径名指向 FIFO/块文件/字符文件,则把文件的打开和后继 I/O 设置为非阻塞模式
# q$ R. T6 k6 ~. x7 p1 j(nonblocking mode),后面会介绍什么是阻塞和非阻塞。
$ C! i+ M& d1 d& |5 G+ lO_NDELAY 和 O_NONBLOCK 功能类似,调用 O_NDELAY 和使用的 O_NONBLOCK 功能是一样的。第三个参数 mode 表示:设置创建文件的权限。
; w/ Y* q {3 ^% L: \7 p# P9 M; i! TS_IRUSR,S_IWUSER,S_IXUSR,S_IRGRP,S_IWGRP,S_IXGRP,S_IROTH,S_IWOTH,S_IXOTH. 其中 R:读,W:写,X:执行,USR:文件所属的用户,GRP:文件所属的组,OTH: 其他用户。第三个参数可以直接使用参数代替,参考 10.4.5 小节‘Linux 权限’。" R( S6 K9 O, e1 X, l* t8 N- v7 [% G
前面用过的‘chmod 0777 helloworld’命令,其中的含义是一样的,只不过 chmod 是在文件创建之后再修改权限。
0 ]+ d( `# L& k& f Topen 函数代码
6 m& c! B [7 A' \* c# l编写简单的 open.c 文件测试 open 函数。首先添加头文件,如下图所示。4 b1 }4 a+ S+ [/ u, a |
首先添加头文件,如下图所示。 ![]()
然后 main 函数如下。 ![]()
上图中打开了三个文件分别属于不同的情况。5 h6 s/ C$ v8 S
/dev/leds 已经在开发板中存在,属于驱动的设备节点,在 linux 驱动教程中会具体介绍* v1 ]8 T0 `* ~- v* M4 j
/bin/test1 和/bin/test2 都不存在
: q8 ?# k) {/ T. h; R9 G使用 open 函数调用上面三个文件,如果出错就会打印错误,然后打印句柄。
: \- D$ v+ h, Q编译运行测试1 o5 e- J. b, ?9 S9 H: m# i: ~
在 Ubuntu 系统下,如下图所示,进入前面实验创建的目录“/home/linuxsystEMCode/iofile”,使用命令“mkdir iofile”新建 iofile 文件夹,将源码 open.c 拷贝进去,进入新建的文件夹 iofileopen,如下图所示。 ![]()
使用命令“ARM-none-linux-gnueabi-gcc -o open open.c -static”编译 open 文件,如下图所示,使用命令“ls”可以看到生成了 open 可执行文件。 ![]()
这里介绍 U 盘拷贝代码的方法,也可以编译进文件系统,具体方法参考 10.3.5 小节。将编译成的可执行文件 open,拷贝到 U 盘,启动开发板,插入 U 盘,加载 U 盘,运行程序如下。 ![]()
如上图所示,可以看到打开/dev/leds 成功,这个是板载 LED 的内核驱动,调用的时候, 还调用了内核驱动中的函数,这个函数会打印“LEDS_CTL DEBUG evice Opened Success!”和“LEDS_CTL DEBUG eviceOpened Success!”* F& _% ?1 x9 S3 B* W9 N
然后打印句柄 ID,/dev/leds fd is 3
* ^ k _; N1 G8 a! P1 v调用“/bin/test1”会报错“open /bin/test1 failed”,这种打开文件的方式是 linux 中标准的用法,几乎所有对文件的 open 操作都会加上出错报警的语句。
! t: O ^, \: z4 [" ^, X4 u3 Y( n创建“/bin/test2”会打印“/bin/test2 fd is 4”,表明创建“/bin/test2 ”成功了。
1 i- ^& w; b n% ?) O) q/ _) J使用命令“ls /bin/test2”,查看一下对应目录‘/bin’下应该新建了“test2”,如下图所示。 ![]()
另外的“dev/leds”本身就存在,如下图所示,这是驱动的设备节点文件,在后面的实验会介绍如何操作调用,在 linux 驱动实验中会介绍这个设备节点文件是如何生成的。 ![]()
16.3 创建函数 creat 和 和 open. t- @$ U M' D2 k, p
creat 函数介绍
- D2 ?& z5 s4 p! |# ^. ]+ R# Q3 H关于 creat 函数,首先这个单词并不是表示创建的意思,创建的英文单词是“create”, 这是早期的一个小的拼写错误,却一直沿用下来。3 `3 e+ _, R3 @# O7 c. _7 @
在介绍 open 函数的时候,可以看到 open 函数有两种形式,一个是两个参数一个是三个参数,早期的时候 open 只有三个参数的形式,三个参数的形式会导致 open 函数无法打开一个未创建的文件,也就是无法建立文件,所以就有了这个 creat 函数。
6 h6 X9 E1 I; |5 y现在 creat 函数可以完全用 open 替代,考虑到在阅读代码的时候可能会碰到,所以简单介绍一下。, [+ Y. e2 V& p8 b- f
creat 函数原型如下。 ~: P7 F' ]6 j7 n
int creat(const char * pathname, mode_t mode);% I; B! M; o4 O$ m; S
creat 函数只有两个参数,参数的含义和 open 类似。大家看到这个函数的时候知道它是创建文件的就成,在写代码的时候完全可以用 open 代替。
! ^: C# O' x2 r& r: u9 w/ v' ]creat 函数例程: J' M7 W& ^1 r) N% s( X9 d
编写简单的 creat.c 文件测试 creat 函数。首先添加头文件,如下所示。 ![]()
然后 main 函数如下所示。 ![]()
第 22 行、27 行、31,open 可以打开已有的文件,也可以打开不存在的文件,即创建文件,创建文件的时候需要在参数中添加标志位 O_CREAT。在第 27 行代码中,没有添加标志位,运行的时候肯定会报错,这么写是希望大家能够记住这个参数。6 Y1 a& @! K8 L9 b
第 36 行是使用 creat 函数创建文件“test3”,注意一下 creat 函数和 open 函数在创建文件的时候,参数的区别。7 w1 [- Q; `, S2 ^
编译运行测试 在 Ubuntu 系统下,如下图所示,进入前面实验创建的目录“/home/linuxsystemcode/iofile”,将源码creat.c 拷贝进去,如下图所示。 ![]()
使用命令“arm-none-linux-gnueabi-gcc -o creat creat.c -static”编译 creat.c 文件,如下图所示,使用命令“ls”可以看到生成了 creat 可执行文件。 ![]()
这里介绍 U 盘拷贝代码的方法,也可以编译进文件系统,具体方法参考 10.3.5 小节) s# K( T% O L. E. }
将编译成的可执行文件 creat,拷贝到 U 盘,启动开发板,插入 U 盘,加载 U 盘,运行程序如下。 ![]()
如上图所示。
5 `* f2 s* L: u3 s) \% q- a打开文件"/dev/leds"成功,这个文件已经存在1 T' s# f" y( e- {* c
打开文件"/bin/test1"失败,因为没有添加参数 O_CREAT,这个文件不存在,新建的时候需要参数1 Z# d3 k* u2 r3 K( t4 A
O_CREAT。- x9 }* e) h' a9 v% s5 B; [
打开文件"/bin/test2"成功,不存在这个文件,创建成功。
' r" m/ L+ t% b H: T打开文件"/bin/test3"成功,不存在这个文件,使用 creat 新建成功。8 Z# `* M3 {5 y+ a5 j
如下图所示,使用命令“ls /bin/test* ”在“/bin”目录下可以看到新建的文件 test2 和 test3。 ![]()
16.4 关闭函数 close; r9 T: ~- S0 q) v+ K- e
任何一个文件在操作完成之后都需要关闭,这个时候需要调用 close 函数。
! [ @4 m. O4 T% H/ V' y) \close 函数介绍
* q! t0 j: T- l1 z! w调用 close 函数之后,会取消 open 函数建立的映射关系,句柄将不再有效,占用的空间将被系统释放。5 Q) ]+ C$ z. K1 k
close 函数在头文件“#include <unistd.h>”中,close 函数的使用和参数都比较简单.
E9 h3 i2 g) f- j; v C# rint close(int fd);
/ R$ E5 A, y6 \! |6 C参数 fd,使用 open 函数打开文件之后返回的句柄。返回值,一般很少使用 close 的返回值。
9 \+ q- Q+ i, }" v4 Iclose 函数例程' i5 B0 V- ]! T0 y$ J3 `
调用很简单,在下一个实验中会永到 close 函数。 16.5 写函数 write
0 v/ W$ W1 H# Q' j3 z( b对文件进行写操作,write 函数使用的比较多。
) r0 Y, Y2 E- `% E+ \write 函数介绍
) _1 R8 h6 |- [3 C. G& d9 J" S! `write 函数在头文件“#include <unistd.h>”中。/ m4 H" J+ T, C
函数原型为 ssize_t write(int fd,const void *buf,size_t count) 参数 fd,使用 open 函数打开文件之后返# V. p. Y8 S( K9 s; l. z
回的句柄。4 f; y, ]- a0 j. |8 N9 J1 k
参数*buf,需要写入的数据。
. G/ x: z( h0 v$ @, V3 R6 H$ Z7 u. \参数 count,将参数*buf 中最多 count 个字节写入文件中。
4 x& H; W% O2 V. J! ^/ j返回值为 ssize 类型,出错会返回-1,其它数值表示实际写入的字节数。
* S5 J, o* n4 B% _. twrite 函数例程- G8 ~1 t- K5 j! P) }1 V$ h( R' R
编写简单的 write.c 文件测试 write 函数。首先添加头文件,如下所示。
' \6 p. x+ \$ Q. n; `0 M6 G9 |//标准输入输出头文件2 p% O9 S; {! E
#include <stdio.h>
" C& j; ^! `8 w( _1 N//文件操作函数头文件- A. j$ ^" E3 Z1 e L3 S# @# m+ N
#include <sys/types.h>& {# O3 q2 E4 X: ?$ C
#include <sys/stat.h> r# d0 W& p/ I) h9 l
#include <fcntl.h>9 Z5 c# z/ N9 d# |; y9 o
#include <unistd.h>. O* `* ^ s) V$ K& _0 }
#include <string.h>
9 v4 B! I: G- k' [) ]) T/ ?然后 main 函数如下所示。 ![]()
如上图代码所示。
) h4 `3 Q4 D* ]3 l在 16 行定义了 buffer_write 字符数组。
$ x; `8 o( i, }/ X在 18 行,进行写操作之前,必须得到文件的句柄,在这一行中使用 open 函数创建和打开文件“/bin/testwrite"。
8 c0 _ T: f5 Z, Q2 y& {$ k在 23 行中会调用 write 函数,将 buffer_write 字符数组中的内容写到新建的文件中。
e. w9 d8 B; E, c" P& ^在 31 行调用 close 函数,将"/bin/testwrite"文件关闭。$ w1 N+ M Z; a
后面测试的时候可以在超级终端中,使用 vi 编辑器打开"/bin/testwrite"文件,可以看到这个文件中有字符 Hello Write Function!.
/ z; G, {( k. q( F编译运行测试
/ H: ] E0 t2 l0 u- w在 Ubuntu 系统下,如下图所示,进入前面实验创建的目录“/home/linuxsystemcode/iofile”,将源码write.c 拷贝进去,如下图所示。 ![]()
使用命令“arm-none-linux-gnueabi-gcc -o write write.c -static”编译 write.c 文件,如下图所示,使用命令“ls”可以看到生成了 write 可执行文件。 ![]()
这里介绍 U 盘拷贝代码的方法,也可以编译进文件系统。& k9 `5 c3 w" ^; k4 w: J9 a& J
将编译成的可执行文件 write,拷贝到 U 盘,启动开发板,插入 U 盘,加载 U 盘,运行程序。如下图所示,打印出了 Write Function OK!。 ![]()
在代码中定义的文件是"/bin/testwrite",使用 vi 编辑器打开文件,如下图所示,程序执行运行成功。 ![]()
16.6 文件的读 read 函数
) t6 {% ~! _% V: T7 S" z# z对文件进行写操作,read 函数使用的比较多。
: i1 q& I5 a# `2 bread 函数介绍# a. ]3 x- G u8 u
read 函数在头文件“#include <unistd.h>”中。
$ h: ]6 ^2 F! }9 [函数原型为 ssize_t read(int fd,void *buf,size_t len)9 l" V7 v4 S" j/ P0 F$ T
参数 fd,使用 open 函数打开文件之后返回的句柄。
* y0 P u ?3 A# R5 K# y! C* @. I! A$ O参数*buf,读出的数据保存的位置。3 E% a, i: u* v6 D& k1 G5 A
参数 len,每次最多读 len 个字节。
+ t* s5 J; o7 h1 c/ f+ z返回值为 ssize 类型,出错会返回-1,其它数值表示实际写入的字节数,返回值大于 0 小于 len 的数3 `+ x* _1 m9 r
值都是正常的。) D* o, u) }. a/ o6 v
read 函数例程
: r" s1 C; g6 b# F编写简单的 read.c 文件测试 read 函数。
: X9 M# y# n7 u& g0 y) o: D3 _首先添加头文件和定义读函数缓冲区为 1000,如下图所示。* A9 F: d- B# t1 K
//标准输入输出头文件* j7 r8 K+ _5 ?5 l H1 K" R+ e# v
#include <stdio.h>
8 r7 m; I8 L9 @3 N//文件操作函数头文件 #include <sys/types.h>
: W! d0 w: U; N#include <sys/stat.h>
( S y8 b9 L, }2 y9 u3 j- y o#include <fcntl.h>
6 H& P9 J P9 \+ C7 @#include <unistd.h>( d- x2 c& f1 B& r! ^4 d6 d
#include <string.h>9 o/ B# X% {8 h9 H' ^ a) k
然后 main 函数如下图所示。 ![]()
如上代码所示。 在 1-9 行,头文件。
( B2 H: D; }5 _( _9 s( A M, b在 20 行,使用 open 函数打开或者新建"/bin/testwrite"文件。5 U2 R$ Z/ N( X2 ?% b) l* r
在 23 行,使用 write 函数将 buffer 中的内容写到"/bin/testwrite"文件中。在 35 行,使用 read 函数,将"/bin/testwrite"文件中的内容读出来。
( v& T- @2 @, {在 38 行,使用打印函数 printf 打印 read 函数读出的数据。在 39 行,调用 close 函数关闭打开的文件,程序结束。
& H7 d5 a' [/ P7 Q$ k* d }最终测试的时候,除了会出现"/bin/testwrite"文件,还会打印 read 函数读取的数据。
/ \" X( p$ ^- x0 {$ X: P+ ~* f+ V编译运行测试$ a- \% ^0 V- Q9 J/ ~: B3 F4 g/ w9 z
在 Ubuntu 系统下,如下图所示,进入前面实验创建的目录“/home/linuxsystemcode/iofile”,将源码read.c 拷贝进去,如下图所示。 ![]()
使用命令“arm-none-linux-gnueabi-gcc -o read read.c -static”编译 read.c 文件,如下图所示,使用命令“ls”可以看到生成了 read 可执行文件。 ![]()
这里介绍 U 盘拷贝代码的方法,也可以编译进文件系统。$ S/ V. C; U6 ^
将编译成的可执行文件 read,拷贝到 U 盘,启动开发板,插入 U 盘,加载 U 盘,运行程序。如下图所示,可以看到打印出了“Files Content is Hello Write Function”,使代码中预期的结果。 ![]()
![]()
# g4 N: y" |) b% l. l% {1 v |