NFS是Network File System的缩写,即网络文件系统。客户端通过挂载的方式将NFS服务器端共享的数据目录挂载到本地目录下。
一、NFS的工作流程
1、由程序在NFS客户端发起存取文件的请求,客户端本地的RPC(rpcbind)服务会通过网络向NFS服务端的RPC的111端口发出文件存取功能的请求。2、NFS服务端的RPC找到对应已注册的NFS端口,通知客户端RPC服务。3、客户端获取正确的端口,并与NFS daemon联机存取数据。4、存取数据成功后,返回前端访问程序,完成一次存取操作。
所以无论客户端 和服务端都需要用NFS,必须安装RPC服务。
NFS的RPC服务,在Centos5下名为portmap,Centos6下名称为rpcbind.
二、Centos7搭建NFS服务器实例
服务器系统 | 角色 | IP |
CentOS7-150--server | NFS服务器端 | 192.168.10.150 |
CentOS7-151-localhost | NFS客户端 | 192.168.10.151 |
共享CentOS7-150--server中/data/bbs目录,使192.168.10.1 IP段所有主机都可以访问
1、因是测试环境,先关闭selinux和firewalld
1)关闭selinux
[root@service ~]# sed -i s#SELINUX=enforcing#SELINUX=disabled#g /etc/selinux/config
2)关闭firewalld防火墙
查看firewalld防火墙开机自动状态
[root@service ~]# systemctl list-unit-files|grep enable|grep firewalldfirewalld.service enabled
关闭firewalld防火墙开机自动启
[root@service ~]# systemctl disable firewalld.serviceRemoved symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
停止防火墙
[root@service ~]# systemctl stop firewalld.service
查看防火墙状态
[root@service ~]# systemctl status firewalld.service● firewalld.service - firewalld - dynamic firewall daemon Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled) Active: inactive (dead) Docs: man:firewalld(1)Mar 14 18:52:24 localhost.localdomain systemd[1]: Starting firewalld - dynamic ....Mar 14 18:52:24 localhost.localdomain systemd[1]: Started firewalld - dynamic f....Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: ICMP type 'beyond...Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: beyond-scope: INV...Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: ICMP type 'failed...Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: failed-policy: IN...Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: ICMP type 'reject..Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: reject-route: INV...Mar 14 11:21:43 service systemd[1]: Stopping firewalld - dynamic firewall daemon...Mar 14 11:21:43 service systemd[1]: Stopped firewalld - dynamic firewall daemon.Hint: Some lines were ellipsized, use -l to show in full.
2、服务端部署
1)检查系统版本及NFS服务nfs-utils 和rpcbind有没有安装
[root@service ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) [root@service ~]# rpm -qa nfs-utils rpcbind
2)安装NFS服务nfs-untils和rpcbind
[root@service ~]# yum install nfs-utils rpcbind -y
3)启动rpcbind服务(一定要先启动rpcbind服务再启动nfs服务)
查看rpcbind服务状态
[root@service ~]# systemctl status rpcbind.service
启动rpcbind服务
[root@service ~]# systemctl start rpcbind.service
查看rpc
[root@service ~]# lsof -i :111COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEsystemd 1 root 33u IPv6 25136 0t0 TCP *:sunrpc (LISTEN)systemd 1 root 38u IPv4 25137 0t0 TCP *:sunrpc (LISTEN)rpcbind 9227 rpc 4u IPv6 25136 0t0 TCP *:sunrpc (LISTEN)rpcbind 9227 rpc 5u IPv4 25137 0t0 TCP *:sunrpc (LISTEN)rpcbind 9227 rpc 8u IPv4 33497 0t0 UDP *:sunrpc rpcbind 9227 rpc 10u IPv6 33499 0t0 UDP *:sunrpc [root@service ~]# netstat -lntup|grep rpcbindudp 0 0 0.0.0.0:922 0.0.0.0:* 9227/rpcbind udp 0 0 0.0.0.0:111 0.0.0.0:* 9227/rpcbind udp6 0 0 :::922 :::* 9227/rpcbind udp6 0 0 :::111 :::* 9227/rpcbind
查看nfs服务向rpc注册的端 口信息
[root@service ~]# rpcinfo -p localhost program vers proto port service 100000 4 tcp 111 portmapper 100000 3 tcp 111 portmapper 100000 2 tcp 111 portmapper 100000 4 udp 111 portmapper 100000 3 udp 111 portmapper 100000 2 udp 111 portmapper
把rpcbind另入开机自启动
[root@service ~]# systemctl enable rpcbind.service[root@service ~]# systemctl list-unit-files|grep enabled|grep rpcbindrpcbind.socket enabled
4)启动NFS服务并查看其状态
[root@service ~]# systemctl start nfs.service[root@service ~]# systemctl status nfs.service
把NFS服务加入开机自启动并查看其状态
[root@service ~]# systemctl enable nfs.service[root@service ~]# systemctl list-unit-files|grep nfs
5)授权nfsnobody于/data/bbs让客户端挂载后可写可读
[root@service /]# chown nfsnobody:nfsnobody /data/bbs
6)创建测试目录及文件
[root@service ~]# mkdir /data/bbs -p[root@service ~]# mkdir /data/bbs/test.txt
7)配置NFS服务的export文件
[root@service ~]# echo "/data/bbs/ 192.168.10.1/24(rw,sync,root_squash)">>/etc/exports
重新加载nfs配置文件
[root@service ~]# exportfs -rvexporting 192.168.10.1/24:/data/bbs
exportfs:NFS服务端发布共享控制命令。
-r:表示重新刷新共享。-a:表示将配置文件/etc/exports中的所有定义共享发布出去。-v:显示确认共享设置。-u:表示不发布共享。查看nfs服务器挂载情况
[root@service ~]# showmount -e localhostExport list for localhost:/data/bbs 192.168.10.1/24
ro:目录只读
rw:目录读写
sync:将数据同步写入内存缓冲区与磁盘中,效率低,但可以保证数据的一致性
async:将数据先保存在内存缓冲区中,必要时才写入磁盘
all_squash:将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody)
no_all_squash:与all_squash取反(默认设置)
root_squash:将root用户及所属组都映射为匿名用户或用户组(默认设置)
no_root_squash:与rootsquash取反
anonuid=xxx:将远程访问的所有用户都映射为匿名用户,并指定该用户为本地用户(UID=xxx)
anongid=xxx:将远程访问的所有用户组都映射为匿名用户组账户
3、客户端配置
[root@localhost ~]# yum install nfs-utils rpcbind
把rpcbind加入开机自启动
[root@localhost bbs]# systemctl enable rpcbind.service
创建测试目录文件
[root@localhost ~]# mkdir /data/bbs/ -p
扫描NFS服务器的文件共享列表
[root@localhost bbs]# showmount -e 192.168.10.150Export list for 192.168.10.150:/data/bbs 192.168.10.1/24
把服务器的目录挂载到客户端 的目录下
[root@localhost ~]# mount -t nfs -o noexec,nosuid,nodev,rw,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs[root@localhost ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/sda3 18G 1004M 17G 6% /devtmpfs 479M 0 479M 0% /devtmpfs 489M 0 489M 0% /dev/shmtmpfs 489M 6.8M 482M 2% /runtmpfs 489M 0 489M 0% /sys/fs/cgroup/dev/sda1 497M 112M 385M 23% /boottmpfs 98M 0 98M 0% /run/user/0192.168.10.150:/data/bbs 18G 1006M 17G 6% /data/bbs
三、数据测试
服务端
[root@service /]# cd /data/bbs[root@service bbs]# touch a.txt
客户端
[root@localhost ~]# ls /data/bbsa.txt
提示: 1.配置NFS服务端后,不用重启NFS服务,只要使用exportfs -rv 2.rpc主程序Centos5.8下为portmap 、Centos6.4和Centos7下为rpcbind 3.NFS共享目录不要授权于777权限,可以改所属主和组为nfsnobody,因为nfsnobody权限不是很大,也不能登陆
四、配置客户端 开机自动挂载NFS共享目录
[root@localhost ~]# chmod +x /etc/rc.d/rc.local #centos7需要给rc.local赋予执行权限后,rc.local文件才能生效[root@localhost ~]# echo "mount -t nfs -o noexec,nosuid,nodev,rw,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs">>/etc/rc.local[root@localhost ~]# cat /etc/rc.local#!/bin/bash# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES## It is highly advisable to create own systemd services or udev rules# to run scripts during boot instead of using this file.## In contrast to previous versions due to parallel execution during boot# this script will NOT be run after all other services.## Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure# that this script will be executed during boot.mount -t nfs -o noexec,nosuid,nodev,rw,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs
五、客户端mount挂载优化
在企业生产环境中,NFS客户端挂载的参数有noexec、nosuid、nodev、noatime、rsize、wsize、nodiratime等,
一般来说,NFS服务器共享的只是普通静态数据(图片、附件、视频),不需要执行suid、exec等权限,挂载的这个文件系统只能作为数据存取之用,无法执行程序,对于客户端来讲增加了安全性,例如:很多***修改站点文件都是由上传入口上传的程序存储目录,然后执行,因此在挂载时,用下面的命令是有必要的,
普遍安全挂载参数:
mount -t nfs -o nosuid,noexec,nodev,rw 192.168.10.150:/data/bbs /data/bbs
挂载的读写缓存
wsize和rsize写和读缓存
wsize和rsize的最大值
NFSV2 rsize=8192 wsize=8192
NFSV3 rsize=32768 wsize=32768
NFSV4 rsize=65536 wsize=65536
现在一般centos5.8以上的系统都己经增加了读写缓存,如需修改可以加以上参数
例如:
mount -t nfs -o noexec,nosuid,nodev,rw,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs
★mount的一些常用挂载优化参数:
wsize和rsize写和读缓存
async 数据不同步写到磁盘,提高性参,但降低数据安全,不推荐使用
noatime和nodiratime 这两个选是说在读写磁盘时,不更新文件和目录的时间戳,而更新文件时间戳对于工作数据必要性不大,增加了磁盘IO的次数,拖慢系统性参,defaults 这个缺省值包括rw,suid,dev,exec,auto,nouser,and async cat /etc/fstab的结果默认大部人都是缺省值noauto 不会自动挂载文件系统
noexec 不允许安装的直接执行任何二进制文件
ro 挂载一个只读文件系统
rw 挂载一个可写的文件系统
sync 把数据同步写入硬盘
nosuid 不允许设置用户标识或设置组标识符位
nodev 不解释字符或文件块特殊设备
intr 表示可以中断
★企业生产环境中nfs性参优化挂载例子:
mount -t nfs -o noatime,nodiratime 192.168.10.150:/data/bbs /data/bbsmount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,intr,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs
如果是本地系统:
mount -o defaults,async,noatime,data=writeback,barrier=0 /dev/sdb1 /mnt
data=writeback,barrier=0 是日志文件系统的优化
提示:本地文件系统挂载如果加nodiratime会报错,
六、加优化参数和不加的数据写入测试
★使用普通挂载
[root@localhost ~]# mount -t nfs 192.168.10.150:/data/bbs /data/bbs
测试单个文件写入速度
[root@localhost ~]# cd /data/bbs[root@localhost bbs]# time dd if=/dev/zero of=/data/bbs/dingjianfile bs=9k count=20002000+0 records in2000+0 records out18432000 bytes (18 MB) copied, 0.114592 s, 161 MB/sreal 0m0.125suser 0m0.000ssys 0m0.021s
测试批量创建文件的写入速度
[root@localhost bbs]# time for ((i=1;i<10000;i++));do /bin/cp /bin/touch /data/bbs/test$i;donereal 2m2.877suser 0m10.242ssys 0m33.882s
★加优化参数挂载:
[root@localhost bbs]#mount -t nfs -o noexec,nosuid,nodev,rw,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs
测试单个文件写入速度
[root@localhost bbs]# time dd if=/dev/zero of=/data/bbs/dingjianfile bs=9k count=20002000+0 records in2000+0 records out18432000 bytes (18 MB) copied, 0.10043 s, 184 MB/sreal 0m0.107suser 0m0.001ssys 0m0.017s
测试批量创建文件的写入速度
[root@localhost bbs]# time for ((i=1;i<10000;i++));do /bin/cp /bin/touch /data/bbs/test$i;donereal 1m38.526suser 0m9.989ssys 0m32.788s
七、配置fstab文件令开机自动加载网络文件系统和本地的文件系统(和rc.local效果一样)
[root@localhost bbs]# vi /etc/fstab## /etc/fstab# Created by anaconda on Fri Mar 9 05:05:49 2018## Accessible filesystems, by reference, are maintained under '/dev/disk'# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info#UUID=07347aff-3d84-4cd6-a0e7-ac145593622e / xfs defaults 0 0UUID=f6cdb812-e3ba-4154-8116-a39c68f74d98 /boot xfs defaults 0 0UUID=8b003ed3-3e5b-4f45-9530-41a412748c6a swap swap defaults 0 0192.168.10.150:/data/bbs /data/bbs nfs defaults,nosuid,noatime,nodiratime,noexec,nodev,intr,rsize=65536,wsize=65536 0 0~