网络常识

    GFS分布式文件系统

    相遇蟹堡王，尽享蟹黄堡2023年11月18日
    收录于话题
    #wpf7

    GFS分布式文件系统：
    gfd glusterFS开源的分布式的文件系统。
    存储服务器,客户端以及网络（NFS/samba)网关。
    传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息。一旦元服务器故障，所有的存储节点全部失效。

    现在GFS取消了元服务器机制，数据横向扩展能力更强。可靠性更强。存储效率也更高。

    GFS的特点：

    1、扩展性更强，高性能

    2、高可用，可以自动对文件进行复制。多次复制。

    确保数据总是可以访问。哪怕硬件故障也能正常访问

    3、全局统一的命名空间。所有节点都在一个分支的管理之下。客户端访问分支节点即可。

    4、弹性卷，类似LVM。不同硬盘上的不同分区，组成一个逻辑上的硬盘。

    不同服务器上的不同的硬盘分区，组成一个卷。可以动态扩容。

    5、基于标准协议，GFS存储服务支持，NFS FTPHTTP以及GFS协议。应用程序可以直接使用数据，不需要任何修改。

    GFS的组件和术语：

    1、BRICK(存储块），存储服务器提供的用于物理存储的专用分区，GFS当中的基本存储单元。也是对外提供的存储目录。服务和目录的绝对路径组成server:dir
    192.168.233.10:/opt/gfs
    node1:/opt/gfs
    2、volume逻辑卷一个逻辑卷就是一组brick的集合。类似于lvm，我们管理GFS,就是管理这些卷。
    3、FUSE：GFS的内核模块，允许用户创建自己的文件系统。
    4 VFS：内核空间对用户提供的访问磁盘的接口。虚拟端口。
    5、服务端在每个存储节点上都要运行。glusterd（后台管理进程）

    工作流程：

    GFS分布式文件系统

    gfs的卷有哪些类型：

    分布式卷，也是GFS的默认卷类型
    条带卷（没了）
    复制卷（镜像化）
    分布式复制卷

    分作式卷的特点：

    文件数据通过HASH算法分布到设置的所有BRICK SERVER上。GFS时默认。属于raldu，没有容错机制。在分布式卷模式下，没有对文件进行分块，直接存储在某个server的节点上。坏了一个全坏。存取效率也没有提高。直接使用本地文件系统进行存储
    复制卷：

    类似于raid 1,文件会同步在多个brick server上。读性能上升，写性能稍差。

    分布式复制卷：

    两两复制，文件会在组内同步。不同的组之间数据未必同步。

    部署 GlusterFS 分布式文件系统

    先安装多个磁盘

    GFS分布式文件系统
    编写脚本，自动化分区挂载 

    systemctl stop firewalld
    setenforce 0
     
    2．磁盘分区，并挂载
    vim /opt/fdisk.sh
    #!/bin/bash
    DEVNAME=$(ls /dev/sd* | grep -o"sd[b-e]")
     
    for i in $DEVNAME
    do
        echo -e"n\n\n\n\n\nw\n"| fdisk /dev/$i &>/dev/null
        mkfs -t xfs /dev/${i}1 &>/dev/null
        mkdir -p /data/${i}1
        echo"/dev/${i}1 /data/${i}1 xfs     defaults        0 0">>/etc/fstab
    done
    mount -a &>/dev/null
     
    chmod +x /opt/fdisk.sh
    cd /opt/
    ./fdisk.sh
     
    3．修改主机名，配置/etc/hosts文件
    #以Node1节点为例：(所有节点皆需要进行进行映射添加)
    hostnamectl set-hostname node1
    su
     
    echo"192.168.73.105 node1">>/etc/hosts
    echo"192.168.73.106 node2">>/etc/hosts
    echo"192.168.73.107 node3">>/etc/hosts
    echo"192.168.73.109 node4">>/etc/hosts

    GFS分布式文件系统
    ​

    安装、启动GlusterFS（所有node节点上操作）

    #将gfsrepo 软件上传到/opt目录下
    unzip gfsrepo.zip
    cd /etc/yum.repos.d/
    mkdir repo.bak
    mv *.repo repo.bak
    vim glfs.repo
    [glfs]
    name=glfs
    baseurl=file:///opt/gfsrepo
    gpgcheck=0
    enabled=1
     
    yum clean all && yum makecache
     
    #yum -y install centos-release-gluster            #如采用官方 YUM 源安装，可以直接指向互联网仓库
    yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
     
    systemctl start glusterd.service 
    systemctl enable glusterd.service
    systemctl status glusterd.service

    添加节点到存储信任池中（在 node1 节点上操作） 

    #只要在一台Node节点上添加其它节点即可
    gluster peer probe node1
    gluster peer probe node2
    gluster peer probe node3
    gluster peer probe node4
     
    #在每个Node节点上查看群集状态
    gluster peer status

    创建GFS卷  1．创建分布式卷

    #创建分布式卷，没有指定类型，默认创建的是分布式卷
    gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force    
     
    #查看卷列表
    gluster volume list
     
    #启动新建分布式卷
    gluster volume start dis-volume
     
    #查看创建分布式卷信息
    gluster volume info dis-volume

     2．创建条带卷

    #指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷
    gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
    gluster volume start stripe-volume
    gluster volume info stripe-volume

    3．创建复制卷

    #指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷
    gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
    gluster volume start rep-volume
    gluster volume info rep-volume

     
    4．创建分布式条带卷

    #指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷
    gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
     
    gluster volume start dis-stripe
    gluster volume info dis-stripe

     5．创建分布式复制卷

    指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷
    gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
     
    gluster volume start dis-rep
    gluster volume info dis-rep    
     
    #查看当前所有卷的列表
    gluster volume list

    部署 Gluster 客户端 

    1．安装客户端软件
    #将gfsrepo 软件上传到/opt目下 
    cd /etc/yum.repos.d/
    mkdir repo.bak
    mv *.repo repo.bak
    vim glfs.repo
    [glfs]
    name=glfs
    baseurl=file:///opt/gfsrepo
    gpgcheck=0
    enabled=1
     
    yum clean all && yum makecache
     
    yum -y install glusterfs glusterfs-fuse
     
    2．创建挂载目录
    mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
    ls /test
     
    3．配置 /etc/hosts 文件
    echo"192.168.73.105 node1">>/etc/hosts
    echo"192.168.73.106 node2">>/etc/hosts
    echo"192.168.73.107 node3">>/etc/hosts
    echo"192.168.73.109 node4">> /etc/hosts    
    4．挂载 Gluster 文件系统
    #临时挂载
    mount.glusterfs node1:dis-volume /test/dis
    mount.glusterfs node1:stripe-volume /test/stripe
    mount.glusterfs node1:rep-volume /test/rep
    mount.glusterfs node1:dis-stripe /test/dis_stripe
    mount.glusterfs node1:dis-rep /test/dis_rep
     
    df -Th
     
    #永久挂载
    vim /etc/fstab
    node1:dis-volume        /test/dis                glusterfs        defaults,_netdev        0 0
    node1:stripe-volume        /test/stripe            glusterfs        defaults,_netdev        0 0
    node1:rep-volume        /test/rep                glusterfs        defaults,_netdev        0 0
    node1:dis-stripe        /test/dis_stripe        glusterfs        defaults,_netdev        0 0
    node1:dis-rep            /test/dis_rep            glusterfs        defaults,_netdev        0 0

     GFS系统卷测试 （1）文件写入测试 

    1．卷中写入文件，客户端操作
    cd /opt
    dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
    dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
    dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
    dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
    dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
     
    ls -lh /opt
     
    cp /opt/demo* /test/dis
    cp /opt/demo* /test/stripe/
    cp /opt/demo* /test/rep/
    cp /opt/demo* /test/dis_stripe/
    cp /opt/demo* /test/dis_rep/

    （2）查看文件分布情况 

    ls -lh /data/sdb1

    ls -lh /data/sdc1 ll -h /data/sdd1   ll -h /data/sde1

    破坏性测试 

    #挂起 node2 节点或者关闭glusterd服务来模拟故障
    [root@node2 ~]# systemctl stop glusterd.service
     
    #在客户端上查看文件是否正常
    #分布式卷数据查看
    [root@localhost test]# ll /test/dis/        #在客户机上发现少了demo5.log文件，这个是在node2上的
    总用量 163840
    -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log
     
    #条带卷
    [root@localhost test]# cd /test/stripe/        #无法访问，条带卷不具备冗余性
    [root@localhost stripe]# ll
    总用量 0
     
    #分布式条带卷
    [root@localhost test]# ll /test/dis_stripe/        #无法访问，分布条带卷不具备冗余性
    总用量 40960
    -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log
     
    #分布式复制卷
    [root@localhost test]# ll /test/dis_rep/    #可以访问，分布式复制卷具备冗余性
    总用量 204800
    -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log
     
     
    #挂起 node2 和 node4 节点，在客户端上查看文件是否正常
    #测试复制卷是否正常
    [root@localhost rep]# ls -l /test/rep/        #在客户机上测试正常 数据有
    总用量 204800
    -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo1.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo2.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo3.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo4.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log
     
    #测试分布式条卷是否正常
    [root@localhost dis_stripe]# ll /test/dis_stripe/        #在客户机上测试没有数据 
    总用量 0
     
    #测试分布式复制卷是否正常
    [root@localhost dis_rep]# ll /test/dis_rep/        #在客户机上测试正常 有数据
    总用量 204800
    -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
    -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log

    其他的维护命令：

    1．查看GlusterFS卷
    gluster volume list 
     
    2．查看所有卷的信息
    gluster volume info
     
    3．查看所有卷的状态
    gluster volume status
     
    4．停止一个卷
    gluster volume stop dis-stripe
     
    5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
    gluster volume delete dis-stripe
     
    6．设置卷的访问控制
    #仅拒绝
    gluster volume set dis-rep auth.deny 192.168.73.11
     
    #仅允许
    gluster volume set dis-rep auth.allow 192.168.73.*      #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）

    相关信息

    你可能还喜欢

    热门推荐信息

    初识Dockerfile

    Byqq_58647543

    Dockerfile简介 从之前的学习中我们可以了解到：镜像的定制实际上就是定制每一层所添加的配置、文件。那么如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本，用这个脚本来构建、定制镜像 ...