分布式文件系统

发布于 2021-10-18  5.69k 次阅读


一,分布式文件系统的概述

分布式文件系统(Distrpibuted File System)本质上是一个软件/软件服务器,就好比Tomcat是一个软件也是一个web服务器,这个软件服务器用来管理文件,上,而是分布在多个服务器节点上,这些服务器节点通过网络相连构成一个文件存储集群,服务节点用来存储文件资源但这个软件所管理的文件通常不在一个服务器节点,分布式文件系统用来管理服务器节点上的文件

分布式文件系统出现的背景:互联网的发展,用户量激增,传统的单机存储和共享目录存储,已经满足不了需求

分布式文件系统出现的目的:解决高容量数据存储问题,使用分布式横向扩容的方式,满足存储需求

分布式文件系统的实现有很多 :FastDfs,Hdfs,GridFS,TFS,Lustre,MogileFS,Ceph等

其中较为主流的有:

  1. HDFS:大数据领域的必选项,集成在Hadoop中
  2. FastDFS:在分布式开发中,通常用于分布式存储静态资源,比如图片,软件包等
  3. GridFS: GridFS是一种将大型文件存储在MongoDB的文件规范

二,分布式文件系统和传统存储方式的对比

一,单机存储

单机存储是对于单体架构而言的,单体架构所有的软件服务都在一台服务器上,使用的存储也是本地内存和磁盘,对于普通的门户网站和低并发是可以的,但高并发和高数据容量却是捉襟见肘

 

弊端:

  1. 用户数据量大时,存储压力大,很容易磁盘崩溃
  2. 存储容量有限,拓展难
  3. 单点故障,假如存储失效,那么服务崩溃

二,共享目录存储

共享目录实现多台服务器的数据共享,共享目录连接一个足够大外部存储设备