基于滴滴云搭建 S3FS 及其实现机制剖析

最新推荐文章于 2025-03-06 14:20:16 发布

付江

最新推荐文章于 2025-03-06 14:20:16 发布

阅读量1.5k

点赞数

分类专栏：云计算开源文章标签： S3FS 文件系统存储滴滴云开源

本文链接：https://blog.csdn.net/java060515/article/details/85261049

版权

本文介绍了如何在滴滴云上使用 S3FS 将 S3 存储桶挂载为本地文件系统，并详细分析了S3FS的读取文件流程和缓存机制。通过S3FS，用户可以直接对S3 Bucket进行文件操作，实现高效的数据存取。S3FS利用FUSE，支持临时文件和缓存两种存储方式，优化了网络请求和本地资源管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

S3FS ( S3 FUSE ) 是基于 FUSE 的文件系统，其使 Linux 或 Mac OS X 有能力通过 FUSE 挂载到 S3 的一个 Bucket ( 桶 ) 上，用户可以像操作本地文件系统一样操作 S3 的 Bucket 。

案例使用

环境

名称	描述
操作系统	CentOS Linux release 7.4.1708
S3FS	v1.8.3
S3	滴滴云对象存储

安装

安装依赖包

sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel

编译源码安装

cd s3fs-fuse
./autogen.sh
./configure
make
sudo make install

使用

在用户主目录下创建.passwd-s3fs文件，用于存放秘钥

echo MYIDENTITY:MYCREDENTIAL >  ~/.passwd-s3fs
chmod 600  ~/.passwd-s3fs
<

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

付江

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

文件系统：s3fs简介

GIS摆渡人

03-31

876

参考：https://github.com/s3fs-fuse/s3fs-fuse。

数据库选型粗略对比，欢迎补充！！！

qq_39904855的博客

07-22

3946

MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL是开源的，目前隶属于Oracle旗下产品。MySQL支持大型的数据库。可以处理拥有上千万条记录的大型数据库。MySQL使用标准的SQL数据语言形式。MySQL可以运行于多个系统上，并且支持多种语言。...

1 条评论您还未登录，请先登录后发表或查看评论

s3fs:S3 FileSystem（fs.FS）的实现

05-10

s3fs 软件包s3fs为Go1.16接口提供了S3实现。由于S3是平面结构，因此s3fs通过使用前缀和“ /” delim来模拟目录。目录上的ModTime始终为零值。该实现将包装为s3客户端。 const bucket = "my-bucket" s , err := session . NewSession () if err != nil { log . Fatal ( err ) } s3fs := s3fs . New ( s3 . New ( s ), bucket ) // print out all files in s3 bucket. _ = fs . WalkDir ( s3fs , "." , func ( path string , d fs. DirEntry , err error ) error { if err != nil

DeepSeek 3FS：端到端无缓存的存储新范式

最新发布

XSKY星辰天合的博客

03-06

1286

同行都在问：DeepSeek 3FS开源是否颠覆存储赛道？我们的答案：它恰恰证明了一个真相——AI的胜负手，从来不止是GPU算力。XSKY星飞的全共享架构与3FS的"端到端无缓存"思路不谋而合，致力于通过架构创新实现极致性能。公司将继续密切关注 3FS 为代表的无客户端缓存技术方向，协同上下游合作伙伴，为 AI 存储提供前沿解决方案。

s3fs挂载多个桶或普通多目录通过NFS共享踩坑

wade1010的专栏

11-15

1906

原笔记地址s3fs挂载单个桶，然后通过NFS共享出来，网上帖子很多，挺简单的。之前测试过s3fs共享多个桶，然后把父目录通过samba和ftp共享出来，这个都没问题，但是换成nfs的时候遇到了一些坑。今天踩下s3fs挂载多个桶通过NFS共享的坑准备活动：1 服务端和客户端两台机器（一台应该也是可以的，共享和挂载都在同一个机器上）2 s3对象存储有两个桶，分别为 bk1和bk2，每个桶里面分别传点文件3 安装NFS S3FS。

goofys和s3fs利用Minio，挂载到本地进行文件系统各个接口性能测试

xuqiaobo的博客

12-27

6087

s3fs xqb-20171211 /opt/s3point -o passwd_file=./passwd -o url=http://162.3.111.182:9000/ -o use_path_request_style -o nonempty -o use_cache=/opt/s3fscache 挂载的方式，/opt/s3fscache作为缓存目录，/opt/s3po

ubuntu和centos系统使用s3fs挂载对象存储

U1172899081的博客

09-05

1737

注意挂载加一个参数指定挂载大小 -o bucket_size=一个可选的整数，后面跟一个乘法后缀(GB、 GiB、 TB、 TiB、 PB、 PiB、 EB、 EiB)(中间没有空格)touch /etc/passwd-s3fs （文件可以随便起名或者放哪个目录下，不过后面参数数值也需要随之改动）echo ak:sk >/etc/passwd-s3fs （将ak和sk写入到文件中，ak，sk从各云服务商获取）将挂载信息写入/etc/fstab中。将挂载信息写入/etc/fstab中。

s3fs实现原理剖析

THMAIL的博客

12-17

4014

一、机制分析 1.读取文件 S3FS 对于文件的存储分为临时文件和缓存两种方式，用户可以在命令行中通过 use_cache 参数指定缓存目录来启动缓存方式。用户通过 offset 和 size 来读取指定文件中的特定区域，如果本地没有相应的内容 S3FS 会通过网络请求 S3 上的相应内容，并且将对应的内容存储到本地的临时文件或者缓存中。 2.文件逻辑架构不管是临时文件还是缓存文件，...

s3fs-docker:一个Docker容器，可构建S3FS并在运行期间安装S3存储桶，适合直接使用或继承

05-16

S3FS-泊坞窗已构建并准备使用S3FS的Docker映像使用尽管您可以直接使用此映像，但将其扩展为自己的容器可能更有用。您可以将'/ root / run'用作包装器，以安装S3，运行命令并卸载。环境变量该映像将使用凭据$ AWSACCESSKEYID和$ AWSSECRETACCESSKEY在/ mnt / s3上将存储桶$ AWS_BUCKET安装在/ mnt / s3上，然后运行传递给docker的命令。例子显示S3存储桶中的内容 docker build -t withs3 . docker run --privileged=true -e AWS_BUCKET=mybucket -e AWSACCESSKEYID=somekey -e AWSSECRETACCESSKEY=somesecret withs3 ls /mnt/s3 特权须知据说，您只需要运行

探索云存储的新维度：s3fs - 集成S3的文件系统解决方案

gitblog_00076的博客

05-09

730

探索云存储的新维度：s3fs - 集成S3的文件系统解决方案 s3fs-fuseFUSE-based file system backed by Amazon S3项目地址:https://gitcode.com/gh_mirrors/s3/s3fs-fuse 在数字化时代的今天，云存储已成为我们日常操作的重要部分。而s3fs项目带来了一种创新方式，它将亚马逊S3或其他S3兼容的对象存储服务直接...

s3fs:带有S3文件系统（通过FUSE的S3）的Ubuntu Trusty作为多个Docker容器的数据卷

05-05

s3fs Ubuntu的可信赖的用和作为用于其他应用容器基本图像。快速开始 docker run --privileged --cap-add SYS_ADMIN --device /dev/fuse -d -e "BUCKETNAME=$BUCKETNAME" -e "AWSACCESSKEYID=$AWSACCESSKEYID" -e "AWSSECRETACCESSKEY=$AWSSECRETACCESSKEY" hiveoss/s3fs 构型环境变量环境变量用于指示要安装的存储桶并提供访问存储桶的凭据。 $BUCKETNAME -AWS存储桶名称$AWSACCESSKEYID -AWS密钥ID $AWSSECRETACCESSKEY -AWS秘密令牌 s3fs-保险丝您可以覆盖scripts/runS3fs.sh来更改scripts/runS3fs.sh的参数。 mkd

推荐开源项目：S3FS - 你的云端文件系统解决方案

gitblog_00049的博客

05-17

602

cmd与docker部署minio的s3fs服务参考命令

weixin_43663573的博客

08-15

896

代码】cmd与docker部署minio的s3fs服务参考命令。

Linux 使用 S3fs 挂载 S3 存储桶（以 MinIO 为例）

凭心而动

07-26

5603

s3fs 是一个基于 FUSE（Filesystem in Userspace）的文件系统，它允许你将 Amazon S3 或其他兼容 S3 API 的对象存储服务挂载到本地文件系统中，从而能够像访问本地磁盘一样访问远程对象存储，像操作本地文件系统一样操作 S3 存储桶中的文件和目录。本篇文章以 MinIO 为例，讲解了如何使用 S3fs 挂载 S3 存储桶到 Linux 服务器。

s3fs、goofys、juicefs对比

wade1010的专栏

02-10

1919

从运维的角度来说，关系型数据库大家都比较熟，开发人员都可以很轻松的上手，其次公司是有公司有 RDS For MySQL 产品，有专业的 DBA 团队来负责运维，所以最终是选择了MySQL 作为的元数据引擎。从数据量上来说，TiKV 无疑是最高的，但是我们的设计初衷是让每套 ES 集群独立一个元数据库实例，因此不同集群之间的元数据是不进行共享的，为了高可用彼此间需要互相隔离。元数据方面，s3fs 和 goofys 没有自己独立的元数据，所有的元数据都是依赖于s3的，JuiceFS 有自己的独立的元数据存储，

s3fs-fuse安装与配置完全指南

gitblog_09166的博客

09-13

1327

s3fs-fuse安装与配置完全指南 s3fs-fuse FUSE-based file system backed by Amazon S3 项目地址: https://gitcode.com/gh_mirrors/s3/s3f...

s3fsfuse调试

wade1010的专栏

02-13

269

这里由于是调试fuse操作，所以使用attach process的方式调试，方式参照《vscode使用attach process调试进程》这篇笔记。s3fs_create（跟goofys一样创建一个0大小的空文件）readdir后面有5次 s3fs_getattr。libfuse.so里面代码暂时不知道怎么跳进去。所以我这里挨个点进定义的首行代码打上断点。s3fs_write （写入文件内容）一、测试ll /mnt/s3。

S3fs在EC2 Linux实例上挂载S3

SleepyBear

05-16

2558

在aws为用户创建访问密钥并记录密钥ID和私密安装s3fs安装必要的依赖包yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel 下载，编译并安装s3fsgit clone https://github.com/s3fs-fuse/s3fs-fuse.gitcd ...

AWS利用S3fs在Amazon EC2 Linux实例上挂载S3存储桶

wczyyyj的博客

07-23

1482

1.账户权限需要一个权限能完全访问EC2和S3服务的账户 2.创建S3存储桶 3.创建EC2 4.登录EC2安装软件包使用Amazon EC2默认用户“ec2-user”和对应的私钥文件登录启动的Linux实例安装需要的软件包 sudo amazon-linux-extras install epel sudo yum install s3fs-fuse 检查是否安装成功 [ec2-user@ip-10-10-88-27 ~]$ s3fs s3fs: missing BUCKET ar