- 博客(644)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 Linux运维入门教程（☆建议收藏☆）
在当下，Linux运维是每个企业都不能缺少的岗位，以服务为中心，以稳定、安全、高效为基本，可以确保公司的互联网业务能够7*24小时为用户提供高质量的服务，在企业或产品交付交付运行当中有着十分重要的地位和作用。.............................................
2022-07-12 09:33:19
17089
4
原创 Consul专题文章索引
Consul 简化了分布式环境中的服务的注册和发现流程，通过 HTTP 或者 DNS 接口发现。支持外部 SaaS 提供者等。
2018-03-06 19:25:32
2171
原创 论文导读 | SOSP23 | Gemini：大模型 内存CheckPoint 快速故障恢复
最近，大型深度学习模型引起了学术界和工业界的广泛关注。然而，由于大模型训练涉及大规模资源和较长的训练时间，训练过程中频繁发生故障。现有解决方案由于远程存储带宽的限制，故障恢复成本较高。
2025-04-05 23:07:37
441
原创 JuiceFS设计框架剖析
本文将帮助理解JuiceFS文件系统的技术架构、源码框架、程序初始化等内容，可以清晰了解JuiceFS的技术内涵和实现。
2025-04-05 22:47:14
939
原创 报告导读 | 益企研究院：AI时代的存储基石（2025，附文档）
AI技术的爆发式增长驱动全球数据量预计2028年达394ZB，其中80%-90%为非结构化数据（文本、图像、视频等）。大模型训练需消耗人类文本总量10倍的数据量，且生成式AI产生内容（如智能客服对话、自动驾驶训练数据）需长期留存复用，形成“训练→生成→复用”循环体系。这要求存储系统同时满足超大规模、高吞吐（TB/s级写入能力）、低延迟（微秒级响应）及数据合规性需求。例如，Meta训练大模型时每3小时保存检查点，需网络硬盘与固态盘协同保障数据安全
2025-04-05 22:38:36
583
原创 浙大：DeepSeek技术溯源及前沿探索
浙江大学DS系列专题《DeepSeek技术溯源及前沿探索》由朱强教授主讲，内容主要包括 语言模型、Transformer、ChatGPT、DeepSeek及新一代智能体 等核心主题。
2025-03-26 23:04:31
401
原创 行业白皮书2025 | 益企研究院：AI时代的存储基石
在当今科技飞速发展的时代，AI技术已成为推动各行业变革的关键力量。日前，益企研究院重磅发布《AI时代的存储基石》白皮书。
2025-03-26 23:02:25
542
原创 Vdbench文件数如何配置
使用 Vdbench 要特别注意文件数参数，需要合理配置其参数，主要涉及文件系统数据集（fsd）、工作负载（wd）和运行定义（rd）等部分。
2025-02-17 09:31:48
911
原创 大模型训练关键参数Epoch、Batch_size和Iterations
在深度学习中，Epoch、Batch_size和Iterations是调节模型训练过程的三个重要参数，它们共同影响着训练的效率和模型的性能。今天，我们就来聊聊这三个常见参数的概念和联系。
2025-02-05 15:30:55
1503
原创 浏览器输入http形式网址后自动跳转https解决方法
2、在底部找到：Delete domain security policies，输入您的url (https)，点击Delete。3、重启浏览器后，即可正常打开访问 “http+域名” 形式的网址了。3、重启浏览器后，即可正常打开访问 “http+域名” 形式的网址了。2、在 设置页面 左边栏 点击”隐私和安全“，点击“清除浏览数据”，2、在该模式下输入 “http+域名” 形式的网址，即可正常访问。1、打开chrome浏览器，点击右上角三个点，点击设置。
2025-01-13 11:34:23
1646
原创 Goland无法使用debug的修复
查看其他博客说是当使用老版本的goland，golang版本为高版本时就会出现debug问题，需要手动更换dlv。原文链接：https://blog.csdn.net/qq_42961251/article/details/138633170/现象goland在debug的时候，一直卡在打的断点处，释放断点程序就执行结束。用everything搜索dlv.exe。找到goland应用按照这个地址去替换。找到刚才下载好的dlv。可以debug了，完美。
2024-09-30 15:11:46
954
1
原创 是否可以跟随POD的回收而回收PV PVC资源
StorageClass（存储类），集群管理员需要能够提供不同性质的PersistentVolume，并且这些 PV卷之间的差别不仅限于卷大小和访问模式，同时又不能将卷是如何实现的这些细节暴露给用户。PV（PersistentVolume，持久卷），是集群中的一块存储，可以由管理员事先供应，或者使用存储类（StorageClass）来动态供应。因此，PV和PVC的回收并不直接跟随Pod的回收进行，而是需要根据管理员的配置和用户的期望来决定采用何种回收策略，并可能需要手动干预来管理存储资源的回收。
2024-08-29 14:58:27
667
转载 跨域数据分布式传输关键技术研究
为有效降低企业运营成本、促进绿色发展，“东数西算”工程已全面启动。在此背景下，构建大带宽、低时延、智能化、安全高效的传输网络，成为实现大数据场景下计算、存储向西部高效转移的关键技术。本文分析了跨域数据分布式传输的研究现状及技术演进，深入浅出地介绍了传输优化、传输保障、安全加密三大关键技术，并对跨域数据分布式传输的未来进行展望，旨在深入探讨如何增强跨域数据交换能力，以提供稳定高性能的文件传输保障。
2024-07-24 09:43:05
742
原创 配置阿里云yum源
CentOS，是基于Red Hat Linux提供的可自由使用源代码的企业级Linux发行版本；是一个稳定，可预测，可管理和可复制的免费企业级计算平台。通知：CentOS 8操作系统版本结束了生命周期（EOL），Linux社区已不再维护该操作系统版本。建议您切换到Anolis或Alinux。如果您的业务过渡期仍需要使用CentOS 8系统中的一些安装包，请根据下文切换CentOS 8的源。
2024-07-16 09:33:04
2104
原创 一文-深入了解Ansible常见模块、安装和部署
Ansible是一个配置管理系统configuration management system, python 语言是运维人员必须会的语言, ansible 是一个基于python 开发的（集合了众多运维工具 puppet、cfengine、chef、func、fabric的优点）自动化运维工具, 其功能实现基于ssh远程连接服务, ansible 可以实现批量系统配置，批量软件部署，批量文件拷贝，批量运行命令等功能, 除了ansible之外，还有saltstack 等批量管理软件.
2024-07-16 09:22:21
1085
转载 如何基于 Harbor 和 Registry 实现大规模镜像管理分发
Dragonfly 是很多人所推荐的镜像分发工具，但是我没有找到符合场景的案例。Dragonfly 的文档结构并不算很清晰，我理解的 Dragonfly 可以分成两部分:DfdaemonDfdaemon 与 Docker 官方 Registry 的 Mirror 功能类似，用来代理镜像层流量。这一部分是可以单独使用的，并不依赖于其他组件。分发网络分发网络是 Dragonfly 的核心功能，V1 版的组件是 Supernode，V2 版的组件是 Scheduler、Manager 等。
2024-07-02 17:08:07
334
转载 FTP的连接方式（防火墙的配置）
FTP是仅基于TCP的服务，不支持UDP。与众不同的是FTP使用2个端口，一个数据端口和一个命令端口（也可叫做控制端口）。通常来说这两个端口是21（命令端口）和20（数据端口）。
2024-06-28 09:55:47
1779
转载 Dragonfly 基于 P2P 的文件和镜像分发系统
Dragonfly 是一款基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率，最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。Dragonfly 面向镜像分发和文件分发，结合 P2P 网络和服务器集群的思想，向用户提供稳定的，高效的下载服务。Dragonfly 希望在服务器内部构建 P2P 网络，将服务器的不同主机节点分为 Manager、Scheduler、Seed Peer 以及 Peer 四个角色，分别提供不同的功能。
2024-06-26 10:16:14
425
转载 P2P镜像分发：Harbor+Dragonfly优化k8s集群镜像拉取速度（二）
Dragonfly（蜻蜓）是一款开源的基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率，最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。是由CNCF（云原生计算基金会）作为孵化级项目（阿里）。
2024-06-24 15:14:31
628
转载 P2P镜像分发：Harbor+Kraken优化镜像拉取速度（一）
随着云原生架构被越来越多的企业接受，企业应用中容器集群的规模也越来越大。当容器集群达到一定的规模且单容器应用副本数达到一定级别时，集群中容器镜像的分发将面临挑战。P2P（Peer-to-Peer，点对点）镜像分发借鉴了互联网P2P文件传输的思路，旨在提高镜像在容器集群中的分发效率，以更快的镜像拉取速度来对kubernetes集群进行优化。本篇主要讲述KrakenHarbor的理论部分。
2024-06-24 15:06:29
609
转载 数据中心网络：什么是Spine-Leaf架构？
在传统的大型数据中心，采用了层次化模型设计的三层网络。将复杂的网络设计分成几个层次，每个层次着重于某些特定的功能，这样就能够使一个复杂的大问题变成许多简单的小问题。
2024-06-20 16:45:28
1256
转载 高性能分布式缓存系统 cache
cache项目基于缓存旁路（Cache Aside Pattern）设计，采用了一种独特的双层缓存策略，即首先尝试从本地内存缓存中获取数据，未果则转向全局的Redis缓存。当数据不在任何缓存中时，它将调用加载函数从底层数据库加载数据，并将其存入缓存以备后续快速访问。这一机制确保了即使在极端情况下也能提供高效的缓存服务。
2024-06-19 17:22:43
275
转载 探索 Garnet：微软开源的高性能分布式缓存存储系统
微软研究院近期宣布推出一款名为 Garnet 的创新开源分布式缓存存储系统，致力于解决现代应用程序在处理大规模数据时对于高吞吐量、低延迟及卓越可扩展性的严苛要求。这款基于 C# .NET 8.0 构建的新型系统，充分利用了现代硬件能力，为应用程序开发人员提供了加速数据访问与处理的强大工具。
2024-06-19 17:20:23
397
原创 英伟达的GDS
英伟达的GDS，即GPUDirect Storage，是英伟达开发的一种技术，它允许GPU直接访问存储设备，从而显著提高数据传输效率和性能。
2024-05-15 08:40:20
2376
转载 2024存内社区公开课上线-从底层算力角度，带你入门大模型，这才是开发者该学的课程
来源：https://bbs.csdn.net/topics/618537908
2024-04-30 23:28:39
242
原创 【Go编程】“私有元素”和“公有元素”的访问规则
以下变量和函数均以大写字母开头，表示可以从任何位置访问；以下变量和函数均以小写字母开头，表示只能在包内调用；
2024-04-08 10:32:11
295
原创 AI辅助信息技术发展
随着人工智能技术的持续发展与突破，2024年AI辅助研发正成为科技界和工业界瞩目的焦点。从医药研发到汽车设计，从软件开发到材料科学，AI正逐渐渗透到研发的各个环节，变革着传统的研发模式。在这一背景下，AI辅助研发不仅提升了研发效率，降低了成本，更在某种程度上解决了复杂问题，推动了科技进步。2024年，随着AI技术的进一步成熟，AI辅助研发的趋势将更加明显，其潜力也将得到更广泛的挖掘和应用。
2024-03-15 22:59:50
619
转载 突破存储硬件瓶颈
随着存储速度越来越快，以及网络存储的兴起，这种设计逐渐成为了存储的瓶颈。另外，本地硬盘协议，以及网络协议，也都成为了提高性能的绊脚石。
2024-03-15 09:00:14
333
原创 从政府工作报告探计算机行业发展
政府工作报告作为政府工作的全面总结和未来规划，不仅反映了国家整体的发展态势，也为各行各业提供了发展的指引和参考。随着信息技术的快速发展，计算机行业已经成为推动经济社会发展的重要引擎之一。因此，从政府工作报告中探寻计算机行业的发展趋势、政策导向和未来机遇，对于行业内的企业和从业者来说具有重要的指导意义。
2024-03-15 00:03:11
519
原创 程序员如何选择职业赛道？
在探索程序员的职业赛道时，犹如踏上一段迷宫般的旅程。前端的美丽花园、后端的黑暗洞穴以及数据科学的神秘密室，每一个方向都充满了挑战与机遇。那么，如何在这个迷宫中找到属于自己的道路呢？
2024-03-13 17:58:05
722
原创 Sora爆火，多模态大模型背后的存算思考
随着OpenAI推出Sora，人工智能从文本到文本、文本到图片的生成模式，进阶到文生视频。其文本到视频的模型能够生成长达一分钟的视频，在保持视觉质量的同时并严格遵循用户的提示，使得“扔进一本小说，生成一部电影”的想法成为现实。OpenAI将这一创新描述为构建“物理世界的通用模拟器”，这不仅是一项技术突破，也是人工智能领域探索的又一里程碑。
2024-03-13 16:00:00
2095
原创 业界主流数据加速技术路线
计算存储分离已经成为云计算的一种发展趋势。在计算存储分离之前，普遍采用的是传统的计算存储相互融合的架构，但是这种架构存在一定的问题，比如在集群扩容的时候会面临计算能力和存储能力相互不匹配的问题。用户在某些情况下只需要扩容计算能力或者存储能力，而传统的融合架构不能满足用户的这种需求，进行单独的扩充计算或者存储能力；其次在缩容的时候可能会遇到人工干预，人工干预完后需要保证数据在多个节点中同步，而当有多个副本需要同步时候，可能会造成的数据丢失。而计算存储分离架构则可以很好的解决这些问题，使得用户只需要关心整个集群
2024-03-11 18:00:00
1447
原创 阿里云数据湖存储加速套件JindoData
阿里云作为一家全球领先的云计算及人工智能科技公司，其产品EMR提供了相对方便可控的企业级大数据服务，作为EMR的核心，在底层存储也有突出的设计和优化，本文主要调研和阿里云EMR的存储核心产品能力。阿里云EMR在存储领域的核心组件涉及SmartData、JindoData、JindoFS、jindoFSx、OSS-HDFS、JindoCache等概念。本文不讨论阿里云盘古等底层存储系统的设计。
2024-03-11 16:11:31
2226
原创 论文导读：用DNA作为计算和数据存储的通用化学基质
生物计算有望解决传统硅基计算在分子诊断、数据存储和信息安全等领域的应用局限。由于高度的可编辑性和可预测性，DNA是首选的计算及信息存储的基质。在化学综述中，团队重点探讨了DNA计算,尤其是在神经网络和区室化DNA电路等方向的研究最近进展。作者还讨论了DNA数据存储中包括DNA编码数据的写入、读取、检索和合成后编辑的新进展。最后，团队提出DNA计算与DNA数据存储的结合为未来的重要方向，将对信息技术和分析诊断的发展带来重大意义。
2024-03-10 18:07:15
1262
原创 论文导读：消费级大模型Yi （零一万物技术揭密）
Yi模型家族是一系列展示出强大多维能力的自然语言和多模态模型。Yi模型家族基于6B和34B预训练语言模型，然后我们将其扩展到聊天模型、20万长上下文模型、深度扩展模型和视觉-语言模型。
2024-03-10 17:54:58
6622
原创 Pb量级超大容量光存储
中国科学院上海光学精密机械研究所（以下简称“上海光机所”）与上海理工大学等科研单位合作，在超大容量三维超分辨光存储研究中取得突破性进展。研究团队利用国际首创的双光束调控聚集诱导发光超分辨光存储技术，实验上首次在信息写入和读出均突破了衍射极限的限制，实现了点尺寸为54nm、道间距为70nm的超分辨数据存储，并完成了100层的多层记录，单盘等效容量达Pb量级。
2024-03-09 23:00:12
542
大模型专题报告：百模渐欲迷人眼，AI应用繁花开
2024-03-07
存储专题系列一：新应用发轫，存力升级大势所趋
2024-03-06
AI智算时代：算力芯片加速升级
2024-03-06
翻译分布式文件系统：BeeGFS vs GlusterFS.pdf
2023-08-16
2023东北证券-计算机行业AI深度报告，向量数据库：AI时代的Killer+App-230508.pdf
2023-08-15
计算机：CPU生态价值与机遇研究.pdf
2023-08-15
大数据+物联网智慧水务解决方案.pdf
2023-08-15
2022中国图计算技术及应用发展研究报告.pdf
2023-08-15
金融行业信创云基础架构方案评估.pdf
2023-08-15
计算产业发展简史及趋势
2023-08-15
2021全球加密技术发展趋势研究
2023-08-15
2022 分布式存储市场调研报告 + 分布式存储
2022-05-18
下一代数据存储技术研究报告（2021年）
2021-08-01
fio-2.14.tar.bz2
2017-05-03
Linux中LCD设备驱动
2013-11-06
UBIFS文件系统介绍
2013-10-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人