分布式文件系统HDFS及其简单使用
在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。
HDFS
HDFS(Hadoop Distributed Fi分布le System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件式文, 并且提供统一的访问接口。
HDFS是根据谷歌的论文:《The Google File System》进行设计的
HDFS的四个基本组件:HDFS Client、NameNode、Da件系taNode和Secondary NameNode。
Client
Client是客户端。HDFS Client文件切分。文件上传 HDFS 的时候,Client 将文件切分成 一个一个的B统Hlock,然后进行存储。Client 提供一些命令来管理 和访问HDFS,比如启动或者关闭HDFS。
NameNode
NameNode就是 master,它是一个主管、管理者。管理 HDFDFS 元数据(文件路径,文件的大小,文件的名字,文件权限,文件的block切片信息)。
NameNode管理 Block 副本策略:默认 3 个副本,处理客户端读写请求。
DataNode
DS及ataNode就是Slave。NameNode下达命令,DataNode 执行实际的操作。
DataNode存储实际的数据块,执行数据块的读/写操作。定时向namenode汇报b其简lock信息。
Secondary NameNode
SecondaryNameNode不是NameNode的备份。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务单使。
辅助 NameNode,分担其工作量。在紧急情况下,可辅助恢复 NameNode。
副本机制
HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块,分布这个数据块被称为block,除了最后一个,所有的数据块都是同样大小的。
为了容错,文件的所有block都会有副本。每个文件的数据块大小和副本系数都是可配置的。
在hadoop2 当中,式文 文件的 block 块大小默认是 「128M」(134217728字节)。
如上图所示,一个大小为300M的a.txt上传到HDFS中,需要进行128M的切分,不足128M分为到另一b件系lock中。
HDFS基本命令
HDFS 简单使用
根据部署的服务,我们的 HDFS 根目录是 hdfs://192.168.147.128:9820,下面我们尝试在根目录下面创建子目录 use统Hr,如下命令所示:
[hadoop@node01 ~]$ hadoop fs -mkdir /user
然后在HaDFdoop页面打开HDFS。
此时的user文件夹将会看见。
下面将一个大小为300M的文件上传到HDFS的user文件夹中
然后在Hadoop页面看见刚刚上传的文件。
此时被分开了三个blS及ock。
相关文章:
- 苹果 Siri 将迎来升级,依靠 Google Gemini 技术赋能
- 标签: 百度健康 DoctorClaw 医疗AI 医生助手
- 标签: 守望先锋 网易 新疆赛里木湖 NGA
- IDC:2025年中国大数据总体市场规模将超250亿美元
- 云安全日报220414:思科无线局域网控制器发现身份验证绕过漏洞,需要尽快升级
- 曲奇怎么做
- 浜戝畨鍏ㄦ棩鎶�210716锛氭€濈�鍥㈤槦鍗忎綔瑙e喅鏂规�鍙戠幇SSL璇佷功楠岃瘉婕忔礊,闇€瑕佸敖蹇�崌绾�
- 标签: 英伟达 黄仁勋 AI五层架构 DeepSeek-R1
- 苹果重拳整顿 App Store 支付:明星应用 Cal AI 违规被下架
- 标签: 滴滴 DDWN 麦卢卡蜂蜜 平阴重瓣玫瑰花茶
- 纯牛奶保质期一年正常吗
- 《黑镜》来了!波士顿动力机器狗上岗纽约警局,蹦蹦哒哒出街执法
- 云安全日报201224:IBM MQ消息中间件发现敏感信息泄露漏洞,需要尽快升级
- 索尼将对人工智能产品进行伦理审查
- 微软前董事长:CEO纳德拉赢得了成为董事长的权利
- 面试官问:ZooKeeper 有几种节点类型?别回答 4 种啦
- Anthropic 迎新任 CTO:将加强在AI基础设施领域的布局
- 斯坦福研究团队发布 AgentFlow:为模块化、工具使用的 AI 代理提供新一代强化学习框架
- 王炸更新!OpenAI Codex 推出“数字记忆”功能,屏幕录制成核心生产力
- 亚马逊子公司宣布推出无人驾驶电动车,将于2021年投入使用
