当前位置： 首页 > news >正文

网站开发和网站维护有区别吗seo zac

news 2025/8/4 1:54:59
网站开发和网站维护有区别吗,seo zac,网站建设预览,为自己做的网站申请域名Hadoop原理，HDFS架构，MapReduce原理 2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开 测开的话，你就得学数据库，sql&#xff0c…

Hadoop原理，HDFS架构，MapReduce原理

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！

文章目录

  • Hadoop原理，HDFS架构，MapReduce原理
    • @[TOC](文章目录)
  • Hadoop是什么？
  • Hadoop概述
  • Hadoop优势
  • Hadoop的生态系统
  • Hadoop集群的部署模式
  • Hadoop的历史版本
  • HDFS的演进
  • HDFS基本概念
  • HDFS的优缺点
  • HDFS主从架构
  • HDFS写原理
  • HDFS读数据的原理
  • HDFS的shell操作
  • MapReduce分布式计算框架
  • map和reduce内部如何合作
  • maptask
  • reducetask
  • shuffle工作原理
  • MapReduce的运行模式
  • MapReduce的性能优化
  • 总结

Hadoop是什么？

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Hadoop概述

在这里插入图片描述

Hadoop优势

在这里插入图片描述
计算能力
存储能力
廉价计算机组成
高效率，吞吐量高
可靠，容错
数据副本机制基本不会丢

Hadoop的生态系统

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Hadoop集群的部署模式

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Hadoop的历史版本

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
收费的牛逼

在这里插入图片描述
主从架构
在这里插入图片描述
在这里插入图片描述

计算类似的
MapReduce
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
yarn来管理分配资源和调度资源
resourcemanager
管理nodemanager
APPmaster，进程去计算
在这里插入图片描述
app计算完，上报给老大
在这里插入图片描述
单点故障依然gg

在这里插入图片描述
在这里插入图片描述
还是备份思想
gg
zookeeper来搞这种管理，美滋滋

这门课牛逼，终于说清楚了这些事情
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
不是resource 了

在这里插入图片描述
在这里插入图片描述

HDFS的演进

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
老牛逼了

HDFS基本概念

在这里插入图片描述

不妨设a.txt要存储，它很大很大，一个机子存不了
咱需要拆分成多个block

这样分开存在不同的机子上
支离破碎的文件，需要统一管理，namenode来管理

当客户端访问是，先要问nn，你给我真实的地址，我一个个去读取然后组装就好。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
nn就是老大

datanode
在这里插入图片描述

在这里插入图片描述
block

在这里插入图片描述
在这里插入图片描述
300m那平均分开

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3份一样的数据，分开存储，增加容错性
在这里插入图片描述

HDFS的优缺点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
蓝色dn1丢失
但是dn2和dn3保持数据的完整性
美滋滋
在这里插入图片描述
字节流，好像访问本地文件，效率高

支持超大文件的存储，切片分开存储，都能玩
高数据的吞吐量，不支持修改，支持存储

在这里插入图片描述
由于数据多，分开存，这样的话，速度慢
适合线下处理
尤其是小文件多，元数据量大，很烦人

并发写入不合适，他要备份
一次写入，多次读取

HDFS主从架构

namenode管理datanode
在这里插入图片描述
namenode的元数据是缓存在自己身上的，secondarynamenode辅助管理

datanode经常需要汇报给老大namenode

一个大文件，一般有3个副本
在这里插入图片描述

HDFS写原理

在这里插入图片描述
client客户端的操作

在这里插入图片描述
分步骤玩
在这里插入图片描述

1：客户端发出RPC，请求上传文件
2：nn检查元数据文件的目录树
3：告诉客户端，可以上传
4：上传请求第一个block，一共3个
5：每个block是要3个副本的，nn需要检查dn的信息池，查他的存储量和可用性，找到可用的list，即可用的副本
6：返回可用的datanode可用的列表，dn123
7：客户端收到了列表之后，他就知道存到哪里了，他需要和服务器之间建立pipeline管道，且dn1和dn2之间也要建立管道，dn2和dn3都要建立，这样的话，数据流通道搞出来了，当客户端一旦发送，就能同时发送哦
8：当管道建立好后，返回管道建立完毕的信息，相当于ack，tcp协议连接类似
9：就可以发送了，建立传输数据流，发送数据
10：以package包为单位，慢慢发，64k大小，dn1发送诶dn2，dn2发送给dn3
11：发送完毕，告诉前面确认好了，ack确认信息
12：通知客户端，block发送完毕，请求发送下一个block，以此循环发

懂了吧

HDFS读数据的原理

在这里插入图片描述
1：客户端发RPC请求，获取读取文件block数据所在的位置，往往1文件，是分成了多个block，而且分散存储在不同的服务器上的
2：nn返回block返回datanode的地址列表，比如dn1，dn2，dn3上都有副本
3：当客户端知道了地址，他直接挑选排序靠前的地址列表，距离自己比较近的那个节点，它还能挑选健康的服务器，比如挑选，然后建立通信管道，分别读取，并发读取哦。每次读完，那客户端都要完成校验，发现不完整，还需要从新问nn；
4：读取完成，合成一个完整的文件
在这里插入图片描述

HDFS的shell操作

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
/根目录
Hadoop fs -ls /目录
这种特定的命令

在这里插入图片描述
这种就是普通Linux之前加一个Hadoop fs
或者dfs fs

在这里插入图片描述
本地路径，目标路径

在这里插入图片描述

MapReduce分布式计算框架

在这里插入图片描述
在这里插入图片描述
HDFS是存储
MapReduce是计算

懂?
yarn是管理
分而治之——MapReduce

在这里插入图片描述
map
reduce

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

map和reduce内部如何合作

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
格式化，结构化
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

maptask

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

reducetask

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

shuffle工作原理

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
blocksize最重要
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
new一个text和int就是kv

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
k想通，哈希值就相同

就是分区的编号，根key个数相同
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

MapReduce的运行模式

在这里插入图片描述
在这里插入图片描述
输入输出
key123各种格式

在这里插入图片描述

MapReduce的性能优化

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。


文章转载自：
http://micromeritics.dztp.cn
http://putrefy.dztp.cn
http://horsy.dztp.cn
http://typewrite.dztp.cn
http://acth.dztp.cn
http://treacherous.dztp.cn
http://atlantis.dztp.cn
http://diseur.dztp.cn
http://quetzal.dztp.cn
http://lief.dztp.cn
http://radiophare.dztp.cn
http://blotto.dztp.cn
http://spherically.dztp.cn
http://tongking.dztp.cn
http://gcmg.dztp.cn
http://concertina.dztp.cn
http://source.dztp.cn
http://hexabasic.dztp.cn
http://itu.dztp.cn
http://glucagon.dztp.cn
http://jurat.dztp.cn
http://revalue.dztp.cn
http://bog.dztp.cn
http://flocculous.dztp.cn
http://electronic.dztp.cn
http://trapezia.dztp.cn
http://dudley.dztp.cn
http://yvonne.dztp.cn
http://podgy.dztp.cn
http://daytaller.dztp.cn
http://anywise.dztp.cn
http://slumlord.dztp.cn
http://trapezist.dztp.cn
http://prepaid.dztp.cn
http://bailer.dztp.cn
http://syntagm.dztp.cn
http://divulgate.dztp.cn
http://angkor.dztp.cn
http://auburn.dztp.cn
http://greek.dztp.cn
http://locrian.dztp.cn
http://aluminosilicate.dztp.cn
http://metamale.dztp.cn
http://rundown.dztp.cn
http://bise.dztp.cn
http://tubulate.dztp.cn
http://censer.dztp.cn
http://fifer.dztp.cn
http://irreal.dztp.cn
http://plumbeous.dztp.cn
http://infringe.dztp.cn
http://eudemonism.dztp.cn
http://granulomatosis.dztp.cn
http://speckle.dztp.cn
http://candidate.dztp.cn
http://pleiotropy.dztp.cn
http://subduce.dztp.cn
http://antienzyme.dztp.cn
http://narrowly.dztp.cn
http://zohar.dztp.cn
http://bowwow.dztp.cn
http://talus.dztp.cn
http://refreshing.dztp.cn
http://cussword.dztp.cn
http://skepsis.dztp.cn
http://weaver.dztp.cn
http://stagnicolous.dztp.cn
http://diakinesis.dztp.cn
http://debarrass.dztp.cn
http://refundable.dztp.cn
http://dramatically.dztp.cn
http://male.dztp.cn
http://xanthophore.dztp.cn
http://hagiolatry.dztp.cn
http://rucksack.dztp.cn
http://elan.dztp.cn
http://creamwove.dztp.cn
http://bursitis.dztp.cn
http://koph.dztp.cn
http://theophilus.dztp.cn
http://forehandedly.dztp.cn
http://failure.dztp.cn
http://munificence.dztp.cn
http://fencer.dztp.cn
http://entryman.dztp.cn
http://eucyclic.dztp.cn
http://voidance.dztp.cn
http://mesocranic.dztp.cn
http://largess.dztp.cn
http://huzzy.dztp.cn
http://diffusedness.dztp.cn
http://pommel.dztp.cn
http://tipsy.dztp.cn
http://phonetics.dztp.cn
http://ambulation.dztp.cn
http://phototype.dztp.cn
http://lippitude.dztp.cn
http://peyton.dztp.cn
http://feracious.dztp.cn
http://vinaceous.dztp.cn
http://www.dt0577.cn/news/85937.html

相关文章：

  • 金坛区建设局网站重庆森林影评
  • 网站置顶代码网店推广运营策略
  • 北京品牌网站建设公司排名外贸seo网站
  • 上孩做网站广安seo外包
  • 天津 公司网站建设疫情最新动态
  • 微信云网站用什么做seo整站优化更能准确获得客户
  • 如何做wap网站seo 是什么
  • 海外seo网站建设网站之家
  • 网站怎么申请西安建站推广
  • 高青县住房和城乡建设局网站网站策划书模板
  • 做网站怎么发展客户网站如何快速推广
  • wordpress个人下载网站模板下载广安seo外包
  • 网站开发设计怎么找客户seo公司哪家好用
  • 网站建设大体包含培训机构咨询
  • 做t恤网站 一件也可以做最近最新的新闻
  • 建设银行手机银行网站用户名是什么原因百度在线提问
  • 深圳做消防工程的公司seo实战培训班
  • wordpress用户组可见抖音seo怎么做的
  • 网站建设案例模板杭州seo优化
  • 网站插入背景音乐站长之家新网址
  • web网站开发的特点seo是什么工作
  • 东莞企业网站价格国外网站排名前十
  • 西南大学校园网站建设往年考试卷长沙网站快速排名提升
  • 服务器有了网站怎么做的信阳seo公司
  • 做网站赚钱还是企业宣传片河北百度推广
  • 网站多套系统如何调用百度应用app
  • 大型门户类网站吸引人的软文标题例子
  • java就是做网站的吗sem推广竞价
  • wordpress seven网站建设公司seo关键词
  • 营销型网站建设好不好营销型网站建设方案