hadoop的节点（Hadoop 主节点 datanode 没有启动）

本文目录

• Hadoop 主节点 datanode 没有启动
• hadoop 集群怎么删除节点
• 一般，中型公司的大数据平台，hadoop几个节点
• Hadoop集群的主节点会存储数据吗
• hadoop某节点运行较慢，通过什么机制解决
• 发布Hadoop解决方案并且商用，目前拥有1000个数据节点，这个数据节点是什么东西，求解释
• hadoop其中一个节点马上要写满了，如何设置
• hadoop调度算法中怎么判断哪个是快节点，哪个是慢节点

Hadoop 主节点 datanode 没有启动

1. 先执行stop-all.sh暂停所有服务2. 将所有Salve节点上的tmp(即 hdfs-site.xml 中指定的 dfs.data.dir 文件夹，DataNode存放数据块的位置)、 logs 文件夹删除 ， 然后重新建立tmp , logs 文件夹3. 将所有Salve节点上的/usr/hadoop/conf下的core-site.xml删除，将master节点的core-site.xml文件拷贝过来，到各个Salve节点scp /usr/hadoop/conf/core-site.xml hadoop@slave1:/usr/hadoop/conf/4. 重新格式化: hadoop namenode -format5. 启动：start-all.sh

hadoop 集群怎么删除节点

1：添加节点A：新节点中添加账户，设置无密码登陆B：Name节点中设置到新节点的无密码登陆C：在Name节点slaves文件中添加新节点D：在所有节点/etc/hosts文件中增加新节点（所有节点保持一致）E：在新节点中执行./bin/hadoop-daemon.sh start datanode./bin/hadoop-daemon.sh start tasktracker均衡个数据节点中的数据./bin/start-balancer.sh注意1）如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低mapred的工作效率 2）设置平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长 ./bin/start-balancer.sh -threshold 53）设置balance的带宽，默认只有1M/s《property》　　《name》dfs.balance.bandwidthPerSec《/name》 　　《value》1048576《/value》 　　《description》 　　　　Specifies the maximum amount of bandwidth that each datanode 　　　　can utilize for the balancing purpose in term of 　　　　the number of bytes per second. 　　《/description》 《/property》删除节点A：修改Name节点的hdfs-site.xml增加《property》 《name》dfs.hosts.exclude《/name》 《value》/soft/hadoop/conf/excludes《/value》《/property》B：修改Name节点的mapred-site.xml增加《property》 《name》mapred.hosts.exclude《/name》 《value》/soft/hadoop/conf/excludes《/value》 《final》true《/final》《/property》C：新建excludes文件，文件里写要删除节点的hostnameD：Name节点执行hadoop mradmin –refreshNodeshadoop dfsadmin –refreshNodes(task进程可以kill进程ID)查看关闭进程hadoop dfsadmin -report当节点处于Decommissioned，表示关闭成功。 注意1：如果刚删除的节点要再添加到集群要先删除excludes文件，执行 hadoop dfsadmin –refreshNodes***隐藏网址***3：如果数据较大则关闭的时间可能会很长

一般，中型公司的大数据平台，hadoop几个节点

可以这样算，首先你要知道这个公司的数据量有多大，比如说有20pb，一般情况下，文件副本设置为3，那么就是60pb,这时候看电脑硬盘多大，然后用60pb除以单个硬盘的大小，得到的结果就是从节点的个数，为了以防万一，在这个节点数的基础上再多加几台。主节点的机器配置要求就比较高了，内存，硬盘之类的要比从节点好太多，主节点一般是一台，如果为了避免单点故障也就是主节点突然挂了，可以使用ha机制再增加一台主节点备用，这样一旦主节点出现问题，另一台主节点能立刻工作，不会出现数据丢失！

Hadoop集群的主节点会存储数据吗

主节点不会存储数据，数据节点专门存储数据，主节点存储了元数据信息。主节点的磁盘中存储了文件到块的关系，集群启动后，数据节点会报告名字节点 机器和块的关系，这两个关系组合起来便可找到文件所在机器的位置。如果名字节点所在的机器也配置到slave文件里，那么此台机器即是名字节点也是数据节点！

hadoop某节点运行较慢，通过什么机制解决

一个节点需要执行的命令 答：（1）hadoop job Clist 得到job的id，然后执行 hadoop job -kill jobId就可以杀死一个指定jobId的job工作了。 （2）hadoop fs -rmr /tmp/aaa 3 增加一个新的节点在新的几点上执行 Hadoop daemon.sh start datanode Hadooop daemon.sh start tasktracker 然后在主节点中执行 hadoop dfsadmin -refreshnodes 删除一个节点的时候，只需要在主节点执行 hadoop mradmin -refreshnodes 请列出你所知道的hadoop调度器，并简要说明其工作方法 答：Fifo schedular :默认，先进先出的原则 Capacity sc

发布Hadoop解决方案并且商用，目前拥有1000个数据节点，这个数据节点是什么东西，求解释

他的存储方式是有一个索引节点，一个实际存储节点，索引节点用来查找存储节点，直接说数据节点就是主机是错的，因为在HDFS上的数据存储和实体主机弱相关的，1000个数据节点应该是突出他的索引性能好，而不是为强调主机多。。。。

hadoop其中一个节点马上要写满了，如何设置

hadoop 的datanode上存储多少数据就是由该datanode的磁盘空间决定的，配置文件中dfs.data.dir参数指定了hdfs数据存放目录（多个目录由逗号分隔），设置好该参数后，这个datanode节点的最大存储空间就由设定目录的空间决定。hadoop各个datanode节点的数据量基本是一致的，可以通过balancer.sh来平衡各个节点的空间利用率。

hadoop调度算法中怎么判断哪个是快节点，哪个是慢节点

Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法先来先服务（FIFO）FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业运行完后，总是从队首取下一个作业运行。这种调度策略的优点是简单、易于实现，同时也减轻了jobtracker的负担。但是它的缺点也是显然的，它对所有的作业都一视同仁，没有考虑到作业的紧迫程度，另外对小作业的运行不利。公平调度策略这种策略在系统中配置了任务槽，一个任务槽可以运行一个task任务，这些任务就是一个大的作业被切分后的小作业。当一个用户提交多个作业时，每个作业可以分配到一定的任务槽以执行task任务（这里的任务槽可以理解为可以运行一个map任务或reduce任务）。如果把整个hadoop集群作业调度跟操作系统的作业调度相比，第一种FIFO就相当于操作系统中早期的单道批处理系统，系统中每个时刻只有一道作业在运行，而公平调度相当于多道批处理系统，它实现了同一个时刻多道作业同时运行。由于linux是多用户的，若有多个用户同时提交多个作业会怎样？在这种策略中给每个用户分配一个作业池，然后给每个作业池设置一个最小共享槽个数，什么是最小共享槽个数呢？先要理解一个最小什么意思，最小是指只要这个作业池需要，调度器应该确保能够满足这个作业池的最小任务槽数的需求，但是如何才能确保在它需要的时候就有空的任务槽，一种方法是固定分配一定数量的槽给作业池不动，这个数量至少是最小任务槽值，这样只要在作业池需要的时候就分配给它就行了，但是这样在这个作业池没有用到这么多任务槽的时候会造成浪费，这种策略实际上是这样做的，当作业池的需求没有达到最小任务槽数时，名义上是自己的剩余的任务槽会被分给其他有需要的作业池，当一个作业池需要申请任务槽的时候若系统中没有了，这时候不会去抢占别人的（也不知道抢谁的啊），只要当前一个空的任务槽释放会被立即分配给这个作业池。在一个用户的作业池内，多个作业如何分配槽这个可以自行选择了如FIFO。所以这种调度策略分为两级：第一级，在池间分配槽，在多用户的情况下，每个用户分配一个作业池。第二级，在作业池内，每个用户可以使用不同的调度策略。计算能力调度计算能力调度和公平调度有点类似，公平调度策略是以作业池为单位分配任务槽，而计算能力调度是以队列为单位分配tasktracker（集群中一个节点），这种调度策略配置了多个队列，每个队列配置了最小额度的tasktracker数量，同公平调度策略类似，当一个队列有空闲的tasktracker时，调度器会将空闲的分配给其他的队列，当有空闲的tasktracker时，由于这时候可能有多个队列没有得到最小额度的tasktracker而又在申请新的，空闲的tasktracker会被优先分配到最饥饿的队列中去，如何衡量饥饿程度呢？可以通过计算队列中正在运行的任务数与其分得的计算资源之间的比值是否最低来判断的，越低说明饥饿程度越高。计算能力调度策略是以队列的方式组织作业的，所以一个用户的作业可能在多个队列中，如果不对用户做一定的限制，很可能出现在多个用户之间出现严重不公平的现象。所以在选中新作业运行时候，还需要考虑作业所属的用户是否超过了资源的限制，如果超过，作业不会被选中。对于在同一个队列中，这种策略使用的是基于优先级的FIFO策略，但是不会抢占。