快捷搜索:

Ambari-Server 高可用解决方案

日期:2019-10-07编辑作者:美术

Hadoop NameNode HA

Hadoop NameNode HA 情势下有七个 NameNode, 当中 active NameNode 提供 HDFS 服务, standby NameNode 作为备节点在 active NameNode 宕机后改换状态为 active, 进而制止 NameNode 的单点问题. 某次被误删 NameNode 文件系统之后, 决定陈设 Hadoop HA, 让集群自动应对运行失误或恶意攻击,恐怕轻松的宕机.

Q8:ambari-server 是什么样切换的?

ambari

ambari 投注意有所服务关闭 maintenance 状态.

Q4: ambari-agent 连接zookeeper,须求利用python 工具包,这一个工具包不易管理,怎么样方便维护?

重启 hue

在ambari-agent 内部会缓存三个变量:activeServerHostName,发生ambari-server切换时,会更新那几个变量,固然zookeeper不可用时,将会向此变量对应的ambari-server发送心跳。

涸泽而渔办法

Q3: ambari-server 运行时,须求三番五次zookeeper,并向zookeeper内创建节点,假使那时zookeeper不可用如何是好?

配置


问题

Q7: 哪天触发ambari-server 的切换?

Hue

设置完 HA 之后 hue 运营失利,报 [ERROR] "httpfs-site" not found in server response
诚如是 ambari 的 webhdfs 相关的配备没了.

*** zookeeper 节点音讯 ***

安装 LesTR 的 ambari-httpfs-service 组件

  1. 把 HTTPFS 放到 /var/lib/ambari-server/resources/stacks/HDP/2.6/services 下.
  2. ambari-server restart
  3. 添加 HTTPFS 服务, 参考 https://github.com/EsharEditor/ambari-hue-service/issues/23 配置 hue proxy
  4. 启动 HTTPFS.

因为ambari-server 与namenode 的效果分裂,所以对于宕机的拍卖实时性的渴求相对来说未有那么高,只须求在active server宕机后,standby 的ambari-server 能够正常切换,顺遂接管agent的心跳音讯,能够管理客户的探问央求就可以。
  此系统的HA施工方案使用hadoop集群内的zookeeper作为谐和器,ambari-server 运维后,在zookeeper内创制二个临时节点(/ambari/ha/master-hostname),并与zookeeper保持四个长链接,再设置三个watcher监控这些节点的处境。此节点的值为该主机的hostname,全部的agent向ambari-server发送心跳在此以前,先来zookeeper中取得此时active的ambari-server的hostname,再向那个ambari-server 发送心跳。
  假若ambari-server 运营时,向zookeeper创建有的时候节点(/ambari/ha/master-hostname)战败,况且退步的因由是节点已存在(报 NodeExistsException相当),表达已经有三个ambari-server已成功运转,则将此ambari-server定义为standby 的剧中人物,设置watcher监听/ambari/ha/master-hostname,并在zookeeper中创设一个另三个权且节点(/ambari/ha/standby-hostname),用来做ambari-server HA 管理。

ambari 中修改 hue 配置页, 设置

webhdfs_url=http://$HTTPFS_IP:$HTTPFS_PORT/webhdfs/v1

Q6: ambari-server 运维时向zookeeper注册master节点退步,则会被定义为standby 的剧中人物,除了卡住线程,还做了怎样事?

合法参照他事他说加以考察文书档案

图片 1

DONE

图片 2

Q10:只要zookeeper宕机,ambari-agent 向哪个ambari-server 发送心跳?

Q11: 在切换ambari-server时,涉及到了数据库的重启操作,假使数据库未完全运转,此时数据库不可能访谈,那么如何确认保证不出难题?

Q9: agent识别到ambari-server产生变化时,除了向新的主机发送心跳,还恐怕会做哪些?

  <small>近年来apache官方提供的ambari最新版为2.5.1,还未提供ambari-server 的HA方案,因工作须求落成了一版简约的Ambari-Server HA。</small>

*** 具体细节,大家以Q&A的花样反映... ***

底层的数额同步运用postgersql 的主干结构实行共同

实行shell脚本,将本机的postgresql 数据库设置为slave剧中人物,以便active的ambari-server 的数据库能够正常同步到slave机器

standby ambari-server 中的watcher被触发后,向zookeeper内创立master-hostname节点,假设创产生功,则notify在此以前的object.wait() 继续运营ioc容器和jetty容器,更新zookeeper中/ambari/ha/history-hostname,试行shell脚本将近来的postgresql数据库设置为master剧中人物。

active ambari-server 宕机时,在zookeeper内创建的暂时节点(/ambari/ha/master-hostname)因为session失效而消失,standby ambari-server 的watcher会被触发,向zookeeper创建一个新的节点(/ambari/ha/master-hostname),ambari-agent 会向新的ambari-server 发送心跳。

修改ambari-server正视的postgresql版本,使其借助9.2版本的postgersql数据库

Q5: 怎样保管在同等时刻,独有active 的ambari-server 可以被访问?

支付以stand-alone情势启动ambari-server的效果,在应用curator连接zookeeper在此以前,使用zookeeper原生的api试着连连三遍zookeeper(创制或访问/ambari/check-connection),借使能够健康成功,表明zookeeper可用,则继续采纳curator连接zookeeper。如若zookeeper不可用,则向外围抛出指示音讯,提醒客商zookeeper不可用,请实践ambari-server start --stand-alone 。以stand-alone 方式运行ambari-server。

应用kazoo(pipy官方网址可搜),将源码下载下来,打成ambari_kazoo.rpm包,然后让ambari-agent.rpm包依赖ambari_kazoo.rpm,在安装ambari-agent时,rpm的包信任体制会活动支持咱们设置好Python操作zookeeper 的工具包。

Q2: ambari-server 注重的是8.4版本的postgresql 数据库,此版本不帮忙中央结构如何是好?

履新本机内的/etc/hosts,将repo源,ntpd服务器音讯更新

standby ambari-server 运行时,即使在zookeeper内创造master节点退步,那么线程阻塞(object.wait()),不一连运转ambari-server内部的jetty容器,所以顾客十分的小概访谈standby ambari-server 的web页面。

数据库内创制一张特地用来测验数据库是或不是可用的表,在每一回重启数据库时,都先想那么些表中写如一条数据,再将此数额读出来,完结一遍操作才视为数据库完全运行,再进行原本的事情逻辑,不然每隔5S重试二次。

  • ###### 使用技巧

    • apache Zookeeper
    • apache Curator

Q1: 因为原生ambari-server依赖内嵌的postgresql数据库,那么数量同步是如何贯彻的?

*** -ambari-server HA全体架构图- ***

  • ###### 架构设计

本文由402com永利官方手机登录注册发布于美术,转载请注明出处:Ambari-Server 高可用解决方案

关键词:

姑娘们!穿比基尼和无袖前,先脱毛可好?

无痛 。 用脱毛膏除毛 本人个人偏侧于活动剃毛刀,除了因为小编懒之外呢,由于须剃毛部位的八种性,新手不熟谙...

详细>>

姑娘们!穿比基尼和无袖前,先脱毛可好?

无痛 。 用脱毛膏除毛 本人个人偏侧于活动剃毛刀,除了因为小编懒之外呢,由于须剃毛部位的八种性,新手不熟谙...

详细>>

你和男神只差一罐发油的距离------11款主流发油详

图片来自hlj.sina.com.cn 公众号:油头帮。可能是最专业的油头公众号和最认真的复古机车公众号。 夏天来了,又可以找...

详细>>

你和男神只差一罐发油的距离------11款主流发油详

图片来自hlj.sina.com.cn 公众号:油头帮。可能是最专业的油头公众号和最认真的复古机车公众号。 夏天来了,又可以找...

详细>>