中村 圭太
nakam****@jp*****
2011年 12月 7日 (水) 17:50:09 JST
Fork池田様
お世話になっております。中村です。
ご助言ありがとうございました。
また、返信が遅くなり申し訳有りません。
結論として、問題が解決しました。
> hdpmaster38でクラスタを起動(service heartbeat start)する前に
> namenode_hadoopとjobtracker_hadoopがすでに起動している
> 可能性はありませんか。
namenode_hadoopとjobtracker_hadoopは起動していないのですが、
RA内のmonitorにおいて、プロセス確認の処理に誤りがありました。
monitor_namenode()
{
process=`/usr/bin/pgrep -f namenode`
if [ -z "$process" ]; then
：
上記の処理では、RA自身が「namenode」というシェルであるため、
自分自身がprepでヒットしていました。
結果、Hadoopのnamenodeが起動していなくても、
起動しているとmonitorが判断していました。
（稚拙な問題について質問してしまい、すみませんでした。）
対処は以下のようにpsをjavaのクラス名をフルパスでgrepするようにしました。
process=`ps -ef | grep org.apache.hadoop.mapred.JobTracker | grep -v grep`
ご丁寧に返信していただき、誠にありがとうございました。
今後とも、どうぞよろしくお願いいたします。
以上です。
(2011/12/02 11:31), Junko IKEDA wrote:
> 中村様
>
> hdpmaster38でクラスタを起動(service heartbeat start)する前に
> namenode_hadoopとjobtracker_hadoopがすでに起動している
> 可能性はありませんか。
>
> namenode RAとjobtracker RAはstart処理の最初に
> monitor処理(monitor_jobtracker)を呼び出しています。
> これは、すでにリソースが実行済みの場合は
> start処理を省略するためです。
>
> ha-log_ノード２.txtの160行目付近を確認すると
> namenode_hadoopとjobtracker_hadoopの
> monitor_0(start実行時に呼び出されるmonitor処理)が
> rc=0(OCF_SUCCESS)となっているため、すでにリソースが起動している
> 可能性があります。
> 起動していない場合は、後続のip_hadoopやfs_hadoopのように
> rc=7(OCF_NOT_RUNNING)が返ります。
>
> Dec 01 18:42:29 hdpmaster38 crmd: [30290]: info: process_lrm_event:
> LRM operation namenode_hadoop_monitor_0 (call=4, rc=0, cib-update=8,
> confirmed=true) ok
> Dec 01 18:42:29 hdpmaster38 crmd: [30290]: info: process_lrm_event:
> LRM operation jobtracker_hadoop_monitor_0 (call=5, rc=0, cib-update=9,
> confirmed=true) ok
> Dec 01 18:42:29 hdpmaster38 crmd: [30290]: info: process_lrm_event:
> LRM operation ip_hadoop_monitor_0 (call=3, rc=7, cib-update=10,
> confirmed=true) not running
> Dec 01 18:42:29 hdpmaster38 crmd: [30290]: info: process_lrm_event:
> LRM operation fs_hadoop_monitor_0 (call=2, rc=7, cib-update=11,
> confirmed=true) not running
>
> 一度、両ノードのクラスタを停止したあと
> namenode_hadoopとjobtracker_hadoopの状態を確認してください。
> また、OS起動時にプロセスが自動起動するような
> 設定になっていないか、なども確認してください。
>
> なお、crmの設定ですが、rsc_defaultsに
> resource-stickinessとmigration-thresholdを
> 設定することをお勧めします。
>
> 参考 http://linux-ha.sourceforge.jp/wp/archives/1657/3
>
> resource-stickiness="INFINITY"は自動フェイルバックをオフにする設定です。
>
> 設定例
> property \
> no-quorum-policy="ignore" \
> stonith-enabled="false" \
> startup-fencing="false" \
> crmd-transition-delay="2s"
>
> rsc_defaults \
> resource-stickiness="INFINITY" \
> migration-threshold="1"
>
>
> 以上よろしくお願いいたします。
>
> 池田淳子
>
>
> 2011年12月1日21:56 中村 圭太<nakam****@jp*****>:
>> 池田様
>>
>> お世話になっております。中村です。
>> 多くのご助言をいただき、ありがとうございました。
>>
>>>> locationの設定ですが、groupではなくMaster/Slaveの
>>>> スコア値を設定してみてください。
>>>>
>>>> location l_hadoop ms_drbd \
>>>> rule role=master 200: #uname eq hdpmaster30 \
>>>> rule role=master 100: #uname eq hdpmaster38
>>
>> 上記の設定により、解消できました。
>> groupはmaster側で起動せるため、
>> msありきとなり、
>> locationはmsを設定するべきなのですね。
>> 勉強になります。
>>
>> 続けて大変恐縮ですが、
>> 以下に新しい質問をさせてください。
>>
>> ＜問題＞
>> 当方は、HAクラスタ上にHadoopを構築したいと考えております。
>> rg_hadoopに「namenode_hadoop」および「jobtracker_hadoop」という
>> リソースを追加したのですが、
>> 縮退状態（片系のみheartbeatが起動）から、
>> 相手ノードのheartbeatを起動させると、
>> 上記の２リソースが再起動してしまいます。
>>
>> namenode_hadoopおよびjobtracker_hadooの挙動は以下の流れです。
>>
>> 縮退状態（ノード１のheartbeatのみ起動）からノード２のheartbeatを起動
>> →ノード１でしか上記の２リソースが起動していないと思われるが、
>> 両ノードで起動していると認識される（ログ１：166、169行目）
>> →リソースを停止（ログ１：222、246行目）（ログ２：179、190行目）
>> →ノード１でリソースを起動（ログ１：260、273行目）
>>
>> ログ１：ノード１のログ（元からheartbeatが起動していた）
>> ログ２：ノード２のログ（後からheartbeatを起動した）
>>
>> なお、他のリソースは元のノードで起動したまま正常です。
>>
>> 縮退状態から停止していたノードをクラスタに復帰させても、
>> ２リソースを元のノードで正常に起動したままとするには、
>> 設定やRAに問題点がありますでしょうか。
>>
>> ＜備考＞
>> ・上記の２リソースが起動するノードは、
>> FilesystemやIPaddr2のリソースが起動している
>> ノードである必要があります。
>>
>> ・「Hadoop徹底入門」という書籍を参考にしており、
>> RAは書籍のサンプルを使用しています。
>>
>> ・ノード１とノード２の起動順を逆にしても同様の結果です。
>>
>> ＜添付＞
>> ・HA-log（ノード１＆ノード２）
>> ・namenodeのRA
>> ・jobtrackerのRA
>> ・設定ファイル類
>>
>> 大変お手数を頂きまして申し訳ありませんが、
>> ご教授いただけますよう、よろしくお願いいたします。
>>
>> 以上です。
>>
>>
>> (2011/12/01 11:02), Junko IKEDA wrote:
>>> すみません。
>>> 一部コピペミスです。
>>>
>>> 3行目のmonitor設定は削除忘れです。
>>>
>>>> primitive drbd_hadoop ocf:linbit:drbd \
>>>> params drbd_resource="r_hadoop" \
>>>> op monitor interval="10s" \ ★ この行は必要なし
>>>> op start interval="0s" timeout="240s" on-fail="restart" \
>>>> op monitor interval="10s" timeout="20s" on-fail="restart"
>>>> role="Master" \
>>>> op monitor interval="20s" timeout="20s" on-fail="restart" role="Slave" \
>>>> op promote interval="0s" timeout="90s" on-fail="restart" \
>>>> op demote interval="0s" timeout="90s" on-fail="block" \
>>>> op stop interval="0s" timeout="100s" on-fail="block"
>>>
>>> 池田淳子
>>>
>>> 2011年12月1日10:56 Junko IKEDA<tsuki****@gmail*****>:
>>>> 中村様
>>>>
>>>> NTTデータ先端技術の池田と申します。
>>>>
>>>>> 設定ファイルの類を添付させていただきます。
>>>>> なお、DRBDのリソースエージェントは、drbd-8.4.0同梱のものを使用しています。
>>>>
>>>> crmの設定ではdrbd RAのproviderがheartbeatとなっていますが
>>>> これは、DRBD 8.4.0のRAを
>>>> /usr/lib/ocf/resource.d/heartbeat/
>>>> にコピーされたということでしょうか。
>>>> DRBDのRAはデフォルトでは
>>>> /usr/lib/ocf/resource.d/linbit/
>>>> にインストールされます。
>>>>
>>>> よって、drbd RAの設定では通常、providerにlinbitを指定します。
>>>> /usr/lib/ocf/resource.d/heartbeat/
>>>> にもdrbd RAは存在しますが、これはresource-agentsに含まれる古いRAです。
>>>>
>>>> また、Master/Slaveリソースのmonitor設定ですが
>>>> MasterリソースとSlaveリソースのinterval値をそれぞれ
>>>> 別の値として設定してください。
>>>>
>>>> drbd RAの設定例
>>>>
>>>> primitive drbd_hadoop ocf:linbit:drbd \
>>>> params drbd_resource="r_hadoop" \
>>>> op monitor interval="10s" \
>>>> op start interval="0s" timeout="240s" on-fail="restart" \
>>>> op monitor interval="10s" timeout="20s" on-fail="restart"
>>>> role="Master" \
>>>> op monitor interval="20s" timeout="20s" on-fail="restart" role="Slave" \
>>>> op promote interval="0s" timeout="90s" on-fail="restart" \
>>>> op demote interval="0s" timeout="90s" on-fail="block" \
>>>> op stop interval="0s" timeout="100s" on-fail="block"
>>>>
>>>> locationの設定ですが、groupではなくMaster/Slaveの
>>>> スコア値を設定してみてください。
>>>>
>>>> location l_hadoop ms_drbd \
>>>> rule role=master 200: #uname eq hdpmaster30 \
>>>> rule role=master 100: #uname eq hdpmaster38
>>>>
>>>> また、Pacemaker 1.0.11では、Master/Slaveの動作でバグが確認されています。
>>>> 参考 http://linux-ha.sourceforge.jp/wp/archives/2468/2
>>>>
>>>> 上記のバグを回避するために、Master/Slaveだけではなく
>>>> groupに含まれる各リソースにもlocationを設定してください。
>>>>
>>>> location l_hadoop ms_drbd \
>>>> rule role=master 200: #uname eq hdpmaster30 \
>>>> rule role=master 100: #uname eq hdpmaster38 \
>>>> rule role=master -inf: defined fail-count-fs_hadoop \
>>>> rule role=master -inf: defined fail-count-ip_hadoop
>>>>
>>>> なお、上記のバグはPacemaker 1.0.12では修正されています。
>>>>
>>>> 以上よろしくお願いいたします。
>>>>
>>>> 池田淳子
>>>>
>>>> 2011年11月30日21:11 中村 圭太<nakam****@jp*****>:
>>>>> 中村と申します。
>>>>> はじめて投稿させていただきます。
>>>>> heartbeatおよびDRBDに関して、以下の問題で困っています。
>>>>>
>>>>> ＜問題＞
>>>>> Heartbeatを両ノードでほぼ同時に起動させると、DRBDが起動はするのですが、
>>>>> 両ノード共にslaveの状態が続き、primaryに昇格しません。
>>>>> ただし、片方のノードがＨｅａｒｔｂｅａｔにおけるONLINEの状態までなった後に、
>>>>> 一方のノードを立ち上げると、ＤＲＢＤが両方ともslaveになった後、
>>>>> cib.xmlのlocationで指定したノードがprimaryに昇格します。
>>>>>
>>>>> ＜疑問点＞
>>>>> ・Heartbeatを起動させるノードについては、
>>>>> 起動順番を意識する必要があるのでしょうか？
>>>>> ・当方の設定に、上記問題の元となる箇所はありますでしょうか？
>>>>>
>>>>> ＜環境＞
>>>>> ・pacemaker-1.0.11
>>>>> ・heartbeat-3.0.5
>>>>> ・drbd-8.4.0
>>>>>
>>>>> 設定ファイルの類を添付させていただきます。
>>>>> なお、DRBDのリソースエージェントは、drbd-8.4.0同梱のものを使用しています。
>>>>>
>>>>> ------- crm configure show -------
>>>>> node $id="24606b2c-5a9d-4a86-9e83-a84ee941739d" hdpmaster38
>>>>> node $id="57e51646-569b-4501-8073-61f06ec146bf" hdpmaster30
>>>>> primitive drbd_hadoop ocf:heartbeat:drbd \
>>>>> params drbd_resource="r_hadoop" \
>>>>> op monitor interval="10s"
>>>>> primitive fs_hadoop ocf:heartbeat:Filesystem \
>>>>> params device="/dev/drbd0" directory="/hadoop/dfs/name" fstype="ext3"
>>>>> options="noatime"
>>>>> primitive ip_hadoop ocf:heartbeat:IPaddr2 \
>>>>> params ip="10.171.208.87" nic="eth1" cidr_netmask="24" \
>>>>> op monitor interval="10s"
>>>>> group rg_hadoop fs_hadoop ip_hadoop
>>>>> ms ms_drbd drbd_hadoop \
>>>>> meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1"
>>>>> notify="true"
>>>>> location l_hadoop rg_hadoop 100: hdpmaster30
>>>>> colocation c_hadoop inf: rg_hadoop ms_drbd:Master
>>>>> order o_hadoop inf: ms_drbd:promote rg_hadoop:start
>>>>> property $id="cib-bootstrap-options" \
>>>>> dc-version="1.0.11-1554a83db0d3c3e546cfd3aaff6af1184f79ee87" \
>>>>> cluster-infrastructure="Heartbeat" \
>>>>> stonith-enabled="false" \
>>>>> no-quorum-policy="ignore" \
>>>>> default-resource-stickiness="200"
>>>>>
>>>>> 大変お手数ですが、どなたかご教授くださいますよう、お願いいたします。
>>>>>
>>>>> 以上です。
>>>>>
>>>>> _______________________________________________
>>>>> Linux-ha-japan mailing list
>>>>> Linux****@lists*****
>>>>> http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
>>>>>
>>>
>>> _______________________________________________
>>> Linux-ha-japan mailing list
>>> Linux****@lists*****
>>> http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
>>>
>>>
>>
>> _______________________________________________
>> Linux-ha-japan mailing list
>> Linux****@lists*****
>> http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
>>
>
> _______________________________________________
> Linux-ha-japan mailing list
> Linux****@lists*****
> http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
>
>