renay****@ybb*****
renay****@ybb*****
2016年 9月 30日 (金) 17:39:40 JST
豊田さん こんばんは、山内です。 うまく行ったようで何よりです。 ログについても、確認し、改善可能であれば、今後、コミュニティに働きかけて行こうと思います。 また、何かありましたら、MLにご相談ください。 以上です。 ----- Original Message ----- >From: 豊田昌子 <m-toy****@enris*****> >To: 山内英生 <renay****@ybb*****>; linux****@lists***** >Date: 2016/9/30, Fri 16:41 >Subject: Re: [Linux-ha-jp] libvirt プラグインのパラメータについて > > >山内様 > > >お世話になります。豊田です。 >いろいろ試してみた結果、Linux側のホスト名変更、 crmファイルのノード名を統一し、 >fencing_ topologyの記載を以下に変更したところ、 対向ノードの電源OFFに成功致しました。 > > > >fencing_topology > prod-db01: prmHelper1-1 prmLibvirt1-2 \ > prod-db02: prmHelper2-1 prmLibvirt2-2 > > >Sep3014:35:06pco001-prod-db01 warning:Nodepco001-prod-db02 islost Sep3014:35:07pco001-prod-db01 info:Tryto STONITH (reboot)pco001-prod-db02.Sep3014:35:08pco001-prod-db01 info:Tryto execute STONITH device prmHelper2-1on pco001-prod-db01 forreboot pco001-prod-db02.Sep3014:35:13pco001-prod-db01 warning:Failedto execute STONITH device prmHelper2-1forpco001-prod-db02.Sep3014:35:13pco001-prod-db01 info:Tryto execute STONITH device prmLibvirt2-2on pco001-prod-db01 forreboot pco001-prod-db02.Sep3014:35:16pco001-prod-db01 info:Succeededto execute STONITH device prmLibvirt2-2forpco001-prod-db02.Sep3014:35:16pco001-prod-db01 info:Succeededto STONITH (reboot)pco001-prod-db02 bypco001-prod-db01. > > >prmLibvirt x−2の方に、 > >pcmk_reboot_action="off" を追記したのですが、ログ上ではSTONITH (reboot) となっている点が？ですが、 > >ひとまず、想定している結果は得られました。 >ご対応くださって、ありがとうございました。 > > > > > >2016年9月30日 11:20 豊田昌子 <m-toy****@enris*****>: > >山内様 >> >> >>お世話になります。豊田です。 >>ご回答をありがとうございます。 >> >> >>>設定などを拝見すると、vSphere側のゲスト名と、Lin ux側のホスト名が一致していないようです。 >> >> >> >>vSphere側のゲストとLinux側ホストの命名ルールが異 なっているためこのようになっています。 >>（Esxiホストから管理部署が違うため） >> >> >>vSphere側のゲスト名は変えることはできないため、 Linux側のホスト名を一時的に変更し、 >>crmファイルを変更、prod-db02側のIC- LAN断を行ってみたところ、prod- db01にエラーが１回でましたが、 >>prod-db02側にはエラーが出ていません。（ 挙動が変わりました） >> >> >>◼︎ログの表示 >>====== >>warning: Node pco001-prod-db02 is lost >>info: Try to STONITH (reboot) pco001-prod-db02. >>error: Failed to STONITH (reboot) pco001-prod-db02 by <anyone>. >>====== >> >>pco001-prod-db01のcrm_mon の表示は、UNCLEANの表示がでていますが、pco001- prod-db02側は正常表示です。 >>◼︎crm_mon表示 >>[root ＠ pco001-prod-db01 ~]# crm_mon -rfA -1 >>Last updated: Fri Sep 30 10:43:19 2016 >>Last change: Fri Sep 30 10:39:49 2016 by root via crm_attribute on pco001-prod-db01 >>Stack: corosync >>Current DC: pco001-prod-db01 - partition WITHOUT quorum >>Version: 1.1.13-6052cd1 >>2 Nodes configured >>15 Resources configured >>Node pco001-prod-db02: UNCLEAN (offline) >> >>Online: [ pco001-prod-db01 ] >>Full list of resources: >> >> vip-slave(ocf::heartbeat:IPaddr2):Started pco001-prod-db02 (UNCLEAN) >> Resource Group: master-group >> vip-master(ocf::heartbeat:IPaddr2):Started pco001-prod-db01 >> vip-rep(ocf::heartbeat:IPaddr2):Started pco001-prod-db01 >> Resource Group: grpStonith1 >> prmHelper1-1(stonith:external/stonith- helper):Started pco001-prod-db02 (UNCLEAN) >> prmLibvirt1-2(stonith:external/libvirt):Started pco001-prod-db02 (UNCLEAN) >> Resource Group: grpStonith2 >> prmHelper2-1(stonith:external/stonith- helper):Started pco001-prod-db01 >> prmLibvirt2-2(stonith:external/libvirt):Started pco001-prod-db01 >> Master/Slave Set: msPostgresql [pgsql] >> pgsql(ocf::heartbeat:pgsql):Started pco001-prod-db02 (UNCLEAN) >> Masters: [ pco001-prod-db01 ] >> Clone Set: clnPing [prmPing] >> prmPing(ocf::pacemaker:ping):Started pco001-prod-db02 (UNCLEAN) >> Started: [ pco001-prod-db01 ] >> Clone Set: clnDiskd1 [prmDiskd1] >> prmDiskd1(ocf::pacemaker:diskd):Started pco001-prod-db02 (UNCLEAN) >> Started: [ pco001-prod-db01 ] >> Clone Set: clnDiskd2 [prmDiskd2] >> prmDiskd2(ocf::pacemaker:diskd):Started pco001-prod-db02 (UNCLEAN) >> Started: [ pco001-prod-db01 ] >>Node Attributes: >>* Node pco001-prod-db01: >> + default_ping_set : 100 >> + diskcheck_status : normal >> + diskcheck_status_internal : normal >> + master-pgsql : 1000 >> + pgsql-data-status : LATEST >> + pgsql-master-baseline : 0000000081000350 >> + pgsql-status : PRI >> + ringnumber_0 : xx.xxx.xxx.150 is UP >>Migration summary: >>* Node pco001-prod-db01: >>============================== ============================== ======== >>[root ＠ pco001-prod-db02 ~]# crm_mon -rfA -1 >>Last updated: Fri Sep 30 10:43:31 2016 >>Last change: Fri Sep 30 10:39:49 2016 by root via crm_attribute on pco001-prod-db01 >>Stack: corosync >>Current DC: pco001-prod-db01 - partition with quorum >>Version: 1.1.13-6052cd1 >>2 Nodes configured >>15 Resources configured >> >>Online: [ pco001-prod-db01 pco001-prod-db02 ] >> >>Full list of resources: >> vip-slave(ocf::heartbeat:IPaddr2):Started pco001-prod-db02 >> >> Resource Group: master-group >> vip-master(ocf::heartbeat:IPaddr2):Started pco001-prod-db01 >> vip-rep(ocf::heartbeat:IPaddr2):Started pco001-prod-db01 >> Resource Group: grpStonith1 >> prmHelper1-1(stonith:external/stonith- helper):Started pco001-prod-db02 >> prmLibvirt1-2(stonith:external/libvirt):Started pco001-prod-db02 >> Resource Group: grpStonith2 >> prmHelper2-1(stonith:external/stonith- helper):Started pco001-prod-db01 >> prmLibvirt2-2(stonith:external/libvirt):Started pco001-prod-db01 >> Master/Slave Set: msPostgresql [pgsql] >> Masters: [ pco001-prod-db01 ] >> Slaves: [ pco001-prod-db02 ] >> Clone Set: clnPing [prmPing] >> Started: [ pco001-prod-db01 pco001-prod-db02 ] >> Clone Set: clnDiskd1 [prmDiskd1] >> Started: [ pco001-prod-db01 pco001-prod-db02 ] >> Clone Set: clnDiskd2 [prmDiskd2] >> Started: [ pco001-prod-db01 pco001-prod-db02 ] >>Node Attributes: >> >>* Node pco001-prod-db01: >> + default_ping_set : 100 >> + diskcheck_status : normal >> + diskcheck_status_internal : normal >> + master-pgsql : 1000 >> + pgsql-data-status : LATEST >> + pgsql-master-baseline : 0000000081000350 >> + pgsql-status : PRI >> + ringnumber_0 : xx.xxx.xxx.150 is UP >>* Node pco001-prod-db02: >> + default_ping_set : 100 >> + diskcheck_status : normal >> + diskcheck_status_internal : normal >> + master-pgsql : 100 >> + pgsql-data-status : STREAMING|SYNC >> + pgsql-status : HS:sync >> + ringnumber_0 : xx.xxx.xxx.151 is UP >>Migration summary: >> >>* Node pco001-prod-db01: >>* Node pco001-prod-db02: >>============================== ============================== ======== >> >> >> >>コマンドの単体では動作するため、 設定のどこかに誤りがあるのだろうと思います。 >>再度見直してみます。 >> >> >> >> >>2016年9月30日 3:00 <renay****@ybb*****>: >> >>豊田さん >>> >>>こんばんは、山内です。 >>> >>>STONITHを繰り返す点ですが、１点だけ先に変更して試して いただきたいのですが・・・ >>> >>>設定などを拝見すると、vSphere側のゲスト名と、Linu x側のホスト名が一致していないようです。 >>> >>>>node1: prod-db01 (仮想マシン名：pco001-prod-db01) >>>> >>>>node2: prod-db02 (仮想マシン名：pco001-prod-db02) >>> >>> >>>vSphere側のゲスト名(仮想マシン名)は、vSphere Clientなどから変更可能と思いますので、 >>>一旦、すべてLinux側の名称(prod-db01, prod-db02)にしてから、流しこむCRMファイルのゲス ト名もLinux側にして実施してみてもらえますでしょうか？ >>> >>>以上です。 >>> >>> >>>----- Original Message ----- >>>>From: 豊田昌子 <m-toy****@enris*****> >>>>To: 山内英生 <renay****@ybb*****>; linux****@lists***** >>>>Date: 2016/9/29, Thu 17:44 >>>>Subject: Re: [Linux-ha-jp] libvirt プラグインのパラメータについて >>>> >>>> >>>>山内様 >>>> >>>> >>>>お世話になっております。豊田です。 >>>> >>>> >>>>IC-LAN断でStonithを試しておりますが、Try to execute STONITH device とFailed to execute STONITH device を繰り返し、 >>>>想定した動作となりません。 >>>> >>>>度々で申し訳ありませんが、CRMのStonith関連項目の 設定を確認させてください。 >>>> >>>> >>>><確認したい点> >>>> >>>>◼︎primitive prmHelperｘ-1 stonith:external/stonith-helpe rについて >>>> >>>> >>>> >>>> hostlist: libvirt同様に仮想マシン名を指定 >>>> dead_check_target： hostlistで指定したノードのIPアドレスを指定 >>>> >>>> >>>>◼︎fencing_topologyの設定について >>>> >>>> >>>>grpStonith1(prmHelper1-1/prmL ibvirt1-2）は、prod-db01を停止させる設定、 >>>>grpStonith2(prmHelper2-1/prmL ibvirt2-2）は、prod-db02を停止させる設定と している >>>>”location”でgrpStonith1は prod-db02で起動、grpStonith2はprod- db01で起動するよう設定しているので >>>> >>>>起動順序の記載は以下のようになる。 >>>> >>>> >>>>fencing_topology >>>>prod-db01: prmHelper2-1 prmLibvirt2-2 \prod-db02: prmHelper1-1 prmLibvirt1-2 >>>> >>>> >>>>この認識で間違いないでしょうか？ >>>> >>>> >>>>以下crmファイル抜粋 >>>>node1: prod-db01 (仮想マシン名：pco001-prod-db01) >>>> >>>>node2: prod-db02 (仮想マシン名：pco001-prod-db02) >>>> >>>>======== >>>> >>>>### Group Configuration ### >>>>group grpStonith1 \ prmHelper1-1 \prmLibvirt1-2group grpStonith2 \ prmHelper2-1 \prmLibvirt2-2### Fencing Topology ###fencing_topology \prod-db01: prmHelper2-1 prmLibvirt2-2 \prod-db02: prmHelper1-1 prmLibvirt1-2 >>>>### Primitive Configuration ###primitive prmHelper1-1 stonith:external/stonith-helpe r \params pcmk_reboot_retries=1 \pcmk_reboot_timeout="40s" \hostlist="pco001-prod-db01" \ >>>>dead_check_target="＜prod-db01 で使用しているIPアドレス全て＞" \ >>>>standby_check_command="/usr/s bin/crm_resource -r vip-slave -W | grep -qi `hostname`" \run_online_check="yes" \〜省略〜 >>>> >>>> >>>>primitive prmLibvirt1-2 stonith:external/libvirt \params hostlist="pco001-prod-db01" \ >>>>hypervisor_uri="vpx://<vCente rServerIP>/dc1/cluster1/<esxi host名>/?no_verify=1" \ >>>>〜省略〜 >>>> primitive prmHelper2-1 stonith:external/stonith-helpe r \ params pcmk_reboot_retries=1 \ pcmk_reboot_timeout="40s" \ hostlist="pco001-prod-db02" \ >>>>dead_check_target="＜prod-db02 で使用しているIPアドレス全て＞" \ >>>>standby_check_command="/usr/s bin/crm_resource -r vip-slave -W | grep -qi `hostname`" \ run_online_check="yes" \ 〜省略〜 >>>> >>>> >>>> >>>>primitive prmLibvirt2-2 stonith:external/libvirt \ params hostlist="pco001-prod-db02" \ >>>>hypervisor_uri="vpx://vCenter ServerIP/dc1/cluster1/<esxi host名>/?no_verify=1" \ >>>> 〜省略〜 >>>> >>>> >>>> >>>>### Resource Location ### >>>>location rsc_location-grpStonith1-3 grpStonith1 \ rule -INFINITY: #uname eq prod-db01 location rsc_location-grpStonith2-4 grpStonith2 \ rule -INFINITY: #uname eq prod-db02 >>>>===== >>>> >>>>以上、よろしくお願い致します。 >>>> >>>> >>>> >>>> >>>>2016年9月29日 12:05 豊田昌子 <m-toy****@enris*****>: >>>> >>>>山内様 >>>>> >>>>> >>>>>お世話になっております。豊田です。 >>>>> >>>>> >>>>>hostlist とresetの対象名を仮想サーバのホスト名からvmwareの 仮想マシン名に変更したところ、 >>>>>再起動が成功しました。 >>>>> >>>>> >>>>>===== >>>>>stonith -t external/libvirt hostlist='pco001-prod-db02' hypervisor_uri='vpx://<vCenter ServerIP>/dc1/cluster1/<esxi host名>/?no_verify=1' -T reset pco001-prod-db02 >>>>> >>>>>external/libvirt[3231]: notice: Domain pco001-prod-db02 was stopped >>>>>external/libvirt[3231]: notice: Domain pco001-prod-db02 was started >>>>>===== >>>>>virsh のlist --allで表示されるマシン名を指定するということがわかりま した。 >>>>> >>>>> >>>>>障害発生時、再起動ではなく、停止させたい場合、 >>>>>crmファイル上ではどのように設定すればよいでしょうか？ >>>>> >>>>> >>>>> >>>>> >>>>>2016年9月29日 9:51 豊田昌子 <m-toy****@enris*****>: >>>>> >>>>>山内様 >>>>>> >>>>>> >>>>>>お世話になっております。豊田です。 >>>>>>ご回答ありがとうございます。 >>>>>> >>>>>> >>>>>>reset_method="reboot" を外して試してみましたが、同じ結果になりました。 >>>>>> >>>>>>（エラーコードは違うようです） >>>>>> >>>>>> >>>>>>stonith -t external/libvirt hostlist=“prod-db02" hypervisor_uri=“vpx://<vCenter ServerIP>/dc1/cluster1/<esxi h ost名>/?no_verify=1" -T reset prod-db02 >>>>>> >>>>>>external/libvirt[14102]: ERROR: hostlist or hypervisor_uri missing; check configuration >>>>>>CRIT: external_reset_req: 'libvirt reset' for host prod-one-db02 failed with rc 1 >>>>>>ひとまず、virDomainReset APIの内容を確認してみたいと思います。 >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>>>>>2016年9月28日 18:11 <renay****@ybb*****>: >>>>>> >>>>>>豊田さん >>>>>>> >>>>>>>こんばんは、山内です。 >>>>>>> >>>>>>>すいません、誤記がありました。 >>>>>>> >>>>>>>> #http://libvirt.org/hvsupport. html の、virDomainRebootのAPIが相当しているはず 。。。 >>>>>>> >>>>>>> >>>>>>>で、virDomainResetのAPIの間違いです 。 >>>>>>> >>>>>>>以前、確認しただけですので、ちょっと、記憶が怪しいで すが・・ ・・ >>>>>>> >>>>>>>以上です。 >>>>>>> >>>>>>> >>>>>>> >>>>>>>----- Original Message ----- >>>>>>>> From: "renay****@ybb*****" <renay****@ybb*****> >>>>>>>> To: "linux****@lists*****" <linux****@lists*****> >>>>>>>> Cc: >>>>>>>> Date: 2016/9/28, Wed 18:03 >>>>>>>> Subject: Re: [Linux-ha-jp] libvirt プラグインのパラメータについて >>>>>>>> >>>>>>>> 豊田さん >>>>>>>> >>>>>>>> こんばんは、山内です。 >>>>>>>> >>>>>>>> パラメータの認識については問題はないと思います。 >>>>>>>> 念の為、明日、実機(vSphere5.xですが）で確認してみ ますが・・・ >>>>>>>> >>>>>>>> >>>>>>>> 確か、以前の設定ではreset_methodは指定せずに実行 していたと思います。 >>>>>>>> >>>>>>>> #external/libvirtは、reset_metho d="reboot"の場合、libvirtのrebootコマ ンドを実行しているが、libvirtのrebootはESXi /vCenterは未サポートのはず。。 >>>>>>>> #http://libvirt.org/hvsupport. html の、virDomainRebootのAPIが相当しているはず 。。。 >>>>>>>> >>>>>>>> reset_methodを指定しない場合はどうでしょうか？ >>>>>>>> >>>>>>>> 実際、reset_methodは指定しない場合、off/on 実行となる為、rebootと同じような挙動になる為、問題はな いはずです。 >>>>>>>> >>>>>>>> 以上です。 >>>>>>>> >>>>>>>> >>>>>>>> >>>>>>>> ----- Original Message ----- >>>>>>>>> From: 豊田昌子 <m-toy****@enris*****> >>>>>>>>> To: 山内英生 <renay****@ybb*****>; linux****@lists***** >>>>>>>>> Date: 2016/9/28, Wed 15:45 >>>>>>>>> Subject: Re: [Linux-ha-jp] libvirt プラグインのパラメータについて >>>>>>>>> >>>>>>>>> >>>>>>>>> 山内様 >>>>>>>>> >>>>>>>>> >>>>>>>>> お世話になっております。豊田です。 >>>>>>>>> >>>>>>>>> >>>>>>>>> 教えて頂きましたauth.confを使用し、 virshコマンドでのvCenterServer経由ESXホ ストへの接続が成功いたしました。 >>>>>>>>> >>>>>>>>> 実際にcrmファイルにstonithの設定を行い、IC-LA Nを切断し検証を行ってみたところ、正しく動作しませんでした。 >>>>>>>>> >>>>>>>>> >>>>>>>>> >>>>>>>>> そこで単体で以下のコマンドを実行（prod-db01からpr od-db02を再起動）してみたところ、 >>>>>>>>> ===== >>>>>>>>> stonith -t external/libvirt hostlist=“prod-db02" >>>>>>>> hypervisor_uri=“vpx://<vCenter ServerIP>/dc1/cluster1/<esxi >>>>>>>> host名>/?no_verify=1" reset_method="reboot" -T reset prod-db02 >>>>>>>>> >>>>>>>>> external/libvirt[14448]: ERROR: hostlist or hypervisor_uri missing; check >>>>>>>> configuration >>>>>>>>> CRIT: external_reset_req: 'libvirt reset' for host prod-db02 failed >>>>>>>> with rc 1 >>>>>>>>> ===== >>>>>>>>> "hostlist or hypervisor_uri missing" というエラーになってしまいます。 >>>>>>>>> >>>>>>>>> "hypervisor_uri"については、virsh -c コマンドにて接続し、list >>>>>>>> --allで表示できることを確認済みなので間違いないと思いま すが、 >>>>>>>>> hostlistに指定するノードとreset の対象に指定するノードについて以下の認識で間違いないか確認さ せてください。 >>>>>>>>> >>>>>>>>> >>>>>>>>> >>>>>>>>> hostlist : 強制終了/再起動させたいノード名 >>>>>>>>> hypervisor_uri：hostlistで指定したノー ドがのっているesxiホストを記載 >>>>>>>>> reset の対象：強制終了/再起動させたいノード名（hostlistと 同じ） >>>>>>>>> >>>>>>>>> >>>>>>>>> よろしくお願い致します。 >>>>>>>>> >>>>>>>>> >>>>>>>>> >>>>>>>>> >>>>>>>>> 2016年9月25日 15:37 豊田昌子 <m-toy****@enris*****>: >>>>>>>>> >>>>>>>>> 山内様 >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> お世話になります。豊田です。 >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> 設定ファイルで接続を試してみたいと思います。 >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> 情報をありがとうございました。 >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> 2016年9月23日 18:06 <renay****@ybb*****>: >>>>>>>>>> >>>>>>>>>> >>>>>>>>>>> >>>>>>>>>>> 豊田さん >>>>>>>>>>> >>>>>>>>>>> こんばんは、山内です。 >>>>>>>>>>> >>>>>>>>>>> >>>>>>>>>>> （送信に失敗したように思える為、再送いたします） >>>>>>>>>>> 接続を試す場合には、ユーザ指定、パスワード入力も有効かと思い ますが、 >>>>>>>>>>> 実際の運用では、特にexternal/libvirtではユー ザ指定をvpx文字列には含めていません。 >>>>>>>>>>> >>>>>>>>>>> >>>>>>>>>>> 以前は、auth.confファイルに接続先、接続ユーザ、パス ワードを設定して利用していました。 >>>>>>>>>>> 設定ファイルがある場合、その内容で接続可能となります。 >>>>>>>>>>> >>>>>>>>>>> 以下の内容が参考になるかと思います。 >>>>>>>>>>> >>>>>>>>>>> * http://libvirt.org/auth.htm l >>>>>>>>>>> >>>>>>>>>>> >>>>>>>>>>> >>>>>>>>>>> 以上、よろしくお願いいたします。 >>>>>>>>>>> >>>>>>>>>>> >>>>>>>>>>> >>>>>>>>>>> >>>>>>>>>>> ----- Original Message ----- >>>>>>>>>>>> From: 豊田昌子 <m-toy****@enris*****> >>>>>>>>>>>> To: 山内英生 <renay****@ybb*****>; >>>>>>>> linux****@lists***** >>>>>>>>>>>> Date: 2016/9/23, Fri 12:28 >>>>>>>>>>>> Subject: Re: [Linux-ha-jp] libvirt プラグインのパラメータについて >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> 山内様 >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> お世話になります。豊田です。 >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> vpx 指定箇所の記載について一点、教えてください。 >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> Red Hat Bugzilla 内で下記のようにログインユーザを指定しているのですが、 >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> https://bugzilla.redhat.com/s how_bug.cgi?id=1213348 >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> # virsh -c vpx://root****@10*****/data/1 >>>>>>>> 0.66.144.40/?no_verify=1 >>>>>>>>>>>> >>>>>>>>>>>> Enter root's password for 10.66.145.47: >>>>>>>>>>> Welcome to virsh, the virtualization interactive terminal. >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> ユーザを指定するとパスワードを聞かれてしまうかと思いますが 、 >>>>>>>>>>>> ”hypervisor_uri”の設定項目で、特にユーザを 指定しなくても、 >>>>>>>>>>>> PacemakerのPluginでは正しく処理がされるので しょうか？ >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> 山内さんが過去に運用された時はユーザ指定について、どうされ ましたでしょうか？ >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> 2016年9月12日 18:19 <renay****@ybb*****>: >>>>>>>>>>>> >>>>>>>>>>>> 豊田さん >>>>>>>>>>>>> >>>>>>>>>>>>> こんばんは、山内です。 >>>>>>>>>>>>> >>>>>>>>>>>>> >>>>>>>>>>>>> すいません、前回のコメントですが・・ 私の勘違いで間違いがありました。 >>>>>>>>>>>>> >>>>>>>>>>>>> >ただし、vSphereのHA構成を組んでいるのであれ ば、 どのESXサーバを指定したとしても、 >>>>>>>> クラスタ構成内のゲストのON/OFF状態は >>>>>>>>>>>>>> 確認可能、電源操作可能だったはずです。 >>>>>>>>>>>>>> 確かvpx文字列に含まれるESXサーバが電源OFFでも確認、 操作は可能だったと記憶しています。 >>>>>>>>>>>>> >>>>>>>>>>>>> これは、間違いでした。 >>>>>>>>>>>>> 確認した所、 各vpx文字列内に指定したESXサーバのゲストのみが操作可能 です。 >>>>>>>>>>>>> >>>>>>>>>>>>> 過去に実施したvSphere5.1環境( Pacemakerは1.0系)では、以下の構成、 条件で利用しています。 >>>>>>>>>>>>> >>>>>>>>>>>>> 1)ESXサーバ３台とvCenterサーバ１台で構成。 >>>>>>>>>>>>> 2)vSphere >>>>>>>>>>>>> HAは構成（有効）し、フェイルオーバーホストを１台指定。（ >>>>>>>> フェイルオーバーホストへ配置後のゲストの移動は、保守者介在） >>>>>>>>>>>>> 3)vMotionには対応しない。 >>>>>>>>>>>>> 4)ゲストの配置は、ESXサーバ２台でACT/ STBで初期起動では、固定配置し、 >>>>>>>> Pacemakerでクラスタを構成するが、 Pacemakerは自動起動にしない。 >>>>>>>>>>>>> 例： ゲストRHEL6-01は、ESX01サーバへ配置。 >>>>>>>>>>>>> ゲストRHEL6-02は、ESX02サーバへ配置。 >>>>>>>>>>>>> 5)vSphere >>>>>>>>>>>>> HAでゲストの再起動を待ってからSTONITHは発動させて成 功させる方式。 >>>>>>>>>>>>> →vSphere >>>>>>>>>>>>> HAを利用する場合、 これを行ないとSTONITHが失敗します。 >>>>>>>> これによりアクティブゲストの故障時は、vSphere HAの発動からの再起動待ちが発生する為、 フェイルオーバー時間が掛かります。 >>>>>>>>>>>>> 6)vCenter >>>>>>>>>>>>> Serverの故障には対応しない >>>>>>>>>>>>> →vpx指定の為、vCenter Server故障中は、 ゲスト故障が発生してもSTONITHが失敗します。 >>>>>>>>>>>>> 7)ESXサーバの故障(ダウン、隔離）対応の為に、 stonith- >>>>>>>> helperというSTONITHプラグインを利用する。 >>>>>>>>>>>>> →日本コミュニティ(linux-ha-japan)のpm _ extrasパッケージに含まれています。 >>>>>>>>>>>>> >>>>>>>>>>>>> この設定の為、ゲストのSTONITHの構成のlibvir t( vpxのホスト指定)は、以下のようにしていました。 >>>>>>>>>>>>> 例： ゲストRHEL6-01では、 クラスタを構成する対向ゲストRHEL6-02は、4) >>>>>>>> でESX02サーバに配置される為、 vpx指定でもホストにはESX02を指定。 >>>>>>>>>>>>> ゲストRHEL6-02では、 クラスタを構成する対向ゲストRHEL6-01は、4) >>>>>>>> でESX01サーバに配置される為、 vpx指定でもホストにはESX01を指定。 >>>>>>>>>>>>> >>>>>>>>>>>>> 構成によって色々違いが出てくると思いますのでが、 参考になればと思います。 >>>>>>>>>>>>> >>>>>>>>>>>>> 以上です。 >>>>>>>>>>>>> >>>>>>>>>>>>> >>>>>>>>>>>>> >>>>>>>>>>>>> >>>>>>>>>>>>> ----- Original Message ----- >>>>>>>>>>>>>> From: "renay****@ybb*****" >>>>>>>> <renay****@ybb*****> >>>>>>>>>>>>>> To: "linux****@lists*****" >>>>>>>> <linux****@lists*****> >>>>>>>>>>>>>> Cc: >>>>>>>>>>>>>> Date: 2016/9/12, Mon 05:46 >>>>>>>>>>>>>> Subject: Re: [Linux-ha-jp] libvirt プラグインのパラメータについて >>>>>>>>>>>>>> >>>>>>>>>>>>>> 豊田さん >>>>>>>>>>>>>> >>>>>>>>>>>>>> こんにちは、山内です。 >>>>>>>>>>>>>> >>>>>>>>>>>>>> >>>>>>>>>>>>>>>> vCenterの場合には、vpx指定となります。 >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> リンク先を見ますと、下記のような記載がありますが、 >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> A vpx:// connection is currently restricted to a >>>>>>>> single ESX server. >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> （vpx：// 接続は現在、 1台のESXサーバに限定されている） >>>>>>>>>>>>>>> The path part of the URI is used to specify the >>>>>>>> datacenter and the ESX >>>>>>>>>>>>>> server in it. >>>>>>>>>>>>>>> （URIのパス部分は、 datacenterおよびその中のESXサーバを指定するため に使用される） >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> これはEsxiホスト個別の指定が必要ということでしょうか？ >>>>>>>>>>>>>> >>>>>>>>>>>>>> はい、指定が必要だったはずです。 >>>>>>>>>>>>>> ただし、vSphereのHA構成を組んでいるのであれば、 どのESXサーバを指定したとしても、 >>>>>>>> クラスタ構成内のゲストのON/OFF状態は >>>>>>>>>>>>>> >>>>>>>>>>>>>> 確認可能、電源操作可能だったはずです。 >>>>>>>>>>>>>> 確かvpx文字列に含まれるESXサーバが電源OFFでも確認、 操作は可能だったと記憶しています。 >>>>>>>>>>>>>> >>>>>>>>>>>>>> ＃vCenterServer 6.0でも多分、変わってはいないはずですが・・ >>>>>>>>>>>>>> ＃記憶が曖昧ですので・・・かなり前ですが、 実際に実施した経緯がありますので、 その時の内容を確認してみます。 >>>>>>>>>>>>>> >>>>>>>>>>>>>> >>>>>>>>>>>>>> >>>>>>>>>>>>>>> また、vCenter6. 0への接続は古いドライバでは出来ないことがあるとのことですが >>>>>>>> 、新しいか古いかは何をもって判断できるでしょうか？ >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> 仮想マシン側には、 virshコマンドが使えるようにlibvirt-client >>>>>>>> パッケージをインストールしましたが（version >>>>>>>>>>>>>> 0.10.2-60)、 >>>>>>>>>>>>>>> 一緒にインストールされた依存パッケージの中、 >>>>>>>> もしくはSTONITHプラグイン側にdriverのパッケージ があるのでしょうか？ >>>>>>>>>>>>>>> "libvirt"の文字でパッケージ検索したところ、 >>>>>>>> libvirt-driverなどは表示されませんでした。 >>>>>>>>>>>>>> >>>>>>>>>>>>>> >>>>>>>>>>>>>> この問題のlibvirtの実際の修正は以下で行われいるようで す。 >>>>>>>>>>>>>> * >>>>>>>>>>>>>> http://libvirt.org/git/?p= libvirt.git;a=commit;h= >>>>>>>> 0396394f027edb5fa70514a0d11fa6 2ea7281bd9 >>>>>>>>>>>>>> >>>>>>>>>>>>>> >>>>>>>>>>>>>> この修正が含まれたバージョンのlibvirtを利用する必要が ありますが。。 >>>>>>>>>>>>>> 実際にコマンドラインのバージョン確認などでは、 ドライバのバージョンを確認する手段はないようです。 >>>>>>>>>>>>>> （ESXに対応されているかどうかは、 vishのVオプションで表示可能ですが、 >>>>>>>> その先の詳細は出せないようです） >>>>>>>>>>>>>> >>>>>>>>>>>>>> libvirt本家とRHELのlibvirtのソースが全く同 じではないはずですが（ >>>>>>>> RHELは個別にパッチを適用することがあります）、 libvirt本家の0.10.2のソースを見る限りでは、 >>>>>>>>>>>>>> 先の修正が入っていない為、vCenter6. 0接続は出来ないと思われます。 >>>>>>>>>>>>>> * http://libvirt.org/git/?p= >>>>>>>> libvirt.git;a=blobdiff;f=src/ esx/esx_driver.c;h= af567d20069dc89ec1e5d91631ea6b >>>>>>>> 5e47cf9974;hp= 0770e89200d4baacc3fdc3631488a7 a293cc9645;hb= >>>>>>>> 0396394f027edb5fa70514a0d11fa6 2ea7281bd9;hpb= 01b4de2b9f5ca821e341166210161f >>>>>>>> 53552f5d60 >>>>>>>>>>>>>> >>>>>>>>>>>>>> 本家のソースを見る限り、修正が含まれるのはlibvirt 1.2.11以降となるようです。 >>>>>>>>>>>>>> (RHELも個別にパッチが適用されているとしても、 同じバージョンあたりが動作可能と思われます） >>>>>>>>>>>>>> >>>>>>>>>>>>>> 以上です。 >>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> 以上です。 >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> ご教示いただけましたら助かります。 >>>>>>>>>>>>>>> よろしくお願い致します。 >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> 2016年9月10日 7:53 <renay****@ybb*****>: >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> 豊田さん >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> おはようございます。山内です。 >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> hypervisor_uriですが、基本的には、 libvirtの仕様のまま利用できます。 >>>>>>>>>>>>>>>> vCenterの場合には、vpx指定となります。 >>>>>>>>>>>>>>>> (詳細は、以下を参照してください） >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> * https://libvirt.org/drvesx. html >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> ただし、１点気になるのがRHEL6. 7上のlibvirtのESXi/ >>>>>>>> vCenter用のドライバで、 >>>>>>>>>>>>>>>> vCenter6. 0への接続は古いドライバでは出来ないことがあります。 >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> この場合は、新しいドライバを含んだlibvirtに更新・ 変更する必要があります。 >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> 以上です。 >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> ----- Original Message ----- >>>>>>>>>>>>>>>>> From: 豊田昌子 >>>>>>>> <m-toy****@enris*****> >>>>>>>>>>>>>>>>> To: linux****@lists***** >>>>>>>>>>>>>>>>> Date: 2016/9/9, Fri 12:14 >>>>>>>>>>>>>>>>> Subject: [Linux-ha-jp] libvirt >>>>>>>> プラグインのパラメータについて >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> お世話になります。豊田と申します。 >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> 現在VMware仮想環境上にDBクラスタサーバを構築し、 >>>>>>>>>>>>>>>>> STONITHプラグイン(stonith-helper, >>>>>>>> libvirt)を使用しています。 >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> [環境] >>>>>>>>>>>>>>>>> vCenterServer 6.0 >>>>>>>>>>>>>>>>> RHEL6.7 >>>>>>>>>>>>>>>>> pacemaker-1.1.13-1 >>>>>>>>>>>>>>>>> corosync-2.3.4-1 >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> libvirtプラグインのパラメータ「 >>>>>>>> hypervisor_uri」の設定で教えてください。 >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> この項目は、 仮想マシンが起動しているホストマシンのアドレスを記載すること >>>>>>>> になっていますが、 >>>>>>>>>>>>>>>>> VMware仮想環境でvSphere >>>>>>>> HAが発生した際、Esxiホストが変更になりますので、 >>>>>>>>>>>>>>>>> crm configの記載の変更、再読み込みが発生します。 >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> それを避けるため、ホストのアドレスではなく、 >>>>>>>> vCenterServerのIPアドレスを >>>>>>>>>>>>>>>>> 記載することを考えています。 >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> vCenterServerはWindowsサーバですので、 >>>>>>>> 同様にプラグインが正しく動作するのかどうか、 >>>>>>>>>>>>>>>>> また可能な場合、記載方法は以下でよいのかどうか。 >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> <設定箇所抜粋> >>>>>>>>>>>>>>>>> hypervisor_uri="qemu+ssh://< >>>>>>>> vCenterServer IP>/" >>>>>>>>>>>>>> \ >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> ご教示頂けましたら幸いです。 >>>>>>>>>>>>>>>>> よろしくお願い致します。 >>>>>>>>>>>>>>>>> _____________________________ >>>>>>>> __________________ >>>>>>>>>>>>>>>>> Linux-ha-japan mailing list >>>>>>>>>>>>>>>>> Linux****@lists***** >>>>>>>>>>>>>>>>> http://lists.osdn.me/mailman/ >>>>>>>> listinfo/linux-ha-japan >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>>> ______________________________ >>>>>>>> _________________ >>>>>>>>>>>>>>>> Linux-ha-japan mailing list >>>>>>>>>>>>>>>> Linux****@lists***** >>>>>>>>>>>>>>>> http://lists.osdn.me/mailman/ >>>>>>>> listinfo/linux-ha-japan >>>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>>> >>>>>>>>>>>>>> >>>>>>>>>>>>>> ______________________________ _________________ >>>>>>>>>>>>>> Linux-ha-japan mailing list >>>>>>>>>>>>>> Linux****@lists***** >>>>>>>>>>>>>> http://lists.osdn.me/mailman/ listinfo/linux-ha-japan >>>>>>>>>>>>>> >>>>>>>>>>>>> >>>>>>>>>>>>> ____________________________ __ _________________ >>>>>>>>>>>>> Linux-ha-japan mailing list >>>>>>>>>>>>> Linux****@lists***** >>>>>>>>>>>>> http://lists.osdn.me/mailman / listinfo/linux-ha-japan >>>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>>> >>>>>>>>>>> >>>>>>>>>>> ______________________________ _________________ >>>>>>>>>>> Linux-ha-japan mailing list >>>>>>>>>>> Linux****@lists***** >>>>>>>>>>> http://lists.osdn.me/mailman/l istinfo/linux-ha-japan >>>>>>>>>>> >>>>>>>>>> >>>>>>>>> >>>>>>>>> >>>>>>>>> >>>>>>>> >>>>>>>> ______________________________ _________________ >>>>>>>> Linux-ha-japan mailing list >>>>>>>> Linux****@lists***** >>>>>>>> http://lists.osdn.me/mailman/l istinfo/linux-ha-japan >>>>>>>> >>>>>>> >>>>>>>__________________________ ____ _________________ >>>>>>>Linux-ha-japan mailing list >>>>>>>Linux****@lists*****. me >>>>>>>http://lists.osdn.me/mailm an/l istinfo/linux-ha-japan >>>>>>> >>>>>> >>>>> >>>> >>>> >>>> >>> >>>______________________________ _________________ >>>Linux-ha-japan mailing list >>>Linux****@lists***** >>>http://lists.osdn.me/mailman/l istinfo/linux-ha-japan >>> >> > > >
Fork