閲覧
ヘルプ
サインイン
未解決
この投稿は5年以上前のものです
fh321Wvd731186461159463
166 メッセージ
6
11524
2018年3月8日 21:00
VxRailのUpgradeを調整する際に、互換性や注意点などがあれば教えてください。
レスポンス(20)
3
■DRS無効
DRSが無効な場合、Upgradeに伴うvMotionをお客様が手動で実施頂く必要がありますので、Upgrade中は有効化とされることを推奨。
または、DELL-EMCエンジニアより作業開始前にDRSをonに変更させて頂きます(作業後offに戻します)。
■VxRail Manager VMの容量問題
Upgradeファイルが配置されるファイルシステムの空き容量が少なくなっており、Upgradeに失敗する可能性があります。
念のため、事前の容量開放をお勧め致します。
■Loginsight互換性問題
Loginsightバージョン2.5はVxRail4.0.302との互換性がありません。
VMwareのサイトからLoginsightの互換性が確認できませんでした。
使用される場合はLoginsight 3.0 or newerへのUpgradeが必要です。
LoginsightのUpgradeはお客様作業となりますので、下記手順をご確認頂き、アップグレード実施ください。
手順は以下ご参考願います。。
https://pubs.vmware.com/log-insight-30/index.jsp?topic=%2Fcom.vmware.log-insight.administration.doc%2FGUID-A18FA2DE-8D01-4AD4-A501-B94C62C37B60.html
また、必要なパッケージは以下からDownload可能です。
https://my.vmware.com/jp/web/vmware/details?productId=540&downloadGroup=VRLI-300
■VDPとの互換性問題
VDPのVersion6.1.1はESXiのVersion(6.0 U3)との互換性がなくなる為、VxRailをUpgradeする前にVDPをアップグレードする必要があります。
VDPのUpgradeはお客様ににて実施して頂く内容となっています。
#### １．VDPアップグレードの方法（マニュアル等）
VDP 6.0の管理者ガイドに記載のあるUpgrade手順にて実施可能です。
・管理者ガイド VDP 6.0
https://docs.vmware.com/en/VMware-vSphere/6.0/vmware-data-protection-administration-guide-60.pdf
またVMwareのものではありませんが、以下のサイトもご参考になるかと思います。
• http://d.hatena.ne.jp/b3g/20170320
• https://www.vladan.fr/how-to-upgrade-vdp/
#### ２．VDPアップグレード時の影響範囲
Upgrade中はバックアップやリストアなどのオペレーションができなくなります。
#### ３．VDPアップグレード作業の想定時間
Upgrade自体に1-4時間ほどかかります。
前後の作業がスムーズに進んだ場合でもプラスして1時間は必要となりますので、
2時間~5時間程度（トラブル無の場合）必要となります。
弊社ラボ内で実施した際は、小さなVDPでしたが、UpgradeファイルのUploadとデータ整合性チェックに時間がかかったため、4時間必要でした。
事前にUpload～整合性チェックまでは実施されておくほうがよろしいかと思います。
■ESXiバージョンアップによる他のvirtual applianceとの互換性
外部内部VCSAに関係なく、VxRail の管理VM以外の互換性は弊社側では確認できないのです。お手数ですが、お客様側にてご確認頂く必要がございます。
【Upgrade作業時に必要な情報】
・VxRail Manager root ユーザパスワード
・vSphere web client 管理ユーザ名およびパスワード
・vCenter root ユーザパスワード
・ESXi root ユーザパスワード
・PSC root パスワード
DELL-Naoyuki K
4 Operator
•
1.7K メッセージ
1
2018年4月3日 18:00
■Upgrade後に発生する問題
・Internal ESRSについて
#4.5.x
Internal ESRSVEを利用している際にVxRailを4.0から4.5にUpgradeするとInternal ESRSVEがMissingになります。
Dell EMC KB#514074で報告されています。
KB内のWorkAround2ではESRSVEの再構築となっていますが、UpgradeをしてもESRSVEの内部イメージは更新されないため、出荷Versionが4.0.200以下だった場合は再構築に失敗します。
可能な限りWorkAround1で対処してください
＝＝＝＝ 2018/08/29 追記 ＝＝＝＝＝
こちらのInternal ESRSの問題はSolveの手順書でフォローされているので、手順書に準拠する限り問題ありません。
・VxRail Manager GUIの表示について
※VxRail Manager GUIの表示がおかしくてもVSANのヘルスチェックで正常であれば、あくまでも表示上の問題ですので軽微な事象です。
Detecting Cluster…と表示される事象
#Physical View #4.0.402 #4.5.152 or later from 4.0.310 or earlier
KB#517463で報告されています
いくつかのNodeがLOSTや消失の状態となる事象
#Physcal View #Quanta #4.5.152
以下のKBで報告されています。
KB#519963 Level 40 （パートナーまで閲覧可能）
KB#491067 Level 40 (Partner)
KB#519459 (idrac credential の Reset)
Node追加やNode交換ができない
# 4.5.150 or later
KB#519914 Level 40(partner)
KB#519884 Level 40 (partner)
その他Physical ViewのトラブルシューティングKB
KB#519714 for Quanta Level 40
KB#519762 for Dell Level 40
・vCenter側での事象
"Retrieve IPMI SEL request to host failed" と表示される事象
#webclient #4.5.150
KB#517853
・Proxy関連
4.0.310以降でProxyサーバの登録が可能になっていますが、いくつかの条件を満たさないと使用できません。
詳細はKB#517887 を確認ください
・その他
kwmt
877 メッセージ
2
2018年4月3日 19:00
経験上の覚え書きですが、長期間稼働続けているもの（アップグレードしていなかった環境）は
VxRail Managerのメモリがファイルシステムキャッシュでいっぱいでアップグレードパッケージのアップロードに失敗したことがあります。この場合はVMの再起動で対処可能です。
同じく、ESXiも長期稼働し続けている場合（Uptimeが1年超えなど）は、事前にESXiを再起動しておいたほうが良いです。
0
2018年4月10日 00:00
・VxRAIL上で稼働中の仮想マシンへの影響
仮想マシンの退避は発生しますが、自動か手動かはライセンスと設定に依存します。
こちらはpre check時に弊社担当が確認し、結果を回答いたします。
なお、手動での移動が必要な場合はお客様にて作業をご実施いただく形となります。
その場合は、Upgrade中にvMotionが必要となったタイミングでお客様にお知らせして実施いただく形になります。
・vSphereと連携するVMware/3rd Party Solutionを使用してる場合の注意
お客様側で使用しているvSphere と連携するVMware / 3rd Solutionのアップグレードが
事前もしくは事後に必要になる可能性があります。
VX Rail関連のバージョンにVMware Solutionが対応しているか否かは以下をご確認いただけます
https://partnerweb.vmware.com/comp_guide2/sim/interop_matrix.php
例：VDP 6.1.3以下をご利用の場合は4.5.152にUpgradeするまえにVDPを6.1.4以上にUpgradeする必要があります。
NSX 6.2をご利用の場合は4.5.152にUpgradeするまえに6.3以上にUpgradeする必要があります。
3rd Party Solutionにつきましては各ベンダに互換性をご確認ください。
VX Rail関連のバージョン情報詳細はこちらをご参照ください。
https://support.emc.com/docu82227_VxRail-Support-Matrix.pdf
■VxRail Upgradeの作業時の影響について
- システム停止必要かOnlineで実施可能か
Upgradeに際し、VxRail Manager/VCSA/PSCは再起動をいたします。外部VCの場合、VCのUpgradeはDell EMCの作業範囲外なのでVxRail Upgrade作業によって外部VCの再起動は発生しません。
ESXiにもRebootが発生しますが、仮想マシンは必要に応じてvMotionで別のNodeに退避しますので仮想マシンレベルでのサービス停止はありません。
- vMotionを行うのもEMC作業範疇か
DRSが有効な場合はは自動でvMotionされるため、vMotion作業は発生しません。
DRSによる自動vMotionが使えるかどうかに関してはお客様環境（ライセンスと設定）に依存しますが、手動でvMotionが必要な場合の作業範疇はお客様となります。
その場合、Dell EMC作業員と連携し、vMotionが必要なタイミングで実施いただきます。
Upgradeの1~2週間前にPrecheck作業がありますが、その際にライセンスや設定情報からDRSの有効化有無を確認させていただきます。
1. ESXiのライセンスについて
‐Enterprise plusの場合は、DRSが有効化されていれば、メンテナンスモード移行時に自動でvMotionが発生しますので作業範疇の区分はありません
‐Standard（ROBOやDesktopも）の場合は、メンテナンスモード移行時に手動でvMotionを実施する必要があり、お客様の作業範疇となります
※その他のライセンスをお使いの場合は以下のサイトなどからサポートする機能をご確認
https://www.networld.co.jp/product/vmware/pro_info/vsphere/edition/latest/
2. 設定に関して
お客様によって仮想マシンとESXiにアフィニティルールなどの制御設定をしている事があります
そういったものに関してはEnterprise plusでもvMotionで自動で移動できないため、
事前に仮想マシンのShutdownや設定解除をお客様にて実施していただく必要があります
また、vMotionをサポートしていない仮想マシン（GuestIntrospectionで使用されるUSVMやSVMなど）を使用している場合もありますが、これらの管理に関してもお客様範疇となります
2018年4月10日 01:00
■ Upgrade作業形態について
・どのようにUpgradeを実施するか。
WebEx経由でのUpgradeとなります。
ESRS経由でのUpgradeは実施できない製品です。
WebEx経由でのUpgrade不可のお客様は有償でDell EMCエンジニアがオンサイト作業にてUpgradeします。
・Upgradeファイルの事前準備
Upgradeで使用するファイルは事前にお客様にダウンロードしていただく必要がございます。
Upgrade１～２週間前のPrecheck後に担当者からUpgradeファイルのダウンロードを案内されます。
案内されましたら対象のファイルを当日の作業用WebEx端末に配置してください
■ Upgrade作業の段取りについて
<アップグレード作業段取りについて>
本アップグレードにつきましては、以下のプロセスにてWebex経由のリモート作業として実施します。
① 事前チェック作業 (約1.5～2時間程)
アップグレード作業の実施1～2週間前に事前に機器のヘルスチェック、構成の確認等を行います、システムへの影響はございません。
② ファイル転送作業 (お客様にて実施頂きます)
事前チェック作業完了後、担当エンジニアよりアップグレードについての詳細プランと、アップグレード時に使用するファイルのURLをご案内させていただきますので、アップグレード作業日までに機器へのファイルのアップロードをお客様にてご対応をお願いいたします。
③ アップグレード作業
平均で約5～8時間程を見込んでおりますが、構成状況により変動する可能性があります。詳細につきましては事前チェック後に詳細なアップグレードプランをご案内させて頂きます。
アップグレード作業時にNode（ESXi）の再起動が発生いたしますが、vMotionによる退避が可能ですので仮想マシンの停止はございません。ESXiの再起動中は一時的にVSANデータストア上のデータの可用性が低下しますが、データへのアクセスは継続されます。
可用性低下が許容できない場合は事前にご相談ください。
※リモート作業が不可の環境の場合はお客様ご自身でアップグレード作業を実施していただくか、オンサイトアップグレード作業として有償にて承る事も可能です。
アップグレード作業可能な日程が決まりましたらDell EMCのサポート担当者にご連絡ください。調整には10~15営業日頂いておりますので余裕をもってご連絡をお願いいたします。
年末年始や年度末、大型連休などの際はUpgrade繁忙期となりますので、お客様のご希望に添えない可能性がございますが、可能な限り善処させていただきます。
■作業時間について
- 作業時間目安について(そもそもNode数によって時間は変わりますか？)
1 Node(ESXi) 毎にUpgrade(reboot)を実施するため、作業時間はNode数で変化します
Japanでの平均的な案内時間は5-8時間です。（トラブルなしの想定）
Upgrade1~2週間前の Pre-checkにて環境を確認しますので、Precheck後に再度案内があるかと思いますが、小規模環境（3~8 Node）であれば大体は5-10時間で収まります。
またSource・TargetのVersionの組み合わせや、Dell / Quantaによって、修正内容が異なりますので、所要時間に差が出ます。
一般的にDell ModelのほうがよりもQuanta Modelのほうが長時間かかります。Dell ModelのほうがFirmware（BIOS・iDRAC・HBA）のUpgradeが必要になることが主な理由です。
※Fimware Upgrade 有無は実際のVersionに依存します。かならず発生するわけではありません
■ 作業時間実績ベースのサンプル
※いかに紹介するのは過去実際にあったUpgradeの作業時間です
・サンプル１
Quanta VxRail200 20Node構成
Source Version 3.5
Target Version 4.0.302
所要時間 約8時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
・サンプル２
Dell Model 16Node構成
Source Version 4.5.070
Target Version 4.5.152
所要時間 約15時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
・サンプル３
Dell Model 32Node構成
Source Version 4.5.101
所要時間 約22時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
・サンプル ４
Dell Model P470F 4 Node構成
Source Version 4.0.301
※ VSANのVersionが上がるため、Disk FormatのUpgradeが発生する。15時間のうち、Disk FormatのUpgradeは13時間。
・サンプル ５
Dell Model 3 Node構成
Source Version 4.0.150
所要時間 約3時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
・サンプル 6
Dell Model 8 Node構成
Source Version 4.0.302/310混在
Target Version 4.0.402
所要時間 約19時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
※トラブル対応に起因するリトライで長時間かかった。トラブルがなければ10時間程度であった想定
・サンプル 7
Dell Model 4 Node構成
Source Version 4.0.300
Target Version 4.0.400
所要時間 約6時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
※KB#513675の対応（Firmwareの事前手動Upgrade）を実施した。6時間中、事前FW Upgradeに2.5時間かかった
・サンプル8
Dell Model E Series７ Node構成
Source Version 4.0.400
所要時間 約１１時間（ファイルアップロードからヘルスチェックおよびSystem VMの再起動（Intel脆弱性）、およびトラブル対応含む※KB#517613 の対応と、Node Missingが発生に伴うidrac/ptagentの再起動あり。Retryは２回。
・サンプル9
Dell Model E Series １２ Node構成
所要時間 約 ３５時間 （半分くらいはトラブルシューティングの時間でした。）
※HBA Missingに伴うオンサイトが発生。その他軽微は事象が発生。
・サンプル10
Dell Model E Series 4 Node構成
所要時間 約9時間 （途中で2時間のトラブルシューティングあり）
・サンプル11
Dell Model E Series 3 Node構成
Target Version 4.5.210
所要時間 約 12時間 （トラブルシューティングによる手動Upgradeを含む）
・サンプル12
Quanta Model 4 Node構成
Source Version 4.0.132
所要時間 8時間（実作業4時間程度、トラブルシューティング4時間程度）
※Node当たり約10分で終了
・サンプル13
所要時間 7時間 トラブルなし
※Node 当たり 1時間半
・サンプル14
Dell E560 5 Node構成
Source Version 4.5.152
Target Version 4.5.211
所要時間 14時間 ※トラブルあり（vMotionできないVM、BIOSの手動Update）
※Node 当たり1時間半
・サンプル15
Dell 8 Node構成
所要時間 15時間
※Nodeあたり1時間半
・サンプル 16
Dell 4 Node構成
Source Version 4.0.3xx
Target Version 4.5.212
所要時間 12時間(KB#504039に該当する不具合あり)
※Node 当たり1時間半 ＋KB対応
■ Upgrade作業時間を延ばしてしまう要因例
■ Upgradeを少しでも短くしたい場合（Dell Model）
iDRACのUpgradeを手動で行うことでその分のUpgrade時間を短縮できる見込みです。
実施に際してはDell EMCサポートにご相談ください。
KB#520492
■Upgrade作業前のVMのバックアップについて
Upgrade作業前にVxRail ManagerとVCSAとPSCのバックアップを必ずとってください。
作業直前には同３VMのスナップショットを忘れずに取得してください。
スナップショットについてはUpgradeの安定動作を確認の上、削除してください。消さない場合仮想マシンのパフォーマンス低下につながる可能性がありますが、VSAN データストア上のスナップショットは従来のVMFS スナップショットと比べてパフォーマンス影響はほとんどないといわれています。通常業務に影響が出なければ消さなくても問題ありません。
2018年4月11日 03:00
Level 50 troubleshooting (社内のみ)
VxRail: Troubleshooting guide for LCM
Article Number 000519411
https://support.emc.com/kb/519411
2018年4月12日 18:00
Quanta VxRail upgrade from 3.5 to 4.0.x or later
VxRail: 4.0 upgrade hung on Manager upgrade task
Article Number 000494438
※AD統合環境は注意
2018年4月13日 01:00
Intel CPU 脆弱性前後で必要な作業について
Upgrade From: prior to 4.0.402/4.5.152Upgrade To: 4.0.402/4.5.152 or later
HW: ALL (Phoenix & Quanta & Dell)
■Upgradeの前に必要な作業 ※外部VCの場合のみ。
外部VCを利用している場合はVxRailのUpgradeよりも先に外部VCを以下のVersionにUpdateしてください。
VxRail 4.5の場合 vCenter 6.5 U1g
VxRail 4.0の場合 vCenter 6.0 U3e
!!!!!! 注意 !!!!!!!!
外部VC構成で現在VxRail 4.0.302以下を利用している環境を4.5.152へUpgradeしたい場合は2段階でのUpgradeが必要です。
VxRail4.0.302以下のVersionではvCenter 6.5をサポートしていないためです。
手順例：
１．外部VCを vCenter 6.0 U3e にUpgradeする
２．VxRailを4.0.402にする
３．外部VCをvCenter 6.5 U1gにUpradeする
４．VxRailを4.5.152にする
■Upgradeの後に必要な作業
VxRail: Virtual Machines need to be power cycled for branch target injection mitigation (Spectre v2) to take effect
Article Number 000519601
Reference:
VMware KB https://kb.vmware.com/s/article/52245 and https://kb.vmware.com/s/article/52085
Internal ESRSVEを使用している場合は上記に加えて、ESRSVE VMが3.26.10以上である必要があります。
VDPを利用している場合はVDPのVersionが6.1.8以上である必要があります。
VMSA-2018-0007.3
2018年4月14日 10:00
■ Upgrade前に確認したほうがいいこと
### Version
Upgrade前と後のVxRailのvSphereのVersion（VCSA/ESXi）を確認しましょう。
### Clusterの設定
・DRSの完全自動化が有効か否か。
有効でない場合はお客様による手動vMOTIONが必要
・HAが有効か否か。
4.0.x→4.5.xへのUpgradeではHAが有効でないとUpgradeに失敗する
KB#520353
### Upgrade対象のVM・対象でないVM
VxRailのUpgrade作業によってUpgradeされるコンポーネントは以下です。
※お客様にてUpgradeやパッチ適用することは認められません
・ESXi
・VSAN
・VCSA/PSC（外部VCの場合は除外）
・Firmware （BIOS,iDRAC,HBAなど、Versionやモデルに依存します。）
・VxRail Manager VM
Upgradeされないものは以下です。
※UpgradeはVersion管理（互換性など）はお客様管理になります。
・VDP
・RP4VM
・CloudArray
・Loginsight
・ESRS
・既存VMのHardwareVersion（Intel CPUの脆弱性の対応で必要です）
・ESRSの内部イメージ（内部イメージは出荷時から変わりません）
・ESXiのファクトリーイメージ（出荷時から変わりません）
・その他vSphereと連携するDell EMC製品（UnityVSA、IsilonSD Edge、AvamaerVEなど）
・その他vSphereと連携するSolution（NSX/VDI/vRanger/vSphere Replicationなどや、その他3rdパーティ製品すべて）
### System VM
・空き容量
System VM（VCSA/PSC/VxRail Manager）のroot filesystemの空き容量を確認してください。
df -h コマンドで確認できます。
空き容量が足りないとUpgradeに失敗することがあります。
50％以上の空き容量があれば大丈夫です。
・バックアップ
バックアップは必ず事前に取りましょう。
スナップショットも取りますがそれだけでは不測の事態に備えられません。かならずバックアップも取りましょう。
VxRail Managerは4.0.400/4.5.150以降であればファイルベースのバックアップを取っておけば大丈夫です。
VCSA/PSCについてはVMイメージのバックアップを取りましょう。
vSphere 6.5から追加されたVCSA/PSCのファイルベースバックアップは避けましょう。
VMイメージのバックアップが難しい場合はVCSA/PSCのOVFテンプレートをExportしましょう。
・root/managementユーザパスワードの期限切れ確認
デフォルトではVCSAとPSCのrootパスワードは365日で期限切れになります。
期限切れの状態では更新するまでUpgradeが行えません。
事前に確認しておきましょう。
VxRail 3.5などrootパスワードの変更が認められていないVersionの場合は、事前に無期限に設定するか、変更して再度同じPasswordに戻す必要があります。
VCSA/PSCはパスワードを5世代まで記録していますので5回変えればもとのパスワードに戻せます。
対象となるユーザは以下です。
・VCSAのrootパスワード
・PSCのrootパスワード
・PSCのmanagement ユーザパスワード
※パスワードを無期限に設定したとしてもUpgradeによって365に戻されることがありますので365以上前のパスワードは必ず一度更新してください。
・CD/DVDがマウントされていないか、正常にマウントできるか。
CD/DVDとしてISOファイルが接続されている場合は切断してください。
仮想マシンにFloppyDiskなど余計なデバイスが接続されていた場合も失敗します。（KB#520318）
### ESXi
・再起動
可能であればUpgrade作業日の1週間前程度に全ESXiの再起動をしましょう。
vMotionで移行しながら1台ずつ実施すればVMの稼働は維持できます。
事前に再起動することで、再起動に伴って発生する障害に事前に気づくことができます。
また、vMotionできないVMをこの段階で発見でき、作業日までに対策を準備することができます。
・VSANのリビルドタイマーの延長
VersionによってはUpgrade中にVSANのリビルドが発生してしまうことがあります。
デフォルトの60分だと足りない場合があるので事前にタイムアウト値を増やしておいて、
作業後に元に戻しましょう。
https://kb.vmware.com/kb/2075456
Dell ModelでFirmwareの更新（BIOS,iDRAC,HBA）を含むUpgradeの場合、各ホストにつき1時間以上のダウンタイムが発生する可能性があります。
事前にClomRepairDelayを伸ばしておきましょう。
・ESXiの管理サービスの健全性を確認
すべてのHostでVMの作成と削除が可能なことを確認しましょう。
アフィニティルールのないVMですべてのNodeにvMotion可能なことを確認しましょう
・/bootbank/imgdb.tgzのバックアップ
EMCKB#494822 の事象に遭遇する可能性があります。
Last Nodeで発生すると復旧できないので、一つでいいので健全なimgdb.tgzを取っておきましょう
・iDRACのユーザを確認（Dell Model Only）
iDRACユーザが文字化けして、Upgradeできなくなる事象が報告されています。
事前にご確認ください
EMC KB#517613
・VxRail Manaer DBの手動修正
3.5以前に出荷さればVersionで、4.5.150/152にUpgradeした場合に発生します。
EMC KB#518362
4.5.210でFixの予定
・Reboot後の自動的なMM Exitを回避
4.0.300/301 がソースVersionの場合に発生
実施しない場合はUpgradeがFailします
発生してしまった場合はvmware-fdmを手動起動し、chkconfigもonにして、MM～再起動。
再起動後にNot respondingとなる場合はvcsa のサービスrestart
KB#502918
### 作業用端末
・アップグレードファイルのUpload
お客様環境に依存して、稀にVxRail UpgradeファイルをVxRail ManagerにUploadできない場合がございます。
Precheck後に指定されるファイルを端末にご準備いただきましたら、お早めにUpload可否をお試しください
・必要なツールが準備されているか
WebClientに接続できるブラウザ
仮想コンソールを起動できるJava （Version 8 以降推奨）
SSH Client （Teraterm/Puttyなど）
SCP/SFTPクライアント（WinSCPなど）
・必要なポートが開いているか
Webclient（vCenter）
HostClient（ESXi）
SSH/SCP（VCSA/PSC/VxRail Manager/ESXi/iDRAC）
BMC/iDRAC GUI
BMC/iDRAC 仮想コンソール
### vMotion関連
・vMotionできないVMの例
Guest Introspection (USVM)
TrendMicro DeepSecurity (SVM)
CD/DVDを使用しているVM
アフィニティルールなどで特定のホストに紐づけているVM
共有ストレージ上にないVM
vMotionによって互換性が維持できなくなるVM（EVCやHardwareVersionに依存する問題など）
※precheck時に可能な限り確認させていただきますが、確実にvMotionできる保証はありません。
vMotionできないVMは当日お客様にShutdownいただく必要があります。Shutdownが許容されないVMについては事前にvMotionの可否をご確認ください
・DRSの自動vMotionが無効の場合（vSphere Standard ライセンスやお客様の設定などに依存）
DRSによる自動vMotion可能かどうかについては、Precheck作業時に確認させていただきます。
自動vMotionが利用できない場合のvMotionは原則お客様作業範囲となりますが、
条件次第ではUpgrade作業者にて実施できる場合もございますので、Precheck時に担当のエンジニアとご相談ください
※Upgrade作業者にて手動vMotionを実施する場合は、細かいVMの配置ルールや負荷分散などはご指定いただけません。また作業後のVM再配置作業についてはお客様に実施いただきます。
どのVMをどのHostに配置するかといった管理情報もお客様にて把握をお願いします。
2018年4月17日 07:00
■ Upgrade途中での中断やバージョンのロールバックは可能か？
Upgrade途中での中断は、サポートされた手順としての提供はありません。
Upgradeを開始したら基本的に最後までやりきる形になります。
ただし途中でUpgradeが失敗して停止した場合に後日仕切りなおすことは可能です。
ロールバックについても基本的には実施できません。
ただし、事前にSystem VM（VC/PSC/VxRail Manager）のバックアップやスナップショットを取得していた場合は、
状況に応じて戻せる可能性があります。
ESXiのVersionのロールバックはサポートされません。
またダウングレードもできません。
■手順とか権限とかではなく、現実問題としてお客様によるUpgradeは可能か？
十分に可能です。
根拠は2つあります。
・手順の簡易さ
・トラブル時であっても仮想マシンのサービス継続が可能。
手順の簡易さは以下のユーザのブログ等が説得力があるかと思います。
techmatrix様ーVxRail簡単アップデート
vxrail-35-40へのオンラインアップグレード
vxrailのアップグレード時にホストの負荷が高い場合の動作
vxrail-40-インターネット経由のアップグレード
vxrail-40-to-45-upgrade
Dell EMC公式のUpgrade手順については、お客様にて入手可能です。
Dell EMCサポート窓口にお問い合わせいただくか、Dell EMCサポートサイトのアカウントをお持ちの方は、
https://solveonline.emc.com/solve/products/51 から手順書の生成が可能です。
トラブル時の縮退についてですが、別の障害を併発しない限り、Upgrade単体のトラブルで仮想マシンのサービスが停止することはありません。データの可用性低下が発生した場合でも一定時間経過後に自動で冗長性の復旧（Rebuild/Resync）が開始されます。
WebExによるリモート作業が不可のお客様は、有償のオンサイトサービスの前に一度ご自身での実施をご検討いただくことをお勧めします。
その場合、Upgradeでトラブルが発生した場合でもDell EMCサポートエンジニアによるリモート調査ができないわけではありますが、本スレッドで紹介したような事前対処を実施することで、より安全にUpgradeを実施することができます。
また事前に理解を深めていただくことでトラブル時にサポートエンジニアとのコミュニケーションがとりやすくなります。
VxRailは日本人による24時間/365日サポートを提供する唯一のDell EMC製品でもありますので、休日深夜のお問い合わせについてもご安心いただけます。
現行VersionとTarget Versionのなどの兼ね合いで個別の注意事項が発生する場合もありますので、ご検討の際は一度Dell EMCサポート担当者に相談することをお勧めいたします。
2018年4月20日 22:00
■外部VCのコンパチについて
外部VCを利用している場合は下記KBを参考にして、外部VCをUpgradeしてください
VxRail: VxRail and external vCenter interoperability matrix
Article Number 000520355
外部VC構成で現在VxRail 4.0.302以下を利用している環境を4.5.xへUpgradeしたい場合は2段階でのUpgradeが必要です。
４．VxRailを4.5.xにする
デル サポート リソース
もっと見る
すべて表示
Top
fh321Wvd731186461159463
166 メッセージ
3
2018年3月8日 21:00
■DRS無効
DRSが無効な場合、Upgradeに伴うvMotionをお客様が手動で実施頂く必要がありますので、Upgrade中は有効化とされることを推奨。
または、DELL-EMCエンジニアより作業開始前にDRSをonに変更させて頂きます(作業後offに戻します)。
■VxRail Manager VMの容量問題
Upgradeファイルが配置されるファイルシステムの空き容量が少なくなっており、Upgradeに失敗する可能性があります。
念のため、事前の容量開放をお勧め致します。
■Loginsight互換性問題
Loginsightバージョン2.5はVxRail4.0.302との互換性がありません。
VMwareのサイトからLoginsightの互換性が確認できませんでした。
使用される場合はLoginsight 3.0 or newerへのUpgradeが必要です。
LoginsightのUpgradeはお客様作業となりますので、下記手順をご確認頂き、アップグレード実施ください。
手順は以下ご参考願います。。
https://pubs.vmware.com/log-insight-30/index.jsp?topic=%2Fcom.vmware.log-insight.administration.doc%2FGUID-A18FA2DE-8D01-4AD4-A501-B94C62C37B60.html
また、必要なパッケージは以下からDownload可能です。
https://my.vmware.com/jp/web/vmware/details?productId=540&downloadGroup=VRLI-300
■VDPとの互換性問題
VDPのVersion6.1.1はESXiのVersion(6.0 U3)との互換性がなくなる為、VxRailをUpgradeする前にVDPをアップグレードする必要があります。
VDPのUpgradeはお客様ににて実施して頂く内容となっています。
#### １．VDPアップグレードの方法（マニュアル等）
VDP 6.0の管理者ガイドに記載のあるUpgrade手順にて実施可能です。
・管理者ガイド VDP 6.0
https://docs.vmware.com/en/VMware-vSphere/6.0/vmware-data-protection-administration-guide-60.pdf
またVMwareのものではありませんが、以下のサイトもご参考になるかと思います。
• http://d.hatena.ne.jp/b3g/20170320
• https://www.vladan.fr/how-to-upgrade-vdp/
#### ２．VDPアップグレード時の影響範囲
Upgrade中はバックアップやリストアなどのオペレーションができなくなります。
#### ３．VDPアップグレード作業の想定時間
Upgrade自体に1-4時間ほどかかります。
前後の作業がスムーズに進んだ場合でもプラスして1時間は必要となりますので、
2時間~5時間程度（トラブル無の場合）必要となります。
弊社ラボ内で実施した際は、小さなVDPでしたが、UpgradeファイルのUploadとデータ整合性チェックに時間がかかったため、4時間必要でした。
事前にUpload～整合性チェックまでは実施されておくほうがよろしいかと思います。
■ESXiバージョンアップによる他のvirtual applianceとの互換性
外部内部VCSAに関係なく、VxRail の管理VM以外の互換性は弊社側では確認できないのです。お手数ですが、お客様側にてご確認頂く必要がございます。
【Upgrade作業時に必要な情報】
・VxRail Manager root ユーザパスワード
・vSphere web client 管理ユーザ名およびパスワード
・vCenter root ユーザパスワード
・ESXi root ユーザパスワード
・PSC root パスワード
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
1
2018年4月3日 18:00
■Upgrade後に発生する問題
・Internal ESRSについて
#4.5.x
Internal ESRSVEを利用している際にVxRailを4.0から4.5にUpgradeするとInternal ESRSVEがMissingになります。
Dell EMC KB#514074で報告されています。
KB内のWorkAround2ではESRSVEの再構築となっていますが、UpgradeをしてもESRSVEの内部イメージは更新されないため、出荷Versionが4.0.200以下だった場合は再構築に失敗します。
可能な限りWorkAround1で対処してください
＝＝＝＝ 2018/08/29 追記 ＝＝＝＝＝
こちらのInternal ESRSの問題はSolveの手順書でフォローされているので、手順書に準拠する限り問題ありません。
・VxRail Manager GUIの表示について
※VxRail Manager GUIの表示がおかしくてもVSANのヘルスチェックで正常であれば、あくまでも表示上の問題ですので軽微な事象です。
Detecting Cluster…と表示される事象
#Physical View #4.0.402 #4.5.152 or later from 4.0.310 or earlier
KB#517463で報告されています
いくつかのNodeがLOSTや消失の状態となる事象
#Physcal View #Quanta #4.5.152
以下のKBで報告されています。
KB#519963 Level 40 （パートナーまで閲覧可能）
KB#491067 Level 40 (Partner)
KB#519459 (idrac credential の Reset)
Node追加やNode交換ができない
# 4.5.150 or later
以下のKBで報告されています。
KB#519914 Level 40(partner)
KB#519884 Level 40 (partner)
その他Physical ViewのトラブルシューティングKB
KB#519714 for Quanta Level 40
KB#519762 for Dell Level 40
・vCenter側での事象
"Retrieve IPMI SEL request to host failed" と表示される事象
#webclient #4.5.150
KB#517853
・Proxy関連
4.0.310以降でProxyサーバの登録が可能になっていますが、いくつかの条件を満たさないと使用できません。
詳細はKB#517887 を確認ください
・その他
kwmt
4 Operator
4 Operator
•
877 メッセージ
2
2018年4月3日 19:00
経験上の覚え書きですが、長期間稼働続けているもの（アップグレードしていなかった環境）は
VxRail Managerのメモリがファイルシステムキャッシュでいっぱいでアップグレードパッケージのアップロードに失敗したことがあります。この場合はVMの再起動で対処可能です。
同じく、ESXiも長期稼働し続けている場合（Uptimeが1年超えなど）は、事前にESXiを再起動しておいたほうが良いです。
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
0
2018年4月10日 00:00
・VxRAIL上で稼働中の仮想マシンへの影響
仮想マシンの退避は発生しますが、自動か手動かはライセンスと設定に依存します。
こちらはpre check時に弊社担当が確認し、結果を回答いたします。
なお、手動での移動が必要な場合はお客様にて作業をご実施いただく形となります。
その場合は、Upgrade中にvMotionが必要となったタイミングでお客様にお知らせして実施いただく形になります。
・vSphereと連携するVMware/3rd Party Solutionを使用してる場合の注意
お客様側で使用しているvSphere と連携するVMware / 3rd Solutionのアップグレードが
事前もしくは事後に必要になる可能性があります。
VX Rail関連のバージョンにVMware Solutionが対応しているか否かは以下をご確認いただけます
https://partnerweb.vmware.com/comp_guide2/sim/interop_matrix.php
例：VDP 6.1.3以下をご利用の場合は4.5.152にUpgradeするまえにVDPを6.1.4以上にUpgradeする必要があります。
NSX 6.2をご利用の場合は4.5.152にUpgradeするまえに6.3以上にUpgradeする必要があります。
3rd Party Solutionにつきましては各ベンダに互換性をご確認ください。
VX Rail関連のバージョン情報詳細はこちらをご参照ください。
https://support.emc.com/docu82227_VxRail-Support-Matrix.pdf
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
1
2018年4月10日 00:00
■VxRail Upgradeの作業時の影響について
- システム停止必要かOnlineで実施可能か
Upgradeに際し、VxRail Manager/VCSA/PSCは再起動をいたします。外部VCの場合、VCのUpgradeはDell EMCの作業範囲外なのでVxRail Upgrade作業によって外部VCの再起動は発生しません。
ESXiにもRebootが発生しますが、仮想マシンは必要に応じてvMotionで別のNodeに退避しますので仮想マシンレベルでのサービス停止はありません。
- vMotionを行うのもEMC作業範疇か
DRSが有効な場合はは自動でvMotionされるため、vMotion作業は発生しません。
DRSによる自動vMotionが使えるかどうかに関してはお客様環境（ライセンスと設定）に依存しますが、手動でvMotionが必要な場合の作業範疇はお客様となります。
その場合、Dell EMC作業員と連携し、vMotionが必要なタイミングで実施いただきます。
Upgradeの1~2週間前にPrecheck作業がありますが、その際にライセンスや設定情報からDRSの有効化有無を確認させていただきます。
1. ESXiのライセンスについて
‐Enterprise plusの場合は、DRSが有効化されていれば、メンテナンスモード移行時に自動でvMotionが発生しますので作業範疇の区分はありません
‐Standard（ROBOやDesktopも）の場合は、メンテナンスモード移行時に手動でvMotionを実施する必要があり、お客様の作業範疇となります
※その他のライセンスをお使いの場合は以下のサイトなどからサポートする機能をご確認
https://www.networld.co.jp/product/vmware/pro_info/vsphere/edition/latest/
2. 設定に関して
お客様によって仮想マシンとESXiにアフィニティルールなどの制御設定をしている事があります
そういったものに関してはEnterprise plusでもvMotionで自動で移動できないため、
事前に仮想マシンのShutdownや設定解除をお客様にて実施していただく必要があります
また、vMotionをサポートしていない仮想マシン（GuestIntrospectionで使用されるUSVMやSVMなど）を使用している場合もありますが、これらの管理に関してもお客様範疇となります
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
0
2018年4月10日 01:00
■ Upgrade作業形態について
・どのようにUpgradeを実施するか。
WebEx経由でのUpgradeとなります。
ESRS経由でのUpgradeは実施できない製品です。
WebEx経由でのUpgrade不可のお客様は有償でDell EMCエンジニアがオンサイト作業にてUpgradeします。
・Upgradeファイルの事前準備
Upgradeで使用するファイルは事前にお客様にダウンロードしていただく必要がございます。
Upgrade１～２週間前のPrecheck後に担当者からUpgradeファイルのダウンロードを案内されます。
案内されましたら対象のファイルを当日の作業用WebEx端末に配置してください
■ Upgrade作業の段取りについて
<アップグレード作業段取りについて>
本アップグレードにつきましては、以下のプロセスにてWebex経由のリモート作業として実施します。
① 事前チェック作業 (約1.5～2時間程)
アップグレード作業の実施1～2週間前に事前に機器のヘルスチェック、構成の確認等を行います、システムへの影響はございません。
② ファイル転送作業 (お客様にて実施頂きます)
事前チェック作業完了後、担当エンジニアよりアップグレードについての詳細プランと、アップグレード時に使用するファイルのURLをご案内させていただきますので、アップグレード作業日までに機器へのファイルのアップロードをお客様にてご対応をお願いいたします。
③ アップグレード作業
平均で約5～8時間程を見込んでおりますが、構成状況により変動する可能性があります。詳細につきましては事前チェック後に詳細なアップグレードプランをご案内させて頂きます。
アップグレード作業時にNode（ESXi）の再起動が発生いたしますが、vMotionによる退避が可能ですので仮想マシンの停止はございません。ESXiの再起動中は一時的にVSANデータストア上のデータの可用性が低下しますが、データへのアクセスは継続されます。
可用性低下が許容できない場合は事前にご相談ください。
※リモート作業が不可の環境の場合はお客様ご自身でアップグレード作業を実施していただくか、オンサイトアップグレード作業として有償にて承る事も可能です。
アップグレード作業可能な日程が決まりましたらDell EMCのサポート担当者にご連絡ください。調整には10~15営業日頂いておりますので余裕をもってご連絡をお願いいたします。
年末年始や年度末、大型連休などの際はUpgrade繁忙期となりますので、お客様のご希望に添えない可能性がございますが、可能な限り善処させていただきます。
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
1
2018年4月10日 01:00
■作業時間について
- 作業時間目安について(そもそもNode数によって時間は変わりますか？)
1 Node(ESXi) 毎にUpgrade(reboot)を実施するため、作業時間はNode数で変化します
Japanでの平均的な案内時間は5-8時間です。（トラブルなしの想定）
Upgrade1~2週間前の Pre-checkにて環境を確認しますので、Precheck後に再度案内があるかと思いますが、小規模環境（3~8 Node）であれば大体は5-10時間で収まります。
またSource・TargetのVersionの組み合わせや、Dell / Quantaによって、修正内容が異なりますので、所要時間に差が出ます。
一般的にDell ModelのほうがよりもQuanta Modelのほうが長時間かかります。
Dell ModelのほうがFirmware（BIOS・iDRAC・HBA）のUpgradeが必要になることが主な理由です。
※Fimware Upgrade 有無は実際のVersionに依存します。かならず発生するわけではありません
■ 作業時間実績ベースのサンプル
※いかに紹介するのは過去実際にあったUpgradeの作業時間です
・サンプル１
Quanta VxRail200 20Node構成
Source Version 3.5
Target Version 4.0.302
所要時間 約8時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
・サンプル２
Dell Model 16Node構成
Source Version 4.5.070
Target Version 4.5.152
所要時間 約15時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
・サンプル３
Dell Model 32Node構成
Source Version 4.5.101
Target Version 4.5.152
所要時間 約22時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
・サンプル ４
Dell Model P470F 4 Node構成
Source Version 4.0.301
Target Version 4.5.152
所要時間 約15時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
※ VSANのVersionが上がるため、Disk FormatのUpgradeが発生する。15時間のうち、Disk FormatのUpgradeは13時間。
・サンプル ５
Dell Model 3 Node構成
Source Version 4.0.150
Target Version 4.5.152
所要時間 約3時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
・サンプル 6
Dell Model 8 Node構成
Source Version 4.0.302/310混在
Target Version 4.0.402
所要時間 約19時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
※トラブル対応に起因するリトライで長時間かかった。トラブルがなければ10時間程度であった想定
・サンプル 7
Dell Model 4 Node構成
Source Version 4.0.300
Target Version 4.0.400
所要時間 約6時間（ファイルアップロード開始から事後ヘルスチェック完了まで。トラブル対応含む）
※KB#513675の対応（Firmwareの事前手動Upgrade）を実施した。6時間中、事前FW Upgradeに2.5時間かかった
・サンプル8
Dell Model E Series７ Node構成
Source Version 4.0.400
Target Version 4.0.402
所要時間 約１１時間（ファイルアップロードからヘルスチェックおよびSystem VMの再起動（Intel脆弱性）、およびトラブル対応含む
※KB#517613 の対応と、Node Missingが発生に伴うidrac/ptagentの再起動あり。Retryは２回。
・サンプル9
Dell Model E Series １２ Node構成
Source Version 4.0.400
Target Version 4.0.402
所要時間 約 ３５時間 （半分くらいはトラブルシューティングの時間でした。）
※HBA Missingに伴うオンサイトが発生。その他軽微は事象が発生。
・サンプル10
Dell Model E Series 4 Node構成
Source Version 4.0.301
Target Version 4.5.152
所要時間 約9時間 （途中で2時間のトラブルシューティングあり）
・サンプル11
Dell Model E Series 3 Node構成
Source Version 4.0.301
Target Version 4.5.210
所要時間 約 12時間 （トラブルシューティングによる手動Upgradeを含む）
・サンプル12
Quanta Model 4 Node構成
Source Version 4.0.132
Target Version 4.0.402
所要時間 8時間（実作業4時間程度、トラブルシューティング4時間程度）
※Node当たり約10分で終了
・サンプル13
Dell Model 3 Node構成
Source Version 4.5.070
Target Version 4.5.210
所要時間 7時間 トラブルなし
※Node 当たり 1時間半
・サンプル14
Dell E560 5 Node構成
Source Version 4.5.152
Target Version 4.5.211
所要時間 14時間 ※トラブルあり（vMotionできないVM、BIOSの手動Update）
※Node 当たり1時間半
・サンプル15
Dell 8 Node構成
Source Version 4.5.070
Target Version 4.5.210
所要時間 15時間
※Nodeあたり1時間半
・サンプル 16
Dell 4 Node構成
Source Version 4.0.3xx
Target Version 4.5.212
所要時間 12時間(KB#504039に該当する不具合あり)
※Node 当たり1時間半 ＋KB対応
■ Upgrade作業時間を延ばしてしまう要因例
■ Upgradeを少しでも短くしたい場合（Dell Model）
iDRACのUpgradeを手動で行うことでその分のUpgrade時間を短縮できる見込みです。
実施に際してはDell EMCサポートにご相談ください。
KB#520492
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
0
2018年4月10日 01:00
■Upgrade作業前のVMのバックアップについて
Upgrade作業前にVxRail ManagerとVCSAとPSCのバックアップを必ずとってください。
作業直前には同３VMのスナップショットを忘れずに取得してください。
スナップショットについてはUpgradeの安定動作を確認の上、削除してください。消さない場合仮想マシンのパフォーマンス低下につながる可能性がありますが、VSAN データストア上のスナップショットは従来のVMFS スナップショットと比べてパフォーマンス影響はほとんどないといわれています。通常業務に影響が出なければ消さなくても問題ありません。
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
0
2018年4月11日 03:00
Level 50 troubleshooting (社内のみ)
VxRail: Troubleshooting guide for LCM
Article Number 000519411
https://support.emc.com/kb/519411
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
0
2018年4月12日 18:00
Quanta VxRail upgrade from 3.5 to 4.0.x or later
VxRail: 4.0 upgrade hung on Manager upgrade task
Article Number 000494438
※AD統合環境は注意
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
0
2018年4月13日 01:00
Intel CPU 脆弱性前後で必要な作業について
Upgrade From: prior to 4.0.402/4.5.152
Upgrade To: 4.0.402/4.5.152 or later
HW: ALL (Phoenix & Quanta & Dell)
■Upgradeの前に必要な作業 ※外部VCの場合のみ。
外部VCを利用している場合はVxRailのUpgradeよりも先に外部VCを以下のVersionにUpdateしてください。
VxRail 4.5の場合 vCenter 6.5 U1g
VxRail 4.0の場合 vCenter 6.0 U3e
!!!!!! 注意 !!!!!!!!
外部VC構成で現在VxRail 4.0.302以下を利用している環境を4.5.152へUpgradeしたい場合は2段階でのUpgradeが必要です。
VxRail4.0.302以下のVersionではvCenter 6.5をサポートしていないためです。
手順例：
１．外部VCを vCenter 6.0 U3e にUpgradeする
２．VxRailを4.0.402にする
３．外部VCをvCenter 6.5 U1gにUpradeする
４．VxRailを4.5.152にする
■Upgradeの後に必要な作業
VxRail: Virtual Machines need to be power cycled for branch target injection mitigation (Spectre v2) to take effect
Article Number 000519601
Reference:
VMware KB https://kb.vmware.com/s/article/52245 and https://kb.vmware.com/s/article/52085
Internal ESRSVEを使用している場合は上記に加えて、ESRSVE VMが3.26.10以上である必要があります。
VDPを利用している場合はVDPのVersionが6.1.8以上である必要があります。
VMSA-2018-0007.3
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
1
2018年4月14日 10:00
■ Upgrade前に確認したほうがいいこと
### Version
Upgrade前と後のVxRailのvSphereのVersion（VCSA/ESXi）を確認しましょう。
お客様側で使用しているvSphere と連携するVMware / 3rd Solutionのアップグレードが
事前もしくは事後に必要になる可能性があります。
VX Rail関連のバージョンにVMware Solutionが対応しているか否かは以下をご確認いただけます
https://partnerweb.vmware.com/comp_guide2/sim/interop_matrix.php
例：VDP 6.1.3以下をご利用の場合は4.5.152にUpgradeするまえにVDPを6.1.4以上にUpgradeする必要があります。
NSX 6.2をご利用の場合は4.5.152にUpgradeするまえに6.3以上にUpgradeする必要があります。
3rd Party Solutionにつきましては各ベンダに互換性をご確認ください。
VX Rail関連のバージョン情報詳細はこちらをご参照ください。
https://support.emc.com/docu82227_VxRail-Support-Matrix.pdf
### Clusterの設定
・DRSの完全自動化が有効か否か。
有効でない場合はお客様による手動vMOTIONが必要
・HAが有効か否か。
4.0.x→4.5.xへのUpgradeではHAが有効でないとUpgradeに失敗する
KB#520353
### Upgrade対象のVM・対象でないVM
VxRailのUpgrade作業によってUpgradeされるコンポーネントは以下です。
※お客様にてUpgradeやパッチ適用することは認められません
・ESXi
・VSAN
・VCSA/PSC（外部VCの場合は除外）
・Firmware （BIOS,iDRAC,HBAなど、Versionやモデルに依存します。）
・VxRail Manager VM
Upgradeされないものは以下です。
※UpgradeはVersion管理（互換性など）はお客様管理になります。
・VDP
・RP4VM
・CloudArray
・Loginsight
・ESRS
・既存VMのHardwareVersion（Intel CPUの脆弱性の対応で必要です）
・ESRSの内部イメージ（内部イメージは出荷時から変わりません）
・ESXiのファクトリーイメージ（出荷時から変わりません）
・その他vSphereと連携するDell EMC製品（UnityVSA、IsilonSD Edge、AvamaerVEなど）
・その他vSphereと連携するSolution（NSX/VDI/vRanger/vSphere Replicationなどや、その他3rdパーティ製品すべて）
### System VM
・空き容量
System VM（VCSA/PSC/VxRail Manager）のroot filesystemの空き容量を確認してください。
df -h コマンドで確認できます。
空き容量が足りないとUpgradeに失敗することがあります。
50％以上の空き容量があれば大丈夫です。
・バックアップ
バックアップは必ず事前に取りましょう。
スナップショットも取りますがそれだけでは不測の事態に備えられません。かならずバックアップも取りましょう。
VxRail Managerは4.0.400/4.5.150以降であればファイルベースのバックアップを取っておけば大丈夫です。
VCSA/PSCについてはVMイメージのバックアップを取りましょう。
vSphere 6.5から追加されたVCSA/PSCのファイルベースバックアップは避けましょう。
VMイメージのバックアップが難しい場合はVCSA/PSCのOVFテンプレートをExportしましょう。
・root/managementユーザパスワードの期限切れ確認
デフォルトではVCSAとPSCのrootパスワードは365日で期限切れになります。
期限切れの状態では更新するまでUpgradeが行えません。
事前に確認しておきましょう。
VxRail 3.5などrootパスワードの変更が認められていないVersionの場合は、事前に無期限に設定するか、変更して再度同じPasswordに戻す必要があります。
VCSA/PSCはパスワードを5世代まで記録していますので5回変えればもとのパスワードに戻せます。
対象となるユーザは以下です。
・VCSAのrootパスワード
・PSCのrootパスワード
・PSCのmanagement ユーザパスワード
※パスワードを無期限に設定したとしてもUpgradeによって365に戻されることがありますので365以上前のパスワードは必ず一度更新してください。
・CD/DVDがマウントされていないか、正常にマウントできるか。
CD/DVDとしてISOファイルが接続されている場合は切断してください。
仮想マシンにFloppyDiskなど余計なデバイスが接続されていた場合も失敗します。（KB#520318）
### ESXi
・再起動
可能であればUpgrade作業日の1週間前程度に全ESXiの再起動をしましょう。
vMotionで移行しながら1台ずつ実施すればVMの稼働は維持できます。
事前に再起動することで、再起動に伴って発生する障害に事前に気づくことができます。
また、vMotionできないVMをこの段階で発見でき、作業日までに対策を準備することができます。
・VSANのリビルドタイマーの延長
VersionによってはUpgrade中にVSANのリビルドが発生してしまうことがあります。
デフォルトの60分だと足りない場合があるので事前にタイムアウト値を増やしておいて、
作業後に元に戻しましょう。
https://kb.vmware.com/kb/2075456
Dell ModelでFirmwareの更新（BIOS,iDRAC,HBA）を含むUpgradeの場合、各ホストにつき1時間以上のダウンタイムが発生する可能性があります。
事前にClomRepairDelayを伸ばしておきましょう。
・ESXiの管理サービスの健全性を確認
すべてのHostでVMの作成と削除が可能なことを確認しましょう。
アフィニティルールのないVMですべてのNodeにvMotion可能なことを確認しましょう
・/bootbank/imgdb.tgzのバックアップ
EMCKB#494822 の事象に遭遇する可能性があります。
Last Nodeで発生すると復旧できないので、一つでいいので健全なimgdb.tgzを取っておきましょう
・iDRACのユーザを確認（Dell Model Only）
iDRACユーザが文字化けして、Upgradeできなくなる事象が報告されています。
事前にご確認ください
EMC KB#517613
・VxRail Manaer DBの手動修正
3.5以前に出荷さればVersionで、4.5.150/152にUpgradeした場合に発生します。
EMC KB#518362
4.5.210でFixの予定
・Reboot後の自動的なMM Exitを回避
4.0.300/301 がソースVersionの場合に発生
実施しない場合はUpgradeがFailします
発生してしまった場合はvmware-fdmを手動起動し、chkconfigもonにして、MM～再起動。
再起動後にNot respondingとなる場合はvcsa のサービスrestart
KB#502918
### 作業用端末
・アップグレードファイルのUpload
お客様環境に依存して、稀にVxRail UpgradeファイルをVxRail ManagerにUploadできない場合がございます。
Precheck後に指定されるファイルを端末にご準備いただきましたら、お早めにUpload可否をお試しください
・必要なツールが準備されているか
WebClientに接続できるブラウザ
仮想コンソールを起動できるJava （Version 8 以降推奨）
SSH Client （Teraterm/Puttyなど）
SCP/SFTPクライアント（WinSCPなど）
・必要なポートが開いているか
Webclient（vCenter）
HostClient（ESXi）
SSH/SCP（VCSA/PSC/VxRail Manager/ESXi/iDRAC）
BMC/iDRAC GUI
BMC/iDRAC 仮想コンソール
### vMotion関連
・vMotionできないVMの例
Guest Introspection (USVM)
TrendMicro DeepSecurity (SVM)
CD/DVDを使用しているVM
アフィニティルールなどで特定のホストに紐づけているVM
共有ストレージ上にないVM
vMotionによって互換性が維持できなくなるVM（EVCやHardwareVersionに依存する問題など）
※precheck時に可能な限り確認させていただきますが、確実にvMotionできる保証はありません。
vMotionできないVMは当日お客様にShutdownいただく必要があります。Shutdownが許容されないVMについては事前にvMotionの可否をご確認ください
・DRSの自動vMotionが無効の場合（vSphere Standard ライセンスやお客様の設定などに依存）
DRSによる自動vMotion可能かどうかについては、Precheck作業時に確認させていただきます。
自動vMotionが利用できない場合のvMotionは原則お客様作業範囲となりますが、
条件次第ではUpgrade作業者にて実施できる場合もございますので、Precheck時に担当のエンジニアとご相談ください
※Upgrade作業者にて手動vMotionを実施する場合は、細かいVMの配置ルールや負荷分散などはご指定いただけません。また作業後のVM再配置作業についてはお客様に実施いただきます。
どのVMをどのHostに配置するかといった管理情報もお客様にて把握をお願いします。
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
0
2018年4月17日 07:00
■ Upgrade途中での中断やバージョンのロールバックは可能か？
Upgrade途中での中断は、サポートされた手順としての提供はありません。
Upgradeを開始したら基本的に最後までやりきる形になります。
ただし途中でUpgradeが失敗して停止した場合に後日仕切りなおすことは可能です。
ロールバックについても基本的には実施できません。
ただし、事前にSystem VM（VC/PSC/VxRail Manager）のバックアップやスナップショットを取得していた場合は、
状況に応じて戻せる可能性があります。
ESXiのVersionのロールバックはサポートされません。
またダウングレードもできません。
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
0
2018年4月17日 07:00
■手順とか権限とかではなく、現実問題としてお客様によるUpgradeは可能か？
十分に可能です。
根拠は2つあります。
・手順の簡易さ
・トラブル時であっても仮想マシンのサービス継続が可能。
手順の簡易さは以下のユーザのブログ等が説得力があるかと思います。
techmatrix様ーVxRail簡単アップデート
vxrail-35-40へのオンラインアップグレード
vxrailのアップグレード時にホストの負荷が高い場合の動作
vxrail-40-インターネット経由のアップグレード
vxrail-40-to-45-upgrade
Dell EMC公式のUpgrade手順については、お客様にて入手可能です。
Dell EMCサポート窓口にお問い合わせいただくか、Dell EMCサポートサイトのアカウントをお持ちの方は、
https://solveonline.emc.com/solve/products/51 から手順書の生成が可能です。
トラブル時の縮退についてですが、別の障害を併発しない限り、Upgrade単体のトラブルで仮想マシンのサービスが停止することはありません。データの可用性低下が発生した場合でも一定時間経過後に自動で冗長性の復旧（Rebuild/Resync）が開始されます。
WebExによるリモート作業が不可のお客様は、有償のオンサイトサービスの前に一度ご自身での実施をご検討いただくことをお勧めします。
その場合、Upgradeでトラブルが発生した場合でもDell EMCサポートエンジニアによるリモート調査ができないわけではありますが、本スレッドで紹介したような事前対処を実施することで、より安全にUpgradeを実施することができます。
また事前に理解を深めていただくことでトラブル時にサポートエンジニアとのコミュニケーションがとりやすくなります。
VxRailは日本人による24時間/365日サポートを提供する唯一のDell EMC製品でもありますので、休日深夜のお問い合わせについてもご安心いただけます。
現行VersionとTarget Versionのなどの兼ね合いで個別の注意事項が発生する場合もありますので、ご検討の際は一度Dell EMCサポート担当者に相談することをお勧めいたします。
DELL-Naoyuki K
4 Operator
4 Operator
•
1.7K メッセージ
0
2018年4月20日 22:00
■外部VCのコンパチについて
外部VCを利用している場合は下記KBを参考にして、外部VCをUpgradeしてください
VxRail: VxRail and external vCenter interoperability matrix
Article Number 000520355
!!!!!! 注意 !!!!!!!!
外部VC構成で現在VxRail 4.0.302以下を利用している環境を4.5.xへUpgradeしたい場合は2段階でのUpgradeが必要です。
VxRail4.0.302以下のVersionではvCenter 6.5をサポートしていないためです。
手順例：
１．外部VCを vCenter 6.0 U3e にUpgradeする
２．VxRailを4.0.402にする
３．外部VCをvCenter 6.5 U1gにUpradeする
４．VxRailを4.5.xにする