VMware Specialist - vSAN 2019 ゲットした 記念に、何か日常生活のためになるかもしれないことをつぶやきます。(テストには出ない)
実は私は、#vSANvExpert 2019
SUN | MON | TUE | WED | THU | FRI | SAT |
---|---|---|---|---|---|---|
1 gowatana | 2 gowatana | 3 gowatana | 4 gowatana | 5 gowatana | 6 gowatana | 7 gowatana |
8 gowatana | 9 gowatana | 10 gowatana | 11 gowatana | 12 gowatana | 13 gowatana | 14 gowatana |
15 gowatana | 16 gowatana | 17 gowatana | 18 gowatana | 19 gowatana | 20 gowatana | 21 gowatana |
22 gowatana | 23 gowatana | 24 gowatana | 25 gowatana |
- 12/1「Quick Start」の「ハイパーコンバージド クラスタ構成のコンプライアンス」は、Quick Startで設定した部分の確認と考えるとよいと思う。Go Watanabe on Twitter: "vCenter 6.7の Cluster Quick Start ESXi追加 → 自動でMaintenance Mode → vDS / Lock Doun / NTP / EVC 設定 → Maintenance 解除ができる。 vSANむけっぽく最後に「ハイパーコンバージド クラスタ構成のコンプライアンス」チェックをしてくれるが、これは、上記設定をしたかの確認っぽい。… https://t.co/LYZIZNaJWD"
- 12/2どうせ物理NIC同じだし・・・とvmkに複数の役割をもたせるときに。ただ分割すれば管理対象のセグメントやIPは増える。Go Watanabe on Twitter: "1つのVMkernel Port に管理 + vMotion + vSAN みたいな複数の役割を持たせられる。しかし、監視/モニタリング/トラブルシュートなどの観点から、HCIでありがちな物理NICポートを共有するケースでも、分割しておいて損はないと思う。 極端な例としてvmk0だけ/vmk0-2のパターンの様子・・・… https://t.co/njzEIhdGLX"
- 12/34枚目はVCSAのrvc。ESXiあたりのVotes(投票)数に注目。コンポーネント2つまではWitness(監視)で+1。それをこえるとVotesで多数決できるようにしているっぽい。Go Watanabe on Twitter: "vSAN Object (VMDK など)はDefaultのStorage Policyだと、Component ミラー2つに Witnessで障害時の両方Active防止する。ただし255GB超えるオブジェクトはComponent分割される。このときvSAN 6.0以降ではWitness使わなくなる。 説明は「監視」のvSAN 6.0 以降では~あたり https://t.co/U6t4g9x7VH… https://t.co/9ZFPFNiuQx"
- 12/4PowerCLI の vSAN のカバー範囲を、おおまかに俯瞰。ざっくり雰囲気をみたのでCmdletしかサマリできてなくて AliasのRepair-VsanObjectがもれてた。Go Watanabe on Twitter: "PowerCLI には、だいぶ vSAN 関連の Cmdlet が充実している。vSAN 関連は主に https://t.co/lUlnF3VSSR Module。Cmdlet 名後半のNoun(名詞部分)ごとに前半のVerb(動詞)を並べると、できることサマリになる。Vsan/Storage Policy Based Management (Spbm)/他、で PowerCLI 11.5 の様子。… https://t.co/sTi5irqjvQ"
- 12/5vsanSparseのチェーン構造は、いままでどおり.vmdkファイルでもわかる。Go Watanabe on Twitter: "vSAN 6.x では、あらたにvsanSparse Snapshotになっている。ひきつづきチェーン構造だがin-memoryなメタデータキャッシュで性能向上とのこと。従来のvmfsSparseとは異なり、すぐに削除しなくてもよいらしい。 https://t.co/5tdMZyRfmy… https://t.co/CCxeIqzbTr"
- 12/6オブジェクト修復タイマー自体を短くすることもできるが、過度なリビルドをさけるべく、その環境でのESXiのメンテナンスの所要時間なども考慮する。Go Watanabe on Twitter: "vSANでESXiがダウンしたりするとそのホスト上のコンポーネントは「なし(Absent)」状態になり、「オブジェクト修復タイマー」による遅延タイマーで再構築を待つ。デフォルトでは60分まってAbsentなままだと再構築されるが「今すぐ再同期」ですぐ再構成することもできる。 https://t.co/uJ4YOkI5D2… https://t.co/Lj7SVQUni7"
- 12/7障害ノード起動できなくなった、とかの場合には、ESXiの再構築は簡単でも復旧にはそこそこ時間かかるはず。安全におちついた運用をするにはvSANは4ノードから。Go Watanabe on Twitter: "vSAN Default Storage Policyによる「コンポーネントx2 + 監視x1」では、3-Node構成だけだとESXi 1台停止するとリビルドする場所がない。タイマーを過ぎても「必要なリソースが不足~」となり「可用性が低下 (再構築なし)」でおちつく。いわゆる業務継続はできるがこのまま次の障害が発生したら困る。… https://t.co/m7bMYSQMEv"
- 12/8ポリシーをもとにした空き容量は、これから配置するVMを全部おなじポリシーにした場合の空き。ちなみに以前はノード数不足などで設定できないポリシーも選択できてしまっていた。Go Watanabe on Twitter: "vSAN 6.7 U3 の容量確認の画面。円グラフがついた。vSANではVM/VMDK単位で仮想マシン ストレージ ポリシーを設定するが、ポリシーごとの空き容量を「ポリシーを次に変更」で確認できる。そのvSANクラスタで設定可能なポリシーだけが表示/選択できるように改善された模様。… https://t.co/gTRXJDKkaG"
- 12/9やむなくディスク構成の異なるESXiを混在させる場合でも、できればディスク グループごとのディスク構成(キャッシュの容量、キャパシティディスクあたりの容量とディスク数)は揃えた方がバランスよいと思う。Go Watanabe on Twitter: "vSAN では Hybrid / AllFlash が揃っていれば、クラスタ内にローカル ディスク構成の異なる ESXiが存在しても構成できる。たとえば 2 Disk Group/1 Disk Groupの ESXi を混在させても、特にエラーはなく、Capacity Disk分の容量も追加される。 しかし障害時はアンバランスになりやすいので要注意。… https://t.co/vckdTXvl40"
- 12/10vDSを利用していれば、急なI/O負荷やディスク障害のときもNetwork I/O Control(NIOC)でvSANトラフィックが優先されるはず。Go Watanabe on Twitter: "vDSのNetwork I/O Control(NIOC)ではvSANトラフィックも制御できる。vDS作成時にデフォルト有効で、vSANトラフィックはインフラ維持で必要なので優先度高にされている。たとえばvmk1 - vMotion、vmk2 - vSANにしてみると、ESXiのesxtop - n key などでトラフィック制御の様子が見られるはず。… https://t.co/6F3P0Dy7Gx"
- 12/11オブジェクト容量の予約は、Thin → 25% → 50% → 75% → 100%(Thick)で選択できる。でも一般的にThinかThickかを選択する気がする。Go Watanabe on Twitter: "vSANのデフォルトの「vSAN Default Storage Policy」は、Thinプロビジョニング。 Thickプロビジョニングの仮想マシン ストレージ ポリシーを作成して割り当てれば、仮想ディスク作成時に全容量を割り当てておくこともできる。たとえばこのとき100GBをTnickにすると、FTT=1なので2倍の200GBくらい。… https://t.co/ITZPKK1UmH"
- 12/12FTT=2 RAID1 のポリシーでVMDKオブジェクトを見てみると,コンポーネント3つと、監視2つが5ノードに分散されている。Go Watanabe on Twitter: "vSANでは(Primary)FTT x 2 + 1 個のFault Domainが必要になる。デフォルトでは、1つのESXiが1つのFault Domainとみなされる。 FTT=2 RAID1 の仮想マシン ストレージ ポリシーを設定したい場合は、コンポーネント3つ + Witness1つで4ノード「ではなく」、じつは5ノードが必要。… https://t.co/Oyc3TxnYGW"
- 12/13これとは別に、vSAN 6.7 U3からはvSAN iSCSI Targetを利用していないVMDKでもSCSI3-PRがサポートされた。Go Watanabe on Twitter: "vSAN iSCSI Target (VIT) はSCSI-3 Persistent Reservations(PR)に対応していて、WSFC などのゲストOSでのクラスタむけ共有ディスクとしても利用可。 vSAN外部のLinuxで接続確認すると、SCSI3-PR非対応の ローカルsdcはcommand not supported、一方VITによるsddであればPRに対応している。… https://t.co/gqHTq3r7Aw"
- 12/14vSAN上VMDKをSCSI3-PR対応にするとき、仮想SCSIコントローラにSCSIバスの共有「物理」にして、接続するVMDK(ハード ディスク2とか)の共有は「共有なし」のままにする。Go Watanabe on Twitter: "vSAN 6.7 U3~ではSCSI3-PRがサポートされる。vSAN iSCSI Targetではない、vSAN上の共有VMDKをゲスト側クラスタに利用可。追加するSCSI ControllerでSCSIバス共有を「物理」にして、そこにVMDKを接続する。 以前の6.7 U1と、U3上のVMでsg_persistなどを試すと結果も異なる。 https://t.co/qI321gr3CN… https://t.co/9wCKFmplhI"
- 12/15On-disk formatの互換性はvSANのバージョンによって異なる。vSANはESXiに組み込まれているが、これまでESXiとvSANでバージョン番号が揃っていないことがあったので要注意。Go Watanabe on Twitter: "vSANのon-disk formatは、6.7 U1から7、U3から10になった。 https://t.co/qjw7vWAXbu Disk Group作成時には自動的に最新になる。そしてvSphere&vSANのバージョンアップでは、vSAN新機能を使うためにvCenter→ESXi→vSAN on-disk formatの順にUPする。 なおon-disk formatは、Disk Group単位のもの。… https://t.co/I2wIjECHdW"
- 12/16vSANでは、ディスクあたり80%以上でリバランスされるので、使用容量70%くらいが推奨らしい。データ保存の使用容量を気にするのはキャパシティ ディスク。一方キャッシュ ディスクの使用済み容量は表示されない。Go Watanabe on Twitter: "vSANの健全性チェックでは使用容量のDiskバランスもチェックする。そしてリバランス処理の様子も確認できる。例では空き容量不足で失敗しているが、こうならないように空き容量を見積もって、ESXiのディスク構成も揃えておくとよい。なお、Diskごとの容量はvSphere ClientやPowerCLIなどから確認可。… https://t.co/s73xbzQCDl"
- 12/17vSAN健全性チェックのハードウェア 互換性リスト(HCL)警告も、VUMではインストール失敗あつかいとなり、メンテナンス モードの手動解除が必要だったりする。自宅ラボ/Nested環境などであれば、この項目で「サイレンスアラート」をオンにするとスルーできる。Go Watanabe on Twitter: "vSANのソフトウェアは、ESXiとあわせてvSphere Update Manager (VUM)+DRSで自動Updateが可能。VUMではESXiのメンテナンス モード移行が「アクセシビリティの確保」で全データ退避ではないので手作業Updateしてもよい。健全性チェックで問題があると停止し、微妙なまま残ホストを処理しない。… https://t.co/iEkaW5mprZ"
- 12/18ホスト単位のvSANパフォーマンス画面では、通常のESXiのパフォーマンス画面にはないvSANキャッシュ デバイスの利用状況もわかる。たとえば「書き込みバッファの未使用割合」なども確認できる。Go Watanabe on Twitter: "vSANのパフォーマンス確認には、vSANクラスタで「パフォーマンス サービス」を有効化する。そうすると通常の監視→パフォーマンスとは別に、vSANのパフォーマンス情報が、クラスタ、ホスト、VMで表示されるようになる。 そしてパフォーマンス管理の情報自体もvSAN上にオブジェクトとして格納される。… https://t.co/0i3WBJ7K0m"
- 12/19vSANの重複排除&圧縮機能はオールフラッシュ構成のみで使用可能。ハイブリッド構成(SSD+HDD)では有効化しようとしてもエラーになる。Go Watanabe on Twitter: "vSANデータストアにはデータ重複排除(デデュープ)および圧縮機能があり、容量削減の効果はvSphere Clientでも確認できる。容量削減はディスク グループ内。 設定はvSANクラスタ(vSANデータストア)単位となっていて、重複排除と圧縮はセットで有効/無効にする。どちらか一方だけの有効化は不可。… https://t.co/wSJNZUmk1C"
- 12/20vSANパフォーマンス サービスを有効化していると、VMがいないデータストアでも、vSAN Default Storage Policy設定で「パフォーマンス管理オブジェクト」がある。デフォルトのままでは3ノードだと全データ移動のメンテナンスモードはエラーになってしまう。Go Watanabe on Twitter: "ESXiのメンテナンスモード切り替えにはvSANだと複数のデータ移行方法があるが、方法ごとに「データ移行の事前チェック」ができる。 ちなみにvSAN Default Storage Policyのオブジェクトには最低3ノード必要なため、全データ退避はできない。メンテ中の障害対策には4ノード以上の構成がおすすめ。… https://t.co/ia1BtuQgy2"
- 12/21Linuxでdiscardオプション無しでファイルシステムをmountしている場合でも、ゲストOSでfstrimを実行するとvSAN側で容量解放できる。たとえば例の環境だとfstrim --verbose /data。(verboseは見やすさのため)Go Watanabe on Twitter: "vSANは、クラスタとゲストOSでUNMAP対応させておくと、ゲストOSでのファイル削除にあわせてThin Provisioningの容量解放ができる。クラスタ側はVCSAのRVC、ゲスト側はLinuxであればdiscardオプション。 ちなみにvSphereでのデータストア容量確認はvSphere Clientで「キャパシティ情報の更新」が必要。… https://t.co/Gv1Za7P3uT"
- 12/22vSANのデータの物理配置分散はFault Domain(FD)で、一方VMの起動ESXiはDRSのアフィニティ ルールで制御する。FDのグループ化はvSphere Clientでは見分けにくいが、あえて物理配置を意識する構成なのでESXi名にラック/シャーシ配置などを含めてもよい気がする。Go Watanabe on Twitter: "vSANのFault Domain(FD)は、ラックやブレード/HCIでのシャーシ(ブロック)の障害対策として利用できる。デフォルトだとESXiごとにFDあつかいだが、ラックごとなどでFDを作成してESXiをグループ化する。vSANのデフォルトのFTT=1では最低3FDが必要だが、障害対応などの観点から推奨は4FD。… https://t.co/Pmrru1T9CU"
- 12/23vSphere HAの隔離アドレス(das.isolationaddress)には、vSANネットワークのゲートウェイ、ない場合は物理ネットワーク スイッチにIPアドレス(SVIなどとして)を設定し、それを指定してもよい。Go Watanabe on Twitter: "vSANはvSphere HAのHeartbeat Datastore(Network障害時に、本当にESXiがNetwork隔離されたのか確認するための)としては利用できない。 そこでHAがより安全に、隔離されたホスト上のVMを停止→起動するには、HAの隔離(を確認する)アドレスにvSAN Networkレンジのアドレスを指定するとよい。… https://t.co/DTsA87aQMa"
- 12/24実は ESXi のメモリが8GB だとvSANクラスタに8ホストまでしか含められず、9台目からはネットワーク接続できても「vSANクラスタ パーティション」が別になってしまう。ネステッド環境などでリソース少ない場合はメモリを増やせばよい。監視ホストも1台にカウントされるので要注意。Go Watanabe on Twitter: "vSANではプライマリ(優先)/セカンダリ サイトにわけてESXiを配置する、ストレッチ クラスタでサイト障害対策が可能。監視ホストが必要になり、オブジェクトを構成するComponent x 2とWitnessは、優先/セカンダリ サイトと監視ホストに分散配置される。サイト設定にはFault Domainが利用される。… https://t.co/8lkp2LKuDb"
- 12/252ノードvSANでは、データはESXiそれぞれにコピーが配置され、監視コンポーネントは監視ホストに配置される。そしてvSphere HAのFailoverを見込み実質1ノード分リソースでVMを稼働させる。これはアドミッション コントロールで50%予約しておくとよい。Go Watanabe on Twitter: "2 Node vSANの実体は、ESXi 2台 + 監視ホストのストレッチ クラスタ。たとえば監視ホストはMain DCに集中配置、各Remote Officeに小さなvSANを配置といった構成ができる。ESXi同士のvSAN NW直結も可能で、この場合は監視ホストに通信可能なvmk portに「vSAN監視」を割り当てるWTSというNW構成にする。… https://t.co/44UM67Mi4c"