vSAN のつぶやき。 Advent Calendar 2019

登録数 25/25人
作成者 gowatana's icon gowatana

VMware Specialist - vSAN 2019 ゲットした 記念に、何か日常生活のためになるかもしれないことをつぶやきます。(テストには出ない)

実は私は、#vSANvExpert 2019

SUN MON TUE WED THU FRI SAT
1
gowatana's icon
gowatana
2
gowatana's icon
gowatana
3
gowatana's icon
gowatana
4
gowatana's icon
gowatana
5
gowatana's icon
gowatana
6
gowatana's icon
gowatana
7
gowatana's icon
gowatana
8
gowatana's icon
gowatana
9
gowatana's icon
gowatana
10
gowatana's icon
gowatana
11
gowatana's icon
gowatana
12
gowatana's icon
gowatana
13
gowatana's icon
gowatana
14
gowatana's icon
gowatana
15
gowatana's icon
gowatana
16
gowatana's icon
gowatana
17
gowatana's icon
gowatana
18
gowatana's icon
gowatana
19
gowatana's icon
gowatana
20
gowatana's icon
gowatana
21
gowatana's icon
gowatana
22
gowatana's icon
gowatana
23
gowatana's icon
gowatana
24
gowatana's icon
gowatana
25
gowatana's icon
gowatana
  • 「Quick Start」の「ハイパーコンバージド クラスタ構成のコンプライアンス」は、Quick Startで設定した部分の確認と考えるとよいと思う。
    Go Watanabe on Twitter: "vCenter 6.7の Cluster Quick Start ESXi追加 → 自動でMaintenance Mode → vDS / Lock Doun / NTP / EVC 設定 → Maintenance 解除ができる。 vSANむけっぽく最後に「ハイパーコンバージド クラスタ構成のコンプライアンス」チェックをしてくれるが、これは、上記設定をしたかの確認っぽい。… https://t.co/LYZIZNaJWD"
  • どうせ物理NIC同じだし・・・とvmkに複数の役割をもたせるときに。ただ分割すれば管理対象のセグメントやIPは増える。
    Go Watanabe on Twitter: "1つのVMkernel Port に管理 + vMotion + vSAN みたいな複数の役割を持たせられる。しかし、監視/モニタリング/トラブルシュートなどの観点から、HCIでありがちな物理NICポートを共有するケースでも、分割しておいて損はないと思う。 極端な例としてvmk0だけ/vmk0-2のパターンの様子・・・… https://t.co/njzEIhdGLX"
  • 4枚目はVCSAのrvc。ESXiあたりのVotes(投票)数に注目。コンポーネント2つまではWitness(監視)で+1。それをこえるとVotesで多数決できるようにしているっぽい。
    Go Watanabe on Twitter: "vSAN Object (VMDK など)はDefaultのStorage Policyだと、Component ミラー2つに Witnessで障害時の両方Active防止する。ただし255GB超えるオブジェクトはComponent分割される。このときvSAN 6.0以降ではWitness使わなくなる。 説明は「監視」のvSAN 6.0 以降では~あたり https://t.co/U6t4g9x7VH… https://t.co/9ZFPFNiuQx"
  • PowerCLI の vSAN のカバー範囲を、おおまかに俯瞰。ざっくり雰囲気をみたのでCmdletしかサマリできてなくて AliasのRepair-VsanObjectがもれてた。
    Go Watanabe on Twitter: "PowerCLI には、だいぶ vSAN 関連の Cmdlet が充実している。vSAN 関連は主に https://t.co/lUlnF3VSSR Module。Cmdlet 名後半のNoun(名詞部分)ごとに前半のVerb(動詞)を並べると、できることサマリになる。Vsan/Storage Policy Based Management (Spbm)/他、で PowerCLI 11.5 の様子。… https://t.co/sTi5irqjvQ"
  • vsanSparseのチェーン構造は、いままでどおり.vmdkファイルでもわかる。
    Go Watanabe on Twitter: "vSAN 6.x では、あらたにvsanSparse Snapshotになっている。ひきつづきチェーン構造だがin-memoryなメタデータキャッシュで性能向上とのこと。従来のvmfsSparseとは異なり、すぐに削除しなくてもよいらしい。 https://t.co/5tdMZyRfmy… https://t.co/CCxeIqzbTr"
  • オブジェクト修復タイマー自体を短くすることもできるが、過度なリビルドをさけるべく、その環境でのESXiのメンテナンスの所要時間なども考慮する。
    Go Watanabe on Twitter: "vSANでESXiがダウンしたりするとそのホスト上のコンポーネントは「なし(Absent)」状態になり、「オブジェクト修復タイマー」による遅延タイマーで再構築を待つ。デフォルトでは60分まってAbsentなままだと再構築されるが「今すぐ再同期」ですぐ再構成することもできる。 https://t.co/uJ4YOkI5D2… https://t.co/Lj7SVQUni7"
  • 障害ノード起動できなくなった、とかの場合には、ESXiの再構築は簡単でも復旧にはそこそこ時間かかるはず。安全におちついた運用をするにはvSANは4ノードから。
    Go Watanabe on Twitter: "vSAN Default Storage Policyによる「コンポーネントx2 + 監視x1」では、3-Node構成だけだとESXi 1台停止するとリビルドする場所がない。タイマーを過ぎても「必要なリソースが不足~」となり「可用性が低下 (再構築なし)」でおちつく。いわゆる業務継続はできるがこのまま次の障害が発生したら困る。… https://t.co/m7bMYSQMEv"
  • ポリシーをもとにした空き容量は、これから配置するVMを全部おなじポリシーにした場合の空き。ちなみに以前はノード数不足などで設定できないポリシーも選択できてしまっていた。
    Go Watanabe on Twitter: "vSAN 6.7 U3 の容量確認の画面。円グラフがついた。vSANではVM/VMDK単位で仮想マシン ストレージ ポリシーを設定するが、ポリシーごとの空き容量を「ポリシーを次に変更」で確認できる。そのvSANクラスタで設定可能なポリシーだけが表示/選択できるように改善された模様。… https://t.co/gTRXJDKkaG"
  • やむなくディスク構成の異なるESXiを混在させる場合でも、できればディスク グループごとのディスク構成(キャッシュの容量、キャパシティディスクあたりの容量とディスク数)は揃えた方がバランスよいと思う。
    Go Watanabe on Twitter: "vSAN では Hybrid / AllFlash が揃っていれば、クラスタ内にローカル ディスク構成の異なる ESXiが存在しても構成できる。たとえば 2 Disk Group/1 Disk Groupの ESXi を混在させても、特にエラーはなく、Capacity Disk分の容量も追加される。 しかし障害時はアンバランスになりやすいので要注意。… https://t.co/vckdTXvl40"
  • 12/10
    vDSを利用していれば、急なI/O負荷やディスク障害のときもNetwork I/O Control(NIOC)でvSANトラフィックが優先されるはず。
    Go Watanabe on Twitter: "vDSのNetwork I/O Control(NIOC)ではvSANトラフィックも制御できる。vDS作成時にデフォルト有効で、vSANトラフィックはインフラ維持で必要なので優先度高にされている。たとえばvmk1 - vMotion、vmk2 - vSANにしてみると、ESXiのesxtop - n key などでトラフィック制御の様子が見られるはず。… https://t.co/6F3P0Dy7Gx"
  • 12/11
    オブジェクト容量の予約は、Thin → 25% → 50% → 75% → 100%(Thick)で選択できる。でも一般的にThinかThickかを選択する気がする。
    Go Watanabe on Twitter: "vSANのデフォルトの「vSAN Default Storage Policy」は、Thinプロビジョニング。 Thickプロビジョニングの仮想マシン ストレージ ポリシーを作成して割り当てれば、仮想ディスク作成時に全容量を割り当てておくこともできる。たとえばこのとき100GBをTnickにすると、FTT=1なので2倍の200GBくらい。… https://t.co/ITZPKK1UmH"
  • 12/12
    FTT=2 RAID1 のポリシーでVMDKオブジェクトを見てみると,コンポーネント3つと、監視2つが5ノードに分散されている。
    Go Watanabe on Twitter: "vSANでは(Primary)FTT x 2 + 1 個のFault Domainが必要になる。デフォルトでは、1つのESXiが1つのFault Domainとみなされる。 FTT=2 RAID1 の仮想マシン ストレージ ポリシーを設定したい場合は、コンポーネント3つ + Witness1つで4ノード「ではなく」、じつは5ノードが必要。… https://t.co/Oyc3TxnYGW"
  • 12/13
    これとは別に、vSAN 6.7 U3からはvSAN iSCSI Targetを利用していないVMDKでもSCSI3-PRがサポートされた。
    Go Watanabe on Twitter: "vSAN iSCSI Target (VIT) はSCSI-3 Persistent Reservations(PR)に対応していて、WSFC などのゲストOSでのクラスタむけ共有ディスクとしても利用可。 vSAN外部のLinuxで接続確認すると、SCSI3-PR非対応の ローカルsdcはcommand not supported、一方VITによるsddであればPRに対応している。… https://t.co/gqHTq3r7Aw"
  • 12/14
    vSAN上VMDKをSCSI3-PR対応にするとき、仮想SCSIコントローラにSCSIバスの共有「物理」にして、接続するVMDK(ハード ディスク2とか)の共有は「共有なし」のままにする。
    Go Watanabe on Twitter: "vSAN 6.7 U3~ではSCSI3-PRがサポートされる。vSAN iSCSI Targetではない、vSAN上の共有VMDKをゲスト側クラスタに利用可。追加するSCSI ControllerでSCSIバス共有を「物理」にして、そこにVMDKを接続する。 以前の6.7 U1と、U3上のVMでsg_persistなどを試すと結果も異なる。 https://t.co/qI321gr3CN… https://t.co/9wCKFmplhI"
  • 12/15
    On-disk formatの互換性はvSANのバージョンによって異なる。vSANはESXiに組み込まれているが、これまでESXiとvSANでバージョン番号が揃っていないことがあったので要注意。
    Go Watanabe on Twitter: "vSANのon-disk formatは、6.7 U1から7、U3から10になった。 https://t.co/qjw7vWAXbu Disk Group作成時には自動的に最新になる。そしてvSphere&vSANのバージョンアップでは、vSAN新機能を使うためにvCenter→ESXi→vSAN on-disk formatの順にUPする。 なおon-disk formatは、Disk Group単位のもの。… https://t.co/I2wIjECHdW"
  • 12/16
    vSANでは、ディスクあたり80%以上でリバランスされるので、使用容量70%くらいが推奨らしい。データ保存の使用容量を気にするのはキャパシティ ディスク。一方キャッシュ ディスクの使用済み容量は表示されない。
    Go Watanabe on Twitter: "vSANの健全性チェックでは使用容量のDiskバランスもチェックする。そしてリバランス処理の様子も確認できる。例では空き容量不足で失敗しているが、こうならないように空き容量を見積もって、ESXiのディスク構成も揃えておくとよい。なお、Diskごとの容量はvSphere ClientやPowerCLIなどから確認可。… https://t.co/s73xbzQCDl"
  • 12/17
    vSAN健全性チェックのハードウェア 互換性リスト(HCL)警告も、VUMではインストール失敗あつかいとなり、メンテナンス モードの手動解除が必要だったりする。自宅ラボ/Nested環境などであれば、この項目で「サイレンスアラート」をオンにするとスルーできる。
    Go Watanabe on Twitter: "vSANのソフトウェアは、ESXiとあわせてvSphere Update Manager (VUM)+DRSで自動Updateが可能。VUMではESXiのメンテナンス モード移行が「アクセシビリティの確保」で全データ退避ではないので手作業Updateしてもよい。健全性チェックで問題があると停止し、微妙なまま残ホストを処理しない。… https://t.co/iEkaW5mprZ"
  • 12/18
    ホスト単位のvSANパフォーマンス画面では、通常のESXiのパフォーマンス画面にはないvSANキャッシュ デバイスの利用状況もわかる。たとえば「書き込みバッファの未使用割合」なども確認できる。
    Go Watanabe on Twitter: "vSANのパフォーマンス確認には、vSANクラスタで「パフォーマンス サービス」を有効化する。そうすると通常の監視→パフォーマンスとは別に、vSANのパフォーマンス情報が、クラスタ、ホスト、VMで表示されるようになる。 そしてパフォーマンス管理の情報自体もvSAN上にオブジェクトとして格納される。… https://t.co/0i3WBJ7K0m"
  • 12/19
    vSANの重複排除&圧縮機能はオールフラッシュ構成のみで使用可能。ハイブリッド構成(SSD+HDD)では有効化しようとしてもエラーになる。
    Go Watanabe on Twitter: "vSANデータストアにはデータ重複排除(デデュープ)および圧縮機能があり、容量削減の効果はvSphere Clientでも確認できる。容量削減はディスク グループ内。 設定はvSANクラスタ(vSANデータストア)単位となっていて、重複排除と圧縮はセットで有効/無効にする。どちらか一方だけの有効化は不可。… https://t.co/wSJNZUmk1C"
  • 12/20
    vSANパフォーマンス サービスを有効化していると、VMがいないデータストアでも、vSAN Default Storage Policy設定で「パフォーマンス管理オブジェクト」がある。デフォルトのままでは3ノードだと全データ移動のメンテナンスモードはエラーになってしまう。
    Go Watanabe on Twitter: "ESXiのメンテナンスモード切り替えにはvSANだと複数のデータ移行方法があるが、方法ごとに「データ移行の事前チェック」ができる。 ちなみにvSAN Default Storage Policyのオブジェクトには最低3ノード必要なため、全データ退避はできない。メンテ中の障害対策には4ノード以上の構成がおすすめ。… https://t.co/ia1BtuQgy2"
  • 12/21
    Linuxでdiscardオプション無しでファイルシステムをmountしている場合でも、ゲストOSでfstrimを実行するとvSAN側で容量解放できる。たとえば例の環境だとfstrim --verbose /data。(verboseは見やすさのため)
    Go Watanabe on Twitter: "vSANは、クラスタとゲストOSでUNMAP対応させておくと、ゲストOSでのファイル削除にあわせてThin Provisioningの容量解放ができる。クラスタ側はVCSAのRVC、ゲスト側はLinuxであればdiscardオプション。 ちなみにvSphereでのデータストア容量確認はvSphere Clientで「キャパシティ情報の更新」が必要。… https://t.co/Gv1Za7P3uT"
  • 12/22
    vSANのデータの物理配置分散はFault Domain(FD)で、一方VMの起動ESXiはDRSのアフィニティ ルールで制御する。FDのグループ化はvSphere Clientでは見分けにくいが、あえて物理配置を意識する構成なのでESXi名にラック/シャーシ配置などを含めてもよい気がする。
    Go Watanabe on Twitter: "vSANのFault Domain(FD)は、ラックやブレード/HCIでのシャーシ(ブロック)の障害対策として利用できる。デフォルトだとESXiごとにFDあつかいだが、ラックごとなどでFDを作成してESXiをグループ化する。vSANのデフォルトのFTT=1では最低3FDが必要だが、障害対応などの観点から推奨は4FD。… https://t.co/Pmrru1T9CU"
  • 12/23
    vSphere HAの隔離アドレス(das.isolationaddress)には、vSANネットワークのゲートウェイ、ない場合は物理ネットワーク スイッチにIPアドレス(SVIなどとして)を設定し、それを指定してもよい。
    Go Watanabe on Twitter: "vSANはvSphere HAのHeartbeat Datastore(Network障害時に、本当にESXiがNetwork隔離されたのか確認するための)としては利用できない。 そこでHAがより安全に、隔離されたホスト上のVMを停止→起動するには、HAの隔離(を確認する)アドレスにvSAN Networkレンジのアドレスを指定するとよい。… https://t.co/DTsA87aQMa"
  • 12/24
    実は ESXi のメモリが8GB だとvSANクラスタに8ホストまでしか含められず、9台目からはネットワーク接続できても「vSANクラスタ パーティション」が別になってしまう。ネステッド環境などでリソース少ない場合はメモリを増やせばよい。監視ホストも1台にカウントされるので要注意。
    Go Watanabe on Twitter: "vSANではプライマリ(優先)/セカンダリ サイトにわけてESXiを配置する、ストレッチ クラスタでサイト障害対策が可能。監視ホストが必要になり、オブジェクトを構成するComponent x 2とWitnessは、優先/セカンダリ サイトと監視ホストに分散配置される。サイト設定にはFault Domainが利用される。… https://t.co/8lkp2LKuDb"
  • 12/25
    2ノードvSANでは、データはESXiそれぞれにコピーが配置され、監視コンポーネントは監視ホストに配置される。そしてvSphere HAのFailoverを見込み実質1ノード分リソースでVMを稼働させる。これはアドミッション コントロールで50%予約しておくとよい。
    Go Watanabe on Twitter: "2 Node vSANの実体は、ESXi 2台 + 監視ホストのストレッチ クラスタ。たとえば監視ホストはMain DCに集中配置、各Remote Officeに小さなvSANを配置といった構成ができる。ESXi同士のvSAN NW直結も可能で、この場合は監視ホストに通信可能なvmk portに「vSAN監視」を割り当てるWTSというNW構成にする。… https://t.co/44UM67Mi4c"