ほほほのほ - os:xenserver

XenServer 関連メモ

anonymous@undisclosed.example.com (Anonymous) — Fri, 17 Apr 2015 06:20:52 +0000

XenServer 関連メモ

Last Update: 2015/04/17

XenServer用NetBSD Templateを作る

とりあえず、動くNetBSD VMがあるという仮定。

/var/log配下のすべてのファイルを空にする。
- Fileは削除しちゃダメよ。
rm /var/run/* (決して、rm -rf ではない事に注意)
rm /var/run/lvm/* (決して、rm -rf ではない事に注意)
rm /var/mail/* (決して、rm -rf ではない事に注意)
rm /etc/ssh/*key* (決して、rm -rf ではない事に注意)
/etc/ifconfig.*を/etc/_ifconfig.*にrename
/etc/mynameを/etc/_mynameにrename
/etc/rc.conf内のrc_directoriesを確認して、必要ならコメントアウト
/etc/localtimeを削除して ln -s /usr/share/zoneinfo/Japan localtime を実行
数回syncして、umount -aする
halt -p
XenServerのGeneral右Propertiesで、boot optionに-sを追加する

XenServer/XCP-ng Tips

anonymous@undisclosed.example.com (Anonymous) — Tue, 24 Oct 2023 18:10:00 +0000

XenServer/XCP-ng Tips

NICを交換する

本項はXCPng 8.3でのNIC交換に関するメモである

https://support.citrix.com/article/CTX135809/how-to-change-order-of-nics-in-xenserver

まくら

XCP-ngはXCP-ng 8.3時点でOSとして「非常に大きく改変されている」がCentOSを利用している。これはつまり、NICのChipが何であろうとNetwork Interfaceをeth?? として管理しているということである。

さて、Poolを組み、複数台の同一構成のマシンを所属させるとしても、kernelの認識順序によって、eth??に割り当てられるportが同じになるとは限らない。実際、手元の環境では、

NIC	Host A	Host B	備考
Onboard igb	eth0	eth1	GbE
Chelsio T520 Port 0	eth1	eth0	10GbE
Chelsio T520 Port 1	eth2	eth2	10GbE

となってしまい、Host AとHost B間でNetwork I/Fが違う状況になってしまった。これでは、Poolを組んだ時に、igbにManagementを割り当てようとして困ることになるし、実際、PoolのNetworkを作る際に困ったことになった。

というわけで、Host Bのeth0/eth1を入れ替えたいということになる。

また、NICが壊れてしまった場合、NICを交換することになる。以下の構成である場合を例にする。

eth0: Onboard NIC (Intel GbE 1port)
eth1: Chelsio T520 port 1 (Chelsio 10GbE) 利用中
eth2: Chelsio T520 port 2 (Chelsio 10GbE) 利用中

ここで、Chelsio T520が壊れたので、交換しようとすると、以下の手順を取ることになる。

XCP-ngをshutdownする
NICを交換する
起動する
- ここで、XOAでNetworkを確認すると、eth1-eth2が見えて、新しいNICは見えない。

PIFをforgetする

以下のscriptを実行する。

# for i in 1 2 3 4; do
> xe pif-list device=eth$i | egrep '^uuid' | sed 's/.*: //' | xargs -i xe pif-forget uuid={}
> done

ここで、xe pif-scanを実行すると、eth1/eth2に新しいNICのポートを割り当てて欲しいのだが、そうならずeth3/eth4が生えてしまう。

変更

というわけで、以下に、ethの番号を設定する方法を記載しておく。

NICを交換したい/番号を付け替えたいServerをpoolから外す(XOAなどでどうぞ)
NICを交換したい/番号を付け替えたいServerのConsoleにloginする
- Management portをいじる場合、(Network越しではなく)直接Consoleからlocal shellを起動してloginする
必要な設定を投入する
- /etc/sysconfig/network-scripts/interface-rename-data に移動する
  - Distroやversionによって異なることを書いてある記事が多いので注意。XCP-ngの場合は、上記ファイル。
- dynamic-rules.jsonを Editorで開く
- oldに登録されている情報を全て削除
  - これで、起動時に余計なNICデータは削除される
  - 登録されているNICの情報(Mac Addressなど)を確認し、device名をeth??に変更する
  - 再起動 reboot する
XCP-ngが起動する
以下の作業を実行する
1. Console(xsconsole)からshellを実行
2. xe pif-list を実行
3. 不要なpifを xe pif-forget uuid=xxx を実行して削除
4. xe pif-scan host=xxx を実行して、PIFを登録する
5. xsconsole から Network and Management Interface メニューで、管理I/Fを設定する
あとは、XOAで認識させて、必要な設定を実行する

注意点

状況にもよるのだろうが、対象となるXCP-ng Serverがpoolに所属している場合、xeコマンドが正しく動作しないことがあった。その場合、poolから当該のserverを外す必要がある
- おそらく、Poolに所属している場合、同一Pool内の他のマシンの情報を取得しようとして固まるのだと思われる
もしdevice名を変更したいNICがManagementのNICである場合、xe pif-forgetでもpifを削除できない。
- この場合、別にNICにManagement Networkを割り当てて(xsconsoleから設定すれば良い)、Management Networkではないように設定する必要がある

NetworkのMTUを変更する

一般に、通常のInternet通信ならMTUを1500以外に変更する意味はない。Flet'sでPPPoEを利用する際に若干小さくする(1480Bytes程度)にすることは無駄ではないが、せいぜいその程度。

しかし、LAN内で特にStorageのような通信量が多いNetworkで10G I/Fを使用している場合においては、MTUが1500ではNetwork的に遅くなるし、CPU負荷も（若干だが）上がってしまう。

特にXCP-ngのStorage Network(iSCSIとかNFSを利用しているNetwork)においては、MTUの差は大きく効くことになる。

しかし、XOA 単体では、NetworkのMTUを変更できないので、以下に変更の手順を。(なお、前提としてXCP-ng 8.2以降、XOAによる制御環境とする)

XOAで対象のPoolに接続し、Network Tabを開く
MTU変更の対象となるNetworkを確定し、右側にあるUUIDをCopyする
Consoleから(XOAからでも良い)対象のPOol MasterのConsoleに接続する

以下のような操作を行う

# xe network-param-set uuid=[Copyしたnetwork-uuid] MTU=9000

変更したPool内の各Serverの当該PIFを確定し、各serverにおいて以下を実行する
- ```
# xe host-management-reconfigure pif-uuid=<PIF_UUID>
```
- これを実行しないと、I/FのMTUは旧来のままとして表示される
これでNetwork、NICともにMTUが変更される。一応pingを打って（可能ならping -s 9000 [dest]で9000Byteのpingを飛ばし、tcpdumpでpacketが分割されていないことを確認する)

XCP-ngで2TiB以上の大きさのDiskをVMに割り付ける

XCP-ng(おそらくはXenServerも)は、XCP-ng Console/XenConsole/XOA からは2TiB以上のVirtual DiskをVMに割り当てることができない。この場合の2TiBは「割り当てられた全てのVirtual Diskの容量の合計」であって、個々のVirtual Diskの容量ではないことに注意が必要である。

しかし、様々な事情により、4TiBのVirtual Diskを持つTimeMachine Backup用のVMを作成したい状況になってしまったので、対応策を以下に記載する。

準備

今回は、Boot用に10GiB、データ用に4TiBのVirtual Diskを持つVMを作成するものとする。

XCP-ng Console等から新規VMを作成する。
普通通りにVMを作成すれば良いが、自動起動をOffにすることと、起動用の10GiBのDiskのみをVMにattachしておく。
作成が終了すれば、VMは起動されないので、準備完了

4TiBのDiskをAttachする

この作業はXCP-ng Consoleからはできないので、XCP-ngにloginし、CLIを駆使して作業する。

xe sr-list name-label=NameOfNAS
- ここで、SRのUUIDを取得する。取得したUUIDを以下 [SRuuid] と表記する
vgs | awk '{print $1}' | grep [SRuuid]
- ここで、VG名があることを確認する。取得したVG名を以下 [VGname] と表記する
lvcreate -L4T -n“LV-“$(uuidgen) [VGname] –config global{metadata_read_only=0}
- -L4T は容量が4Tということなので、自分の必要な容量を指定すること
xe sr-scan uuid=[SRuuid]
- XCP-ng側で新たに作成したLVを認識させる

これで、XCP-ng ConsoleのSRから新たに作成したVirtual Diskが見えるようになっているはずなので、XCP-ng consoleから確認し、準備で作成したVMにattachする

XCP-ngでlocaldiskの処理をする

XCP-ng環境において(おそらくXenServerでもそのまま適用できるはず)、あるXenServer hostにlocal storageを追加する必要に迫られることがある。この時に、以下の状況が発生して酷い目にあうことがあるので、復旧方法のメモを。

XenServerでPoolを組んでいる
- ここでは、Pool masterをXS-M/その他のサーバーとしてXS-Sの２台でPoolを構成していると仮定する
Pool masterではないPool構成ServerにLocal Diskを追加して、それを認識させる
- XS-Sに2TのDiskを接続し、Local SRとしてVMを設定する。接続されたDiskが仮に、sdbとして認識されたとする
- Diskとしてどう認識されたのか、はdmesgなどを利用して確認すること。いくつかの手段は後述する
新たに接続したDiskをLocal SR(name-label=Local-Add-1)として認識させる
VMなどを設置して稼働させる
なんらかの理由でXS-Sから追加したLocal-Add-1が消えた
- 今回は、XCP-ngのUpdate時にうまく更新ができず、一度Poolから外してPoolに再度接続したら事象が発生した

このような局面で、通常通りにLocal SRを構築してしまうと、Local-Add-1に記録されたVMのDisk Imageがなくなってしまい、痛い思いをすることになる。

というわけで、ここでは、

Local SRの作り方
切り離されたLocal SRをReAttachする方法

を記述する

Local SRの作り方

HDDをXS-Sに接続する
- 近年では、Hot Plugができる筐体とMotherBoardが普及しているので、rebootしないで済む可能性がある
dmesg コマンドやcat /proc/partitions などから、新たに接続されたDeviceのdevice nameを確認する
- どのDiskが新しいDiskかを判断するのは実は結構難しい。
- 個人的には、dmesgを利用してDevice nameを確認し、/proc/partitionの当該の#blocksを見て容量から正誤判断することが多い
ls -l /dev/disk/by-idの出力を確認し、Symbolic Linkの出力を見ながら、DiskのLabelを確認する。
- 今回は、wwn-0xzzzzzzzzzzzzzzzz → ../../sdbから、DiskのLabelがwwn-0xzzzzzzzzzzzzzzzzであるとする
xe host-listを実行し、XS-Sのhost-UUIDを取得する
- 今回は、host-uuidがyyyyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyyであるとする。
xe sr-create name-label=“Local-Add-1” type=lvm device-config:device=/dev/disk/by-id/wwn-0xzzzzzzzzzzzzzzzz host-uuid=yyyyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy を実行する
- この時、追加したsdbはlvmで初期化されてしまうことに注意
- 通常は問題にならないが、Partitionが分離されている場合、注意すること

これで、XCP-ng Center(XenCenter)の左側のペイン(Resource Pain)のXS-Sに、Local-Add-1が追加される

(おまけ) 追加したLocal Storageを完全に切り離す方法

xe sr-list name-label=“Local-Add-1” を実行し、SRのUUIDを取得する
- SRのUUIDをxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxとする
xe pbd-list sr-uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxを実行し、PBDのUUIDを取得する
- PBDのUUIDをwwwwwwww-wwww-wwww-wwww-wwwwwwwwwwwwとする
xe pbd-unplug uuid=wwwwwwww-wwww-wwww-wwww-wwwwwwwwwwww を実行し、PBDを切り離す
xe sr-forget uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx を実行し、SRを削除する
xe pbd-destroy uuid=wwwwwwww-wwww-wwww-wwww-wwwwwwwwwwww を実行し、PBDを削除する

これで、コマンドラインからlocal SRとLocal Diskを切り離せる。

切り離されたLocal SRをReattachする方法

ここで、切り離さ亜れたDiskをLocal SRとして再度認識させる方法を以下に記載する

pvdisplayを実行する
- 対象となる/dev/sdbのVG Nameを確認する。このVG Nameが存在しない場合、本件のScope外となるので色々調べてください。
- ここでは、VG NameがVG_XenStorage-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxであるとする。
- つまり、VG Name内に、SR-UUIDが記録されているということである。
xe sr-introduce uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx name-label=“Local-Add-1” type=lvmを実行して、SRを作成する
- この段階で Resource PainにDisk Iconに×が付いた状態ではあるが、SRが認識される
xe pbd-create host-uuid=yyyyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy sr-uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx device-config:device=/dev/disk/by-id/wwn-0xzzzzzzzzzzzzzzzz を実行し、PBDを作成する
- これで、SRと物理Diskの接続が明確になる
- PBDのUUIDが表示される。ここでは、vvvvvvvv-vvvv-vvvv-vvvv-vvvvvvvvvvvvとする
xe pbd-list uuid=vvvvvvvv-vvvv-vvvv-vvvv-vvvvvvvvvvvvを実行し、PBDの状況を確認する
- これで、Resource PainのXS-Sの所に、Local-Add-1が×付きのまま移動する
- currently-attachedがfalseであることに注意。
xe pbd-plug uuid=vvvvvvvv-vvvv-vvvv-vvvv-vvvvvvvvvvvvを実行し、PBDを接続する
- これで、Resource PainのXS-Sの所あった×が消える
- Resource PainからLocal-Add-1を選択し、Storage Tabを確認すると、DiskのListが表示される
- あとは、じっくり、正しいVMにDiskを接続していけばよい
(おまけ) xe vdi-list sr-uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxとすると、SR内に存在するVDI(Virtual Disk Image)が表示される。
- Storage Tabで表示される情報が出る。

XCP-ng 7.5から7.5.1へのUpdate

以下のコマンドを実行
- ```
yum update -y
```
Pool Masterを再起動
Poolを構成するMaster以外のServerを再起動

XCP-ng 7.4から7.5へのUpgrade

https://xcp-ng.org/2018/08/10/xcp-ng-7-5-upgrade/ を参照
- 記事執筆時点で、7.6がRelease Candidateになっており、7.5系は7.5.1になっていることに注意。
- 手順はおそらく変わらないだろうから、記載しておく。

まず、対象poolのpool masterにsshなどでloginする
xsconsoleコマンドを実行する
1. Backup, Restore and Update を選択する
2. Backup Virtual Machine Metadata を選択する
3. Root passwordを入力する
4. Backupファイルを設置するSRを選択する。今回は local storage
5. 数分待つ
6. QUITする
別の手段としてCommandlineから xe pool-dump-database filename=[Filename].xml を実行

以下のコマンドを実行

wget https://updates.xcp-ng.org/7/xcp-ng-7.5.repo -O /etc/yum.repos.d/xcp-ng.repo
yum clean metadata
yum install xcp-ng-deps
yum update

Pool masterを再起動
以下、Poolに所属している他のServerも同様に更新する

XCP-ng上でのGuest VMのauto power on

xe pool-list で、pool の uuid をゲット xe pool-list
POOL上の auto startを有効化 xe pool-param-set uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx other-config:auto_poweron=true
有効化したい VM でこれを実行 xe vm-param-set uuid=UUID other-config:auto_poweron=true

MetaData Backup

xsconsole
Backup, Restore and Update
Backup Virtual Machine Metadata

の順でメニューを選べばあとはみたまま。

Console画面を出す

[root@XenServ01 ~] xsconsole

xeでVMのNICをいじる

xeコマンドでVMのNICをいじる為のメモ。

AMDのブルドーザーコアマシンを使っていて、流石に古くなったので別のIntel XeonマシンにVMを移設した。細かいところは今度まとめるので、テキストでメモ書き

xe vif-list						←とにかくvifのlistを取得する
xe vif-param-list uuid=....				←必要なvifを探す。見つけたら、network-uuid(3)をメモする
xe vm-list name-label="foo bar"				←とにかく、VMのUUIDを取得する(1)
xe vif-list vm-uuid=(1)					←VMに紐づいているvifのリストを取る
							　VIFのUUID(2)が列記される
xe vif-destroy uuid=(2)					←VMにattachされているVIFがなくなる
xe vif-create vm-uuid=(1) network-uuid=(3) mac=random device=0
							←device 0番に適当に作成(random)したmac addressを
							　つけ、新たなvifとしてVMにattachする

これで、既存のVMに割り当てているNICを置き換える事が出来る。

ということは、こんな事をすればVMをxeコマンドだけで作れるってことかもしれない

事前に、割り当てたいNetworkのUUID(D)を取得する
xe vm-install new-name-label="VM のラベル名" template="テンプレートのUUID名"	←VMのUUID(A)が出力される
xe vm-param-set uuid=(A) VCPUs-at-startup=1		←起動時のCPUは１つ
xe vm-param-set uuid=(A) VCPUs-max=1			←CPUの最大値は1つ
xe vm-param-set uuid=(A) memory-dynamic-max=1073741824	←Memoryは1G
xe vm-param-set uuid=(A) memory-dynamic-min=1073741824	←Memoryは1G
xe vm-param-set uuid=(A) memory-static-max=1073741824	←Memoryは1G
xe vm-param-set uuid=(A) memory-static-min=134217728	←Memoryは最小でも100M
xe sr-list						←SRのリストを取得。VMを作りたいSRのUUID(B)をメモる
xe vdi-create sr-uuid=(B) virtual-size=17179869184 type=system name-label=(VDI のラベル名) sharable=false
							←Diskの容量は16G、System Diskとしてラベルをつける
							　VDIのUUID(C)が出力される
xe vbd-create bootable=true device=xvda mode=RW type=Disk unpluggable=false vdi-uuid=(C) vm-uuid=(A)    
							←VBDを作成し、VMと結びつける
xe vif-create vm-uuid=(A) network-uuid=(D) mac=random device=0
							←VMにNetworkを割り当てる
xe vm-param-set uuid=(A) other-config:install-repository=http://mirror.centos.org/centos/6/os/x86_64
xe vm-param-set uuid=(A) PV-args="ksdevice=eth0"
xe vm-param-set uuid=(A) other-config:disable_pv_vnc=1
							←必要なパラメータをセットする
xe vm-start uuid=(A)					←VMを起動する
xe console uuid=(A)					←VMのConsoleに繋ぐ

あとはpif関連とかパラメータとかを理解すればいいのか。

MTUを9000にする

XenServ01のeth1のMTUを9000にする場合

[root@XenServ01 ~]# xe pif-list host-name-label=XenServ01 device=eth1
uuid ( RO)                  : xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
                device ( RO): eth1
    currently-attached ( RO): true
                  VLAN ( RO): -1
          network-uuid ( RO): hhhhhhhh-hhhh-hhhh-hhhh-hhhhhhhhhhhh

[root@XenServ01 ~]# xe pif-param-set uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx other-config:mtu=9000
[root@XenServ01 ~]#

これで再起動すれば eth1のMTUが9000になる
MTUを9000にしたものの、Switching HUBがMTU 9000に対応していないということはままあることですが、その時には、以下をどうぞ

[root@XenServ01 ~]# xe pif-list host-name-label=XenServ01 device=eth1
uuid ( RO)                  : xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
                device ( RO): eth1
    currently-attached ( RO): true
                  VLAN ( RO): -1
          network-uuid ( RO): hhhhhhhh-hhhh-hhhh-hhhh-hhhhhhhhhhhh

[root@XenServ01 ~]# xe pif-param-get uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx param-name=other-config
: ; mtu: 9000;
[root@XenServ01 ~]# xe pif-param-clear uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx param-name=other-config
[root@XenServ01 ~]# xe pif-param-get uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx param-name=other-config

[root@XenServ01 ~]#

これでパラメータが消えます。ので、再起動してください。
- 当然、NFSやiSCSIもMTUを1500にしておくほうがいいですよ。
なお、Xenに限らず、iSCSIやNFSを利用するなら、Networkを独立させて、かつJumbo Packetを通せるSwitchにしておくほうが性能が出ます。

Open vSwitchのメモ

XenServer(XCP)内のOpen vSwitchの状況を確認する
- brctl show
- ovs-vsctl show

詳しいことは、これから調査…

トラブル等関連

anonymous@undisclosed.example.com (Anonymous) — Thu, 18 Jul 2024 07:40:01 +0000

トラブル等関連

Last Update: 2024/07/18

DiskFull

XenServerは、どうもlogrotate時にlogファイルを削除しない模様。また、XenServerを普通にInstallすると、Control DomainのDiskは4Gになる。その結果、Control DomainのDiskが埋まってしまう事がある。そういう場合には、loginした上で、

# cd /var/log
# rm -f *.[0-9][0-9].gz
# rm -f *.[0-9][0-9][0-9].gz

すれば良い。ただし、間違ったファイルを消さないよう、事前に確認をちゃんとする事。

No interface present

XenServer 6.2SP1にHotFixを適用後再起動したら、PoolのSlave側で No interface present となった。

この症状がなぜ出るのかは不明だが、以下の条件の場合には復旧できる可能性がある。

XenServerのコンソールから Network and Management console をみると、No interface presentが表示される
XenServerのコンソールから Local Command Shell を選択する
- このとき、管理者権限の認証(平たくいえばrootパスワードを聞かれる)がある。ここで、正しくPasswordが入力できれば、最小限のデータは壊れていない可能性が高い
ifconfig -a を実行し、Ethernet portが認識されているかを確認する
- この時、正しくNICを認識していて、I/Fが見えている事を確認する
xe pif-listを実行する
- 今回は、いつまでたっても(30秒くらい)返事が返ってこなかった

この状況の場合、以下の手段で復旧する「ことがある」

Local Command Shellから以下のコマンドを入力する
```
xe pool-emergency-transition-to-master
```
すると、pool構成員から(一時的に)masterに戻る
Local Command Shellを抜け、Network and Management consoleを選択
Management I/FにIP Addressを設定する
再起動

これで戻らない場合は、更に格闘が必要だが、そこまで至っていないので、どうなるのかは不明。

なお、XenServerでHAを構成している場合には、xe host-emergency-ha-disableの前に、xe host-emergency-ha-disableを入力して、HAをOffにすること

Taskが進行せずPendingになった時の対処

* http://www.ballblog.net/2010/06/vm-stuck-in-pending-state-on-xenserver.html

xe task-list でTaskの一覧を見られる。特にPendingに注意
xe task-cancel force=true uuid=<UUID> でTaskをキャンセルできる
この後、xe vm-reboot や xe vm-shutdownで更にPending Taskが出来る、もしくは、そもそもPending Taskが減らないようならば xe-toolstack-restart を実施
これでXenCenterからVMの状態などを見て、必要なら更に xe task-cancel uuid=<UUID> する。

VMをどうしてもrebootできないとき

Last Update: 20240718 : refresh sequence and replace commands.

VMがどうしてもrebootできないことがある。

そういう時にはまず
1. xe vm-reboot UUID=${vm_uuid}
だめなら、さらに強制的に再起動する
1. xe vm-reboot UUID=${vm_uuid} force=true
これでも駄目だ。もういい！
1. VM の UUID を確認
2. list_domains コマンドで VM の domain ID (!=UUID) を確認
  - list_domains | grep ${vm_uuid}
3. xl destroy ${ID}
  - しかし、これでは、PowerStateがRunningで、状態がおかしくて何もできん!!!
4. xe vm-reset-powerstate –force uuid=${vm_uuid} もしくは xe vm-reset-powerstate –force vm=${vm_name}

かなり危険

See https://xcp-ng.org/forum/topic/3771/vm-migration-failed-now-can-t-access-vm/7

VDI is not available

The VDI is not available. というエラーメッセージが XenCenter の Logs タブに出現した時(By motoさん)

当該VMに紐付いたディスクイメージ(Xen的にはvdi)が見つからない状態である。
当該VMの名前が“exampleVm”であれば、xe vbd-list vm-name-label=examleVMコマンドを実行してvbdを特定する。
- 通常、各VMにはDVD-ROMドライブとHDDドライブのふたつのvbdがattachされているので上のコマンドの実行結果にもふたつのvbdが表示される。
- このうちHDDのvbdにはvdiのuuidが付いており、上のコマンドの出力結果ではvdi-uuid欄に表示されているのでメモする。これをVDIUUIDとする。
- xe vdi-list uuid=VDIUUIDを実行して、sr-uuidを確保する
- xe vdi-list name-label=Diskの名前で検索することも可能
XenCenterで当該HDDをdetatchする
xe vdi-forget uuid=VDIUUIDコマンドを実行して当該VDIを一旦XenServerのデータベースから消す。
- 消す前後に xe vdi-list uuid=VDIUUIDによって状況を表示するとデータベース上に存在していたvdiが消されたことがわかる。
SRのデータベースに再登録させるためにxe sr-scan uuid=SRUUIDコマンドを実行する。
XenCenterの当該SRのStorageタブに無名のvdiが出現するので、Property設定から名称などを指定する。
XenCenterの当該VMのStorageタブでこのvdiを指定して当該VMがbootするディスクイメージとする。
これでbootすれば復活できる場合がある。
- bootするまでに多少の時間が必要なことがある。また、起動しない場合に更にxe-toolstack-restartを実行する必要がある場合もある。

XenServerに接続しているiSCSI SRが破損した場合の対応

この記事は、以下の状況に陥った場合の解決策(解決できるかもしれない策)である。

XenServerにiSCSIをSRとして接続している場合に於いて
何らかの理由で、XenServer側からiSCSI SRに記録されているVDIが見えなくなった
- iSCSI Diskシステムが発狂し、SRに記録されているMetaDataが破損していたり、SRのDBが破損したりする等が考えられる。
見えなくなった理由が、破損がVDI単位ではなく、SR単位であると考えられる

このような障害に見舞われた場合、XenCenter等で“VDI is not available”が出力される。単順な対策に関しては、別に記載したが、その方法では復旧できない場合に、神に祈るような想いで実施する手順である。

この記事の元になった障害事象は、

XenCenter側で “The VDI is not available”が表示された
Knowledge Centerに記載されている方法では復旧できなかった
xe sr-scanでVDIが無いと怒られた

である。

　- まず確認すべき事項

XenServerのPool Masterにloginする
xe sr-scanを実行
- あるUUIDがおかしいといわれる
ls /dev/mapperを実施し、iSCSI SRのUUIDと比較
- UUIDが同一の物を確認
lvscanを実行
xe sr-scan実行時に出力された異常なUUIDを探す
- 見つからないはず

この状況であるなら、この記事に記載する方法によって復旧する可能性がある。

これは、この状況に陥っている場合、

LVM イメージは存在しないにもかかわらず
LVM側のMetaDataには「存在しないはずの」LVMの情報が残っており
sr-scanでLVM情報を確認してXenServerに読み込もうとしたが
イメージが存在しないので読み込めず
結果The VDI is not availableとなった

という状況であると考えられる。この場合、XenServer pool側では、そもそもSRが異常なので、そのSRにVDIが記録されている全てのVMが正しく動作しないはずである。 (なぜなら、この状況では、XenServerはPoolからSRを切り離す等するはずだからである)

以下復旧手順

lvdisplayを実行し、xe sr-scanにて表示された「存在しないはずのVDIのUUID」を探す
その結果、LV Nameに/dev/VG_XenStorage-xxxx/VHD-[存在しないはずのVDIのUUID]というLogical volumeが見つかるはずである。
- もし見つからなかった場合、この記事のscopeではないので、別途格闘する必要がある。出会っていないので対策は不明
これが見つかった場合には、以下を実施
1. まず、当該のSRのFull Dump(もしくはDuplicate)を実施し、最悪の場合に元に戻せるようにする
2. lvremove /dev/VG_XenStorage-xxxx/VHD-[存在しないはずのVDIのUUID]を実行する
3. xe sr-scanを再度実行する

これでなおることがある。

参考: discypus Linux/LVM/LVMの削除

XCP-ng xe command

anonymous@undisclosed.example.com (Anonymous) — Sat, 10 Feb 2024 13:50:00 +0000

XCP-ng xe command

xeを利用した各種の制御に関するLink

http://d.hatena.ne.jp/eth0jp/20111224/1324701783

VM関連の情報(new)

Add VIF to VM

# xe network-list						# Get Target Network UUID
# xe vm-list							# Get target VM's UUID
# xe vif-list vm-uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX	# Check current VIF list.
  * xe vif-create vm-uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX network-uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX mac=random device=1
# xe vif-create vm-uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX network-uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX mac=random device=2

Add VBD to VM

# xe sr-list
# xe vbd-list vm-name-label="VMname"
# xe vdi-list uuid=[vdi-uuid]		# get Virtual-size: 42949672960
# xe vdi-create sr-uuid=71c6324f-235d-d4f2-7ccc-bc3a3b357913 virtual-size=42949672960 type=system name-label="VMname disk1"			# VDIのUUIDが出力されるのでメモする
# xe vbd-create device=xvdb mode=RW type=Disk unpluggable=false vdi-uuid=9a5525e3-b074-4f07-89a4-cbb70974cb59 vm-uuid=53241fbf-5564-7a2e-7d13-7870155775bf userdevice=1 unpluggable=true other-config:owner=true			# userdeviceを指定しないと、devicenameが入り、FreeBSDでは認識しなくなったので注意

Change Memory size of VM

# xe vm-param-set uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX memory-static-max=2147483648
# xe vm-param-set uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX memory-dynamic-max=2147483648
# xe vm-param-set uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX memory-dynamic-min=2147483648
# xe vm-param-set uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX memory-static-min=2147483648

Change number of vCPUs

# xe vm-param-set uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX VCPUs-at-startup=2
# xe vm-param-set uuid=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX VCPUs-max=2

Pool関連

Pool masterをServerNameなマシンに変える

xe pool-designate-new-master host-uuid=`xe host-list name-label=ServerName --minimal`

古いPatchファイルを削除する
- ```
for i in `xe patch-list --minimal|tr "," " "`;do xe patch-pool-clean uuid=$i;done
```
- xe patch-cleanでは、実際にはファイルが削除されない。

Pool内のVM listをとる

```
xe vm-list
```
```
xe vm-list name-label=VM名
```
```
xe vm-list name-label=VM名 --minimal
```

PoolにattachされているVDI情報をとる
- ```
xe vdi-list
```
PoolのUUIDを取る
- ```
xe pool-list
```
Poolの情報をとる
- ```
xe pool-param-list uuid=poolのUUID
```

Poolの自動起動を許可する

xe pool-param-set uuid=poolのUUID other-config:auto_poweron=true

Pool内のVMのPower stateがおかしくなった時のrecover
- ```
xe vm-reset-powerstate force=true vm=server名
```

Server関連

特定のServerで動作しているVMを探す

xe vm-list resident-on=`xe host-list name-label=ServerName --minimal` | grep name-label|cut -f9- -d" "

起動中のVM一覧
- ```
xe vm-list power-state=running
```
タスク一覧
- ```
xe task-list
```
  - タスクのUUIDが出力される
タスクのキャンセル
- ```
xe task-cancel uuid=タスクのUUID
```

GuestVM関連

XenServer上のVM ImageをBackup
1. Backupを配置するDirectoryに移動する
2. ExportしたいVMのname-labelかUUIDを入手する
  - ```
  xe vm-list
```
3. Exportする
  - ```
  xe vm-export filename=xxxxxxxx.xva name-label="testVM"
```
- この時、ExportするVMのファイル名に付ける拡張子はxvaでなければならない
xvaファイルをImportする
- ```
xe vm-import filename=xxxxxxxx.xva
```
- オプション
  - preserve=trueを引数として渡すと、元のVMのMAC Addressが保存される
  - sr-uuid=[宛先 SR UUID]を引数として渡すと、sr-uuidで渡したUUIDのDiskに保存される
VMの(XenServer的)管理情報をとる
- ```
xe vm-list params=all name-label=VM名
```

VMのパラメータ一覧を取る

```
xe vm-param-list uuid=対象VMのUUID
```

xe vm-param-get uuid=対象VMのUUID param-name=other-config

VMにattachされているDisk(VDI)のリストをとる
- VMが利用中のDisk
  - ```
    xe vm-disk-list name-label=VM名
```
- VMが利用中のDisk(snapshotも含む)
  - ```
  xe vbd-list vm-name-label=VM名
```
- vbdのリスト
  - ```
  xe vbd-list vm-uuid=VM-UUID
```
- VDIの管理情報
  - ```
  xe vdi-param-list uuid=VDI-UUID
```
SRの情報
- ```
xe sr-list name-label=SR名
```
SRの情報を再スキャン
- ```
xe sr-scan uuid=SRのUUID
```
- なお、SR等の名前にはASCII文字しか入れないこと。
CrossPool Migration
- XenServer 6.0以降では、VMのMigrationに、Pool内の縛りが無くなった。
  - もちろん、移行元、移行先ともに、6.0以降である事が必須
  - 但し、Migrateなので、VMが稼働していなければならない。
  - 対象VMには「XenServer Tools」が導入されている必要がある。
- ```
xe vm-migrate vm=[対象VM] remote-address=[IP Address remote-username=root remote-password=[Password] [destination-sr-uuid=...]
```

VMの起動

```
xe vm-start uuid=[対象VMのUUID]
```

xe vm-start name-label="対象VMの名前"

VMの停止

xe vm-shutdown [force=true] uuid=[対象VMのUUID]

xe vm-shutdown [force=true] name-label="対象VMの名前"

VMの削除

xe vbd-list vm-uuid=対象VMのUUID params=vdi-uuid device=xvda --minimal
xe vdi-destroy uuid=上記で調べたVDI-UUID
xe vm-destroy uuid=対象VMのUUID

UUIDで指定したVMを自動起動ONにする
- この場合、そもそも、Pool側で自動起動が許可されていなければならない。
  - ```
  xe-pool-list
  xe pool-param-set uuid=PoolのUUID other-config:auto_poweron=true
```
- これで、当該Poolの自動起動を許可してから以下を実施
- ```
xe vm-param-set uuid=対象VMのUUID other-config:auto_poweron=true
```
UUIDで指定したVMのコンソールURLを取得(VNC用)
- ```
xe console-list vm-uuid=対象VMのUUID
```

XenServer上のVMのSerial Consoleに接続

要するに、xm consoleをやりたい場合の作業

参考: http://www.cmdln.org/2010/04/06/how-to-get-console-on-linux-domu-with-xenserver-xm-console-equivlent/

```
xe vm-list name-label="VM名"
```
- 対象のVMのUUIDを取得する
```
list_domains
```
- 対象のVMのUUIDから、id番号を取得する
```
/usr/lib/xen/bin/xenconsole [id]
```
- (XenServer 6.2まで)
```
/usr/lib64/xen/bin/xenconsole [id]
```
- (XenServer 6.2まで)
- xenconsoleコマンドで、idを指定する事で、対象VMのserial consoleにつながる
抜けるには Ctrl-]

ただ、NetBSD相手の場合、使い物にならない…。入力が刺さるので。boot optionに -s console=com0してもダメなので、原因は不明。

もしくは、以下

```
xl list
```
```
xl console [id]
```
```
抜けるには Ctrl-]
```