本項はXCPng 8.3でのNIC交換に関するメモである
XCP-ngはXCP-ng 8.3時点でOSとして「非常に大きく改変されている」がCentOSを利用している。これはつまり、NICのChipが何であろうとNetwork Interfaceをeth?? として管理しているということである。
さて、Poolを組み、複数台の同一構成のマシンを所属させるとしても、kernelの認識順序によって、eth??に割り当てられるportが同じになるとは限らない。 実際、手元の環境では、
NIC | Host A | Host B | 備考 |
---|---|---|---|
Onboard igb | eth0 | eth1 | GbE |
Chelsio T520 Port 0 | eth1 | eth0 | 10GbE |
Chelsio T520 Port 1 | eth2 | eth2 | 10GbE |
となってしまい、Host AとHost B間でNetwork I/Fが違う状況になってしまった。これでは、Poolを組んだ時に、igbにManagementを割り当てようとして困ることになるし、実際、PoolのNetworkを作る際に困ったことになった。
というわけで、Host Bのeth0/eth1を入れ替えたいということになる。
また、NICが壊れてしまった場合、NICを交換することになる。 以下の構成である場合を例にする。
ここで、Chelsio T520が壊れたので、交換しようとすると、以下の手順を取ることになる。
# for i in 1 2 3 4; do > xe pif-list device=eth$i | egrep '^uuid' | sed 's/.*: //' | xargs -i xe pif-forget uuid={} > done
というわけで、以下に、ethの番号を設定する方法を記載しておく。
/etc/sysconfig/network-scripts/interface-rename-data
に移動するdynamic-rules.jsonを
Editorで開くreboot
するxe pif-list
を実行xe pif-forget uuid=xxx
を実行して削除xe pif-scan host=xxx
を実行して、PIFを登録するxsconsole
から Network and Management Interface
メニューで、管理I/Fを設定する一般に、通常のInternet通信ならMTUを1500以外に変更する意味はない。Flet'sでPPPoEを利用する際に若干小さくする(1480Bytes程度)にすることは無駄ではないが、せいぜいその程度。
しかし、LAN内で特にStorageのような通信量が多いNetworkで10G I/Fを使用している場合においては、MTUが1500ではNetwork的に遅くなるし、CPU負荷も(若干だが)上がってしまう。
特にXCP-ngのStorage Network(iSCSIとかNFSを利用しているNetwork)においては、MTUの差は大きく効くことになる。
しかし、XOA 単体では、NetworkのMTUを変更できないので、以下に変更の手順を。(なお、前提としてXCP-ng 8.2以降、XOAによる制御環境とする)
# xe network-param-set uuid=[Copyしたnetwork-uuid] MTU=9000
# xe host-management-reconfigure pif-uuid=<PIF_UUID>
ping -s 9000 [dest]
で9000Byteのpingを飛ばし、tcpdumpでpacketが分割されていないことを確認する)XCP-ng(おそらくはXenServerも)は、XCP-ng Console/XenConsole/XOA からは2TiB以上のVirtual DiskをVMに割り当てることができない。この場合の2TiBは「割り当てられた全てのVirtual Diskの容量の合計」であって、個々のVirtual Diskの容量ではないことに注意が必要である。
しかし、様々な事情により、4TiBのVirtual Diskを持つTimeMachine Backup用のVMを作成したい状況になってしまったので、対応策を以下に記載する。
今回は、Boot用に10GiB、データ用に4TiBのVirtual Diskを持つVMを作成するものとする。
この作業はXCP-ng Consoleからはできないので、XCP-ngにloginし、CLIを駆使して作業する。
xe sr-list name-label=NameOfNAS
vgs | awk '{print $1}' | grep [SRuuid]
lvcreate -L4T -n“LV-“$(uuidgen) [VGname] –config global{metadata_read_only=0}
-L4T
は容量が4Tということなので、自分の必要な容量を指定することxe sr-scan uuid=[SRuuid]
これで、XCP-ng ConsoleのSRから新たに作成したVirtual Diskが見えるようになっているはずなので、XCP-ng consoleから確認し、準備で作成したVMにattachする
XCP-ng環境において(おそらくXenServerでもそのまま適用できるはず)、あるXenServer hostにlocal storageを追加する必要に迫られることがある。 この時に、以下の状況が発生して酷い目にあうことがあるので、復旧方法のメモを。
このような局面で、通常通りにLocal SRを構築してしまうと、Local-Add-1に記録されたVMのDisk Imageがなくなってしまい、痛い思いをすることになる。
というわけで、ここでは、
を記述する
dmesg
コマンドやcat /proc/partitions
などから、新たに接続されたDeviceのdevice nameを確認するdmesg
を利用してDevice nameを確認し、/proc/partition
の当該の#blocksを見て容量から正誤判断することが多いls -l /dev/disk/by-id
の出力を確認し、Symbolic Linkの出力を見ながら、DiskのLabelを確認する。wwn-0xzzzzzzzzzzzzzzzz → ../../sdb
から、DiskのLabelがwwn-0xzzzzzzzzzzzzzzzz
であるとするxe host-list
を実行し、XS-Sのhost-UUIDを取得するyyyyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy
であるとする。xe sr-create name-label=“Local-Add-1” type=lvm device-config:device=/dev/disk/by-id/wwn-0xzzzzzzzzzzzzzzzz host-uuid=yyyyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy
を実行するこれで、XCP-ng Center(XenCenter)の左側のペイン(Resource Pain)のXS-Sに、Local-Add-1が追加される
xe sr-list name-label=“Local-Add-1”
を実行し、SRのUUIDを取得するxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
とするxe pbd-list sr-uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
を実行し、PBDのUUIDを取得するwwwwwwww-wwww-wwww-wwww-wwwwwwwwwwww
とするxe pbd-unplug uuid=wwwwwwww-wwww-wwww-wwww-wwwwwwwwwwww
を実行し、PBDを切り離すxe sr-forget uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
を実行し、SRを削除するxe pbd-destroy uuid=wwwwwwww-wwww-wwww-wwww-wwwwwwwwwwww
を実行し、PBDを削除するこれで、コマンドラインからlocal SRとLocal Diskを切り離せる。
ここで、切り離さ亜れたDiskをLocal SRとして再度認識させる方法を以下に記載する
/dev/sdb
のVG Nameを確認する。このVG Nameが存在しない場合、本件のScope外となるので色々調べてください。VG_XenStorage-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
であるとする。xe sr-introduce uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx name-label=“Local-Add-1” type=lvm
を実行して、SRを作成する×
が付いた状態ではあるが、SRが認識されるxe pbd-create host-uuid=yyyyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy sr-uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx device-config:device=/dev/disk/by-id/wwn-0xzzzzzzzzzzzzzzzz
を実行し、PBDを作成するvvvvvvvv-vvvv-vvvv-vvvv-vvvvvvvvvvvv
とするxe pbd-list uuid=vvvvvvvv-vvvv-vvvv-vvvv-vvvvvvvvvvvv
を実行し、PBDの状況を確認するLocal-Add-1
が×
付きのまま移動するxe pbd-plug uuid=vvvvvvvv-vvvv-vvvv-vvvv-vvvvvvvvvvvv
を実行し、PBDを接続する×
が消えるLocal-Add-1
を選択し、Storage Tabを確認すると、DiskのListが表示されるxe vdi-list sr-uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
とすると、SR内に存在するVDI(Virtual Disk Image)が表示される。yum update -y
Backup, Restore and Update
を選択するBackup Virtual Machine Metadata
を選択するlocal storage
xe pool-dump-database filename=[Filename].xml
を実行wget https://updates.xcp-ng.org/7/xcp-ng-7.5.repo -O /etc/yum.repos.d/xcp-ng.repo yum clean metadata yum install xcp-ng-deps yum update
xe pool-list
xe pool-param-set uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx other-config:auto_poweron=true
xe vm-param-set uuid=UUID other-config:auto_poweron=true
の順でメニューを選べばあとはみたまま。
[root@XenServ01 ~] xsconsole
xeコマンドでVMのNICをいじる為のメモ。
AMDのブルドーザーコアマシンを使っていて、流石に古くなったので別のIntel XeonマシンにVMを移設した。 細かいところは今度まとめるので、テキストでメモ書き
xe vif-list ←とにかくvifのlistを取得する xe vif-param-list uuid=.... ←必要なvifを探す。見つけたら、network-uuid(3)をメモする xe vm-list name-label="foo bar" ←とにかく、VMのUUIDを取得する(1) xe vif-list vm-uuid=(1) ←VMに紐づいているvifのリストを取る VIFのUUID(2)が列記される xe vif-destroy uuid=(2) ←VMにattachされているVIFがなくなる xe vif-create vm-uuid=(1) network-uuid=(3) mac=random device=0 ←device 0番に適当に作成(random)したmac addressを つけ、新たなvifとしてVMにattachする
これで、既存のVMに割り当てているNICを置き換える事が出来る。
ということは、こんな事をすればVMをxeコマンドだけで作れるってことかもしれない
事前に、割り当てたいNetworkのUUID(D)を取得する xe vm-install new-name-label="VM のラベル名" template="テンプレートのUUID名" ←VMのUUID(A)が出力される xe vm-param-set uuid=(A) VCPUs-at-startup=1 ←起動時のCPUは1つ xe vm-param-set uuid=(A) VCPUs-max=1 ←CPUの最大値は1つ xe vm-param-set uuid=(A) memory-dynamic-max=1073741824 ←Memoryは1G xe vm-param-set uuid=(A) memory-dynamic-min=1073741824 ←Memoryは1G xe vm-param-set uuid=(A) memory-static-max=1073741824 ←Memoryは1G xe vm-param-set uuid=(A) memory-static-min=134217728 ←Memoryは最小でも100M xe sr-list ←SRのリストを取得。VMを作りたいSRのUUID(B)をメモる xe vdi-create sr-uuid=(B) virtual-size=17179869184 type=system name-label=(VDI のラベル名) sharable=false ←Diskの容量は16G、System Diskとしてラベルをつける VDIのUUID(C)が出力される xe vbd-create bootable=true device=xvda mode=RW type=Disk unpluggable=false vdi-uuid=(C) vm-uuid=(A) ←VBDを作成し、VMと結びつける xe vif-create vm-uuid=(A) network-uuid=(D) mac=random device=0 ←VMにNetworkを割り当てる xe vm-param-set uuid=(A) other-config:install-repository=http://mirror.centos.org/centos/6/os/x86_64 xe vm-param-set uuid=(A) PV-args="ksdevice=eth0" xe vm-param-set uuid=(A) other-config:disable_pv_vnc=1 ←必要なパラメータをセットする xe vm-start uuid=(A) ←VMを起動する xe console uuid=(A) ←VMのConsoleに繋ぐ
あとはpif関連とかパラメータとかを理解すればいいのか。
[root@XenServ01 ~]# xe pif-list host-name-label=XenServ01 device=eth1 uuid ( RO) : xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx device ( RO): eth1 currently-attached ( RO): true VLAN ( RO): -1 network-uuid ( RO): hhhhhhhh-hhhh-hhhh-hhhh-hhhhhhhhhhhh [root@XenServ01 ~]# xe pif-param-set uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx other-config:mtu=9000 [root@XenServ01 ~]#
[root@XenServ01 ~]# xe pif-list host-name-label=XenServ01 device=eth1 uuid ( RO) : xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx device ( RO): eth1 currently-attached ( RO): true VLAN ( RO): -1 network-uuid ( RO): hhhhhhhh-hhhh-hhhh-hhhh-hhhhhhhhhhhh [root@XenServ01 ~]# xe pif-param-get uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx param-name=other-config : ; mtu: 9000; [root@XenServ01 ~]# xe pif-param-clear uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx param-name=other-config [root@XenServ01 ~]# xe pif-param-get uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx param-name=other-config [root@XenServ01 ~]#
brctl show
ovs-vsctl show
詳しいことは、これから調査…