交叉编译VS异构虚拟化，在x86服务器上运行PowerPC软件

背景

这篇文章主要是在和同事在一起测试过程中，文中很多内容都是同事提供，征得同事同意，把测试过程和测试结果发出来。感谢zhangjunli。

使用场景

K1 Power服务器是高端商用的服务器，与x86生态不一样的是，目前主要是面对企业，并不针对个人用户。因此在个人笔记本或者工作站方面国内很难看到有基于Power处理器。PS：美国有一家Raptor公司有台式机基于Power处理器的。

在x86硬件上交叉编译得到在Power服务器上运行的二进制文件，这样更合适不能短时间拿到基于Power硬件的系统环境的。

文章内容

主要包含两个内容：
1.在x86 环境中，交叉编译得到power上运行二进制文件。
2.在x86环境中，安装Power Linux的虚拟机，在虚拟机中完成编译等工作。

交叉编译

在x86环境操作，确认x86环境

junli@zhangjunli00:~$ uname -a
Linux zhangjunli00 4.4.0-18362-Microsoft #476-Microsoft Fri Nov 01 16:53:00 PST 2019 x86_64 x86_64 x86_64 GNU/Linux

在x86上安装自带的交叉编译工具，查看gcc版本。

junli@zhangjunli00:~$ sudo apt-get install crossbuild-essential-ppc64el
Reading package lists... Done
Building dependency tree
Reading state information... Done
crossbuild-essential-ppc64el is already the newest version (12.4ubuntu1).
0 upgraded, 0 newly installed, 0 to remove and 3 not upgraded.junli@zhangjunli00:~$ powerpc64le-linux-gnu-gcc -v
Using built-in specs.
COLLECT_GCC=powerpc64le-linux-gnu-gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc-cross/powerpc64le-linux-gnu/7/lto-wrapper
Target: powerpc64le-linux-gnu
Configured with: ../src/configure -v --with-pkgversion='Ubuntu 7.5.0-3ubuntu1~18.04' --with-bugurl=file:///usr/share/doc/gcc-7/README.Bugs --enable-languages=c,ada,c++,go,d,fortran,objc,obj-c++ --prefix=/usr --with-gcc-major-version-only --program-suffix=-7 --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --with-sysroot=/ --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-libquadmath --disable-libquadmath-support --enable-plugin --enable-default-pie --with-system-zlib --enable-secureplt --with-cpu=power8 --enable-targets=powerpcle-linux --disable-multilib --enable-multiarch --disable-werror --with-long-double-128 --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=powerpc64le-linux-gnu --program-prefix=powerpc64le-linux-gnu- --includedir=/usr/powerpc64le-linux-gnu/include
Thread model: posix
gcc version 7.5.0 (Ubuntu 7.5.0-3ubuntu1~18.04)

在x86上可以看到在 powerpc64le-linux-gnu-gcc-7这个文件是x86上的交叉编译器

junli@zhangjunli00:~$ which powerpc64le-linux-gnu-gcc
/usr/bin/powerpc64le-linux-gnu-gcc
junli@zhangjunli00:~$ file /usr/bin/powerpc64le-linux-gnu-gcc
/usr/bin/powerpc64le-linux-gnu-gcc: symbolic link to powerpc64le-linux-gnu-gcc-7
junli@zhangjunli00:~$ file /usr/bin/powerpc64le-linux-gnu-gcc-7
/usr/bin/powerpc64le-linux-gnu-gcc-7: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, for GNU/Linux 3.2.0, BuildID[sha1]=67af861df9b3f7eaa876d4eaeaa91a9f90d99a7a, stripped

在x86环境中，写两个简单的c程序，其中a.c调用 foo.c


junli@zhangjunli00:~$ cat foo.c
#include <stdio.h>
void foo(){printf("hell0\n");
}
junli@zhangjunli00:~$ cat a.c
int main(){foo();return 0;
}

编译器编译c

junli@zhangjunli00:~$ /usr/bin/powerpc64le-linux-gnu-gcc-7 -shared -fPIC foo.c -o libfoo.so
junli@zhangjunli00:~$ file libfoo.so
libfoo.so: ELF 64-bit LSB shared object, 64-bit PowerPC or cisco 7500, version 1 (SYSV), dynamically linked, BuildID[sha1]=37ef3cf76d496a7b5b18c68ab8dd8059fef0b99a, not stripped

########### 编译生成一个可执行文件a############
查看生成的可执行文件，是可以在PowerPC上运行的。

junli@zhangjunli00:~$ /usr/bin/powerpc64le-linux-gnu-gcc-7 a.o -L. -lfoo -o a
junli@zhangjunli00:~$ file a
a: ELF 64-bit LSB shared object, 64-bit PowerPC or cisco 7500, version 1 (SYSV), dynamically linked, interpreter /lib64/ld64.so.2, for GNU/Linux 3.10.0, BuildID[sha1]=e013a19ac2c3468ce9a41424172a60c127c056c3, not stripped

将可执行文件a可libfoo.so 拿到Power服务器上的系统运行,成功。

[root@localhost ~]# ls
a  anaconda-ks.cfg  initial-setup-ks.cfg  libfoo.so
[root@localhost ~]# ldd alinux-vdso64.so.1 (0x00007fffb70e0000)libfoo.so => not foundlibc.so.6 => /lib64/power9/libc.so.6 (0x00007fffb6e80000)/lib64/ld64.so.2 (0x00007fffb7100000)
[root@localhost ~]# ldd libfoo.solinux-vdso64.so.1 (0x00007fffbd830000)libc.so.6 => /lib64/power9/libc.so.6 (0x00007fffbd5d0000)/lib64/ld64.so.2 (0x00007fffbd850000)
[root@localhost ~]# LD_LIBRARY_PATH=.:$LD_LIBRARY_PATH ./a
hell0
[root@localhost ~]# uname -a
Linux localhost.localdomain 4.18.0-193.el8.ppc64le #1 SMP Fri May 8 11:19:36 UTC 2020 ppc64le ppc64le ppc64le GNU/Linux

交叉编译总结

注意在交叉编译过程中，如果x86的环境是ubuntu，那么在power服务上运行的环境也要求是Ubuntu，原因是同一系列的操作系统的GCC glic版本才能保持一致。这里建议用AT（advance toolchain）工具做交叉编译。AT工具中包含cross的安装包，runtime安装包，一方面AT工具针对Power做了优化，另一方面独立于GCC，这样就解决了ubuntu环境编译，在rhel上运行的问题。

在windows上跑Power Linux虚拟机

下载安装Windows版本的qemu软件，https://qemu.weilnetz.de/w64/

使用软件在Windows上创建Tap设备。这部分内容因为审核原因并为标出，请自行搜索。将tap设备设备重新命名为tap0

启动PowerLinux系统

设置qemu路径
设置虚拟机名称和唯一ID
设置虚拟机处理器信息，模拟Power8处理器， 2个核
设置虚拟机内存， 4G内存
配置虚拟机模拟器属性，为纯软件模拟方式，采用pseries模式，关闭虚拟机Specture补丁
采用VGA模式，启用USB键盘，美式键盘
配置虚拟机磁盘信息，磁盘格式为raw模式
启用直接从内核启动，略掉grub扫描过程
配置虚拟机网络信息，采用桥接模式，固定PCI信息
挂载ISO介质用来在虚拟机里安装软件
取消虚拟机默认配置，仅在虚拟机中生成qemu命令行指定的设备

虚拟机运行效果

虚拟机启动之后， windows上tap0设备变为连线状态，此时观察虚拟机的网络可以看到也是连线状态。
此时可以分别在windows上将tap0设置IP地址，虚拟机里面设置eth0地址，两者同一网段，即可相互通信。

创建网桥以便虚拟机直接上网

如果想让虚拟机直接通过windows宿主机上的无线网卡来上网的话，就需要在windows上创建网桥设备。关闭虚拟机后，在windows网络连接中选择tap0和无线网卡，右键选择桥接，创建网桥。

虚拟机通过桥接上网

重新启动虚拟机，并在虚拟机中自动获取IP。可以看到，通过桥接，虚拟机就可以直接上网了，同时windows上也可以通过虚拟机的IP来ssh访问。

异构虚拟机总结

在windows运行Power Linux虚拟机后，连上网，配好yum源，就可以在虚拟机中进行软件编译工作等。这样就可以在个人PC机上，完成Power服务器上的简单实验。尽管速度会比实际Power硬件慢，但功能验证完全没有问题。