Ubuntu双系统+pytorch环境搭建日记

文章目录

1.卸载挂掉的ubuntu
2.ubuntu系统盘制作
3.bios更改第一启动方式为UEFI
4.保存重启开始安装
5.更换国内源
6.U盘格式化
7.nvidia驱动
8.CUDA8.0
9.cuDNN
10.原python2.7安装支线：pip升级
11.安装numpy1.13和pytorch
12.opencv-python
13.python3.6安装支线：切换python
14.python3.6
15.更新pip、安装numpy、torch、opencv-python、torchvision
16.cudnn runtime error内存溢出问题
17.ssl问题
18.wifi驱动
19.CUDA10.0

1.卸载挂掉的ubuntu

首先管理启动项。legacy是较老的开机启动引导方式。现在一般采用UEFI方式。对于UEFI启动方式，可以用easyUEFI删除。打开win系统盘，删除ubuntu文件夹。这和easyUEFI删除的项目的区别都要做，原因和方法在教程
然后删除ubuntu占用的磁盘分区。磁盘管理里边不能删除系统分区，在easyUEFI中删除。

2.ubuntu系统盘制作

工具：UltraISO

3.bios更改第一启动方式为UEFI

插u盘开机进bios更改。否则默认开机进入win10.

4.保存重启开始安装

6分区
4个逻辑分区：/ 固态、/home机械，相当于我的文档、 /usr机械200G，软件安装、EFI启动1G 固态（之前放机械，明显变卡了）
2个主分区：/boot400M固态、swap交换分区10G机械

5.更换国内源

我发现csdn可以同时在ubuntu和实验室电脑登录耶，这样只要一个收藏，ubuntu就很方便复制了~
中科大的源我用卡住了，好像是因为我现在登了ipv4，不过我还是换成了网易，超快的，不然下次一不小心忘记登ipv6岂不是很烦

6.U盘格式化

FAT32不适用于4G以上单文件；NTFS适合机械硬盘，会记录硬盘的读写操作，不适合闪存；exFAT适合U盘，ubuntu默认不能识别。为了让ubuntu识别，下载软件包：
sudo apt-get install exfat-fuse exfat-utils
（不换国内源是真的好慢呀待会儿就换）

7.nvidia驱动

正确安装方法
确认nouveau是否干掉 lsmod | grep nouveau
查看nvidia显卡nvidia-smi
我的惨痛经历：
第一次安装失败了，安装命令没写不装opengl，如果装了opengl后面可能会黑屏。
.run安装失败的…
执行
$ sudo /usr/local/cuda-8.0/bin/uninstall_cuda_8.0.pl
sudo /usr/bin/nvidia-uninstall
两个可能的方法：
1.
$ sudo dpkg --add-architecture i386
$ sudo apt update
$ sudo apt install libc6:i386
2.安装的Ubuntu是UEFI模式启动的，但是在BIOS中却打开了Security BOOT选项。正确做法是禁用该选项。我的是禁用的。
ok，显卡驱动怎么也装不上，放弃了，第三次重装系统……
草好像是因为我装错了驱动！！我真的是弱智！！
…换成最新的驱动，可以了…之前的384还不支持1650…这个驱动就是越新支持的越多……
xcon什么那个选yes 32bit选yes

8.CUDA8.0

CUDA官网8.0 GA2两个安装包是最新的，依次安装这两个。
安装方法：参考官方文档
CUDA安装可以给装显卡驱动。但是因为我已经自己装了最新的，CUDA安装过程中要装的就要NO，不然会覆盖我的驱动。重点是塔要装的驱动版本太低，不支持1650.超棒教程
教程写的差不多我没做：要安装完毕后，再声明一下环境变量，并将其写入到 ~/.bashrc 的尾部:

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

9.cuDNN

CUDA8.0可以用cuDNN5.1，cuDNN6，因为只是差个库，我先用5.1。
sudo cp cuda/include/cudnn.h /usr/local/cuda/include # （复制）
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64 # （复制）
改权限

sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

10.原python2.7安装支线：pip升级

正确方法：用下边的教程下载安装pip18.1
惨痛经历：
使用教程
没有setuptools模块错误
这里只装了python2的setuptools，然后更新pip
我又踩了一个陷阱，妙啊
根据上边的更新pip使用教程，我在github下载了最新的源码安装。结果pip支持的文件名也看不着了，安装也装不进去了。原来，pip20、21之后查看支持文件之类的代码变了很多，所以最好不要用这么新的。
然后我发现这篇教程发表于2018年8月。github最新版pip下方有note：

下载安装pip18.1
查看版本命令为：
import pip._internal print(pip._internal.pep425tags.get_supported())

11.安装numpy1.13和pytorch

正确方法：sudo pip install 注意python版本
numpy装了个默认的1.8.2暂时。根据教程，可能是numpy版本太低导致torch无法import。安装numpy1.16.6后，1.8文件夹删除，还是无法导出新版本numpy，后来又删除了~/.local里边python2.7的distpages（大概这个名字的）文件夹，然后就不好了蹦掉了…我觉得这个可能影响挺大的但是我已经不能挽回了……
numpy过往版本下载地址和刚刚pip的一样都是这个网站。因为上边的教程离那个人pytorch0.2用numpy1.13，所以我也先用1.13试试吧。但是装不上。实在不明白为什么装不上。可能就是因为我手贱删除了那个……
0.收集资料
根据这一篇
他是opencv2.4.10，别的环境我都有了。
numpy要装什么版本还没明白。cudnn也还没装。pip也没更新。下载好了。
要先装nose再numpy添加链接描述
numpy升级

12.opencv-python

opencv-python是python的一个库，将opencv的c/c++代码用python接口封装，只需要装opencv-python
官网
正确方法：↑，不要打错字
惨痛经历：
先是安装成了opencv。
安装教程
路径：/usr/sw
Unsupported gpu architecture ‘compute_11’ 错误
‘NppiGraphcutState‘ has not been declared错误，原因是 cuda8.0较新，opencv-2.4.10较早
运行./build_all.sh 出先下面错误：/usr/bin/ld: cannot find -lcufft
上边的找不到lcufft等库问题我还尝试了另外一个教程但是没有用改了opencv.config
然后明白了只要装opencv-python就行。
但是，我虽然下了一个3.4的版本，却不适用我的platform。因此还是pip自动装。
首先更换pip源
在主目录下创建.pip文件夹,然后在该目录下创建pip.conf文件

mkdir ~/.pip
vim ~/.pip/pip.conf

pip.conf文件编写如下内容（更换为清华大学镜像源）：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

pip安装失败。这时我发现
刚才手动安装把many打成mant了
–宝贵的40分钟

13.python3.6安装支线：切换python

除了基于软连接的方法还有：
a.列出所有版本

update-alternatives --list python
sudo update-alternatives --config python

b.添加版本

sudo update-alternatives --install /usr/bin/python python /usr/bin/python2.7 100sudo update-alternatives --install /usr/bin/python python /usr/bin/python3.4 200

14.python3.6

正确方法：

sudo ./configure --prefix=/usr/local/pythonxx
sudo make
sudo make install

安装路径/usr/local/python3.6
创建在/usr/bin中软链接
设置python3.6为默认

15.更新pip、安装numpy、torch、opencv-python、torchvision

官网安装下载。不输错字就可以。（我又输错了
惨痛经历：
pytorch不支持python3.4
pip的时候出现pip is configured with locations that require TLS/SSL错误，原因是我安装的时候执行了./configure --with-ssl，导致一些功能没有安装上。重新编译安装即可。执行：

 sudo ./configure --enable-optimizations --with-sslsudo makesudo make install

刚刚装了pytorch numpy，都可以import
总结一下：pip→numpy、pytorch都是装在分别的python文件夹（版本）中的。

16.cudnn runtime error内存溢出问题

cudnn报错，显存溢出，尝试禁用torch.backends.cudnn.benchmark = true
很多人说是版本匹配问题。
batch改小成1也不行。
梁老师环境：python3.6.4 numpy1.18.5 cuda8.0.61 cudnn5.1.1 opencv3.2.0
lzma问题
python3.6.4重装numpy torch……可以了。真的是python版本的问题

17.ssl问题

正确方法：
不要apt装，要用pip，不然路径就找不到了。
下载注释，路径指向openssl安装文件夹。
惨痛经历：
按照这篇注释后重新编译安装,事实证明该方法无效。
发现了这篇但是没试，因为我python3.6文件夹里面有ssl，但是无法import。
发现一篇总结文章提到了：
a.需要安装openssl和libssl-dev

sudo apt-get install openssl
sudo apt-get install libssl-dev

b.刚刚说注释那个帖子说得不完整。他说setup文件，也要注释，其实这个文件是configure操作根据setup.dist生成的，所以在confiure之前注释的话，这个文件就不用再注释了。刚刚注释无效是因为那人说注释四行，其实应该注释五行。
还是不行。根据教程果然SSL那几行路径也得改。同时，我以为python里边的ssl.py就可以被import，但似乎openssl是要单独下载安装的。
改了路径后重新安装python3.6，安装在/usr/local/lib即python3.6，现在的优先级是200（另外一个文件夹的叫python3，300）
error：很多SSL未定义的引用。可能是openssl版本不对应。
重新下载更高版本openssl1.0.2p（之前是1.0.2a）
再装python3.6
还是不行……我觉得应该一开始不要apt装ssl，直接手动装。现在这个可能是打架了。

18.wifi驱动

正确方法：
安装（复制）最新版本驱动，然后根据正确做法！：方法二安装驱动包
惨痛经历：
气死了，一样的错误我竟然犯了两遍！按照下边一通操作之后我发现我还是没wifi，然后突然想起上次好像也是这样，然后在浏览器历史记录翻了好久好久终于找到一篇，发现我还收藏了。正在回忆当时是不是用这个弄好的的时候我发现评论区有一句“啊啊啊啊啊我终于有无线了，感谢博主！！！！！”是我自己13天前发的…………我真的是弱智

驱动以前下好了。对于某一型号的网卡，有其对应的驱动，驱动对系统内核有要求。我的要求4.14以上，而我系统是4.4，所以不用更新内核了。
把下载好的驱动复制到lib的firmware中
$sudo cp -i iwlwifi-3168-22.ucode /lib/firmware
注：-i表示覆盖目标文件之前给出提示要用户确认
接着更新一下grub,然后重启
$sudo update-grub
$sudo reboot
grub：是一种引导内核程序，类似于bootloader。计算机加电后，bios加载MBR主引导扇区即硬盘第一扇区中的代码到内存，这个扇区共512字节，前446字节即为grub的关键引导程序。然后bios把控制权交给grub，进行加载搬移其它代码和文件系统初始化查找等工作，最后加载内核映像文件，控制权再交给内核。
ubuntu中，update-grub是在配置文件更新后生成新的grub.cfg，即调整grub之后使其生效（更新启动项）。
以上是无效做法。正确做法！：方法二
%早上发现wifi又没了，折腾来折腾去，两三个小时过去，登一遍win10，瞅了瞅网卡，等一下，我的网卡是9462，ubuntu查出来的不是a370也就是9560吗？通用的？……就在我百思不得其解顺手重启之后，靠，突然就好了！我发现这时候网线是断开的，所以我想是不是跟这个有关系，但是再连着网线开机也还是ok。算了，好了就好，也许是bug，也许永远也不知道是怎么回事了……%

19.CUDA10.0

1650不支持CUDA8.0.
CUDA10.0 torch1.0.0 torchvison0.2.2

问题1：/libgomp.so.1: version `GOMP_4.0’ not found
原因：gcc g++版本过低，需要更新到4.9