来自|知乎  作者|刘震

链接|https://zhuanlan.zhihu.com/p/52827335

编辑|人工智能前沿讲习

一般炼丹都在服务器上,很少有人在本机跑代码的。之前自己捣鼓怎么用本地的编辑器配上远程服务器的环境来营造一个最舒乎的姿势。最开始用VS Code的SFTP插件,但是用着还是不顺手,因为不能用远程的环境,最后还是选择了强大的PyCharm。下面的这个教程最开始只是自己用,后来写了一篇博客分享给实验室的人,没想到大家都开始用上了。这次专门写一篇更详细的放到知乎供有缘人使用。

开始之前你可以对比以下条件来确定自己是否真的需要这样做:

  • 使用PyCharm作为主力IDE写Python而不是其他(我非常推荐大家用)

  • 深度学习炼丹师(当然你可以不是,但如果是,你会更舒服)

  • 服务器在远程或者局域网(局域网的体验最佳)

  • 使用Docker(能够熟练使用最佳)

当你配置完成之后,你将能在本地PyCharm IDE上使用远程服务器的Python解释器和环境进行调试和运行,同时能够很方便的将代码在本地和服务器上进行同步。

OK,废话不多说,正式开始我们的PyCharm+Docker的远程环境配置之旅。

首先你需要满足以下两个必备条件:

  • 使用PyCharm专业版,记住一定是专业版(社区版不提供远程服务)

  • 在服务器上安装docker和nvidia-docker

01

新建docker container

首先按照如下命令新建一个docker容器(关于docker的使用这里不废话,建议不熟悉的童鞋先去学一下如何使用docker,教程很多):

sudo nvidia-docker run -it -p [host_port]:[container_port](do not use 8888) --name:[container_name] [image_name] -v [container_path]:[host_path] /bin/bash

举个栗子:

sudo nvidia-docker run -p 5592:5592 -p 5593:5593 -p 8022:22 --name="liuzhen_tf" -v ~/workspace/liuzhen/remote_workspace:/workspace/liuzhen/remote_workspace -it tensorflow/tensorflow:latest-gpu /bin/bash

正确执行完之后,现在我们就处在新建的docker容器里了(端口映射,容器名,镜像和路径映射这些换成你自己的就行,但是一定要留一个端口映射到容器22端口,因为SFTP默认使用22端口)。

02

配置SSH服务

接着我们在刚刚新建的容器里配置SSH服务,首先安装openssh-server:

$ apt update
$ apt install -y openssh-server

然后建立一个配置文件夹并进行必要的配置:

$ mkdir /var/run/sshd
$ echo 'root:passwd' | chpasswd
# 这里使用你自己想设置的用户名和密码,但是一定要记住!
$ sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
$ sed 's@session\s*required\s*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd
$ echo "export VISIBLE=now" >> /etc/profile

如果连不上SSH服务,可能是某些版本的PermitRootLogin yes默认被注释了,可以使用如下(感谢 @Chenjie Xing 的反馈):

sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

重启SSH激活配置:

$ service ssh restart

在服务器(宿主机)上(不是服务器的docker里)测试刚刚新建docker容器中哪个端口转发到了服务器的22端口:

$ sudo docker port [your_container_name] 22
# 如果前面的配置生效了,你会看到如下输出
# 0.0.0.0:8022

最后测试能否用SSH连接到远程docker:

$ ssh root@[your_host_ip] -p 8022
# 密码是你前面自己设置的

到这里说明服务器的docker端已经完成配置。

03

在PyCharm里配置部署环境

打开PyCharmTools > Deployment > Configuration, 新建一个SFTP服务器,名字自己取:

输入如下图配置,注意这里的端口是你刚刚设置的映射到容器22端口的宿主机中的端口,我这里使用的是8022,账号密码是你刚刚自己设置的,这里的Root Path设置一个远程docker容器里的路径:

配置完点击Test SFTP connection,如果成功就恭喜你,可以进行下一步了。

最后在Mappings中配置路径,这里的路径是你本地存放代码的路径,与刚刚配置的Root Path相互映射(意思是Mapping里本机的路径映射到远程的Root Path),方便以后在本地和远程docker中进行代码和其他文件同步。

04

在PyCharm里配置远程解释器

点击PyCharm的File > Setting > Project > Project Interpreter右边的设置按钮新建一个项目的远程解释器:

配置完成以后在项目解释器界面就会出现如下图所示,可以看到此时已经完成远程解释器的本地化:

配置完成以后需要等本地和远程的环境同步一下,到这里,恭喜你,可以用最舒服的姿势。。。写代码了。

配置完成以后的日常是这样的:

左边是本地的文件,修改之后可以随时右键deployment->upload到远程主机,或者直接在本地调试运行;最右边是远程主机的文件,假如直接在远程修改了文件刷新一下同样可以右键下载到本地,但是我不建议这样做,因为这样很容易带来冲突(毕竟没有很好的版本控制)。目前最好的实践是在局域网的服务器上,时延低,同步速度快。

05

常见问题

1. 最常见的问题就是docker容器停了以后里面的SSH服务也会相应停止,因此当你发现自己某一天连不上的时候,记得去docker里重启一下ssh服务:

$ service ssh restart

感谢 @丁果 对这个问题提出的解决方案:

“可以在run的时候加上--restart=always,同时ssh启动的写到dockerfile里去。”

2. 在容器中执行apt update的时候可能会出现0% working 的问题

感谢 @奥古斯都 提出该问题以及解决方案:

”这里不是源的问题,因为容器环境太过纯净,这里需要安装apt-transport-https这个deb文件,下载的时候也要注意不要下载最新的版本,否则也会出现依赖问题,要下载和当前docker容器内的apt相匹配的版本。“

公众号:AI蜗牛车

保持谦逊、保持自律、保持进步

发送【蜗牛】获取一份《手把手AI项目》(AI蜗牛车著)

发送【1222】获取一份不错的leetcode刷题笔记

发送【AI四大名著】获取四本经典AI电子书

PyCharm+Docker:打造最舒适的深度学习炼丹炉相关推荐

  1. PyCharm + Docker:打造最舒适的深度学习炼丹炉

    点击上方"涛哥聊Python",选择"星标"公众号 重磅干货,第一时间送达 作者:刘震 https://zhuanlan.zhihu.com/p/5282733 ...

  2. docker anaconda_深度学习炼丹炉配置[1] Docker+sshfs环境配置

    感谢 @田文善 同学供稿 目录 一.需求二.方案(一)docker 配置1.dockerfile 制作2.构建 docker 镜像3.运行 docker 容器4.使用 docker 容器5.环境复用( ...

  3. Docker+VSCode 配置属于自己的深度学习炼丹炉

    来自 | 知乎 作者 | 常庆丰 地址 | https://zhuanlan.zhihu.com/p/102385239 本文仅作学术分享,若侵权,请联系后台删文处理 序 之所以要写这么一篇介绍的文章 ...

  4. 使用RTX3080显卡搭建基于Pycharm+Python+Cuda+cuDNN+TensorFlow的深度学习开发环境

    本文链接:https://blog.csdn.net/tjhyx2012/article/details/112955582 作为一名新手,也是出于兴趣,我通过查找有关资料,使用RTX3080显卡搭建 ...

  5. 5700刀打造3卡1080Ti深度学习机器

    北京 上海巡回站 | NVIDIA DLI深度学习培训 2018年1月26/1月12日 NVIDIA 深度学习学院 带你快速进入火热的DL领域 阅读全文                        ...

  6. 5700刀打造3卡1080Ti深度学习机器【转】

    本文转载自:https://www.jianshu.com/p/ca2e003bf77e 5700美刀,打造3x1080Ti实验室GPU深度学习机器 最近为公司搭建了一台实验用的深度学习主机,在网络上 ...

  7. linux常见命令---深度学习炼丹炉必备---更新中

    目录 linux常见命令---深度学习炼丹炉必备---更新中 1.修改环境变量 2.查看当前conda环境 3.如果执行conda activate ***出现问题时需要初始化shell 4.查看当前 ...

  8. 基于Pycharm运行李沐老师的深度学习课程代码

    最近在b站看李沐老师的深度学习课程,受益颇多.不过觉得光看视频实在是不过瘾,最好还是能实际的玩起来.鉴于我还是习惯使用pycharm,且不需要过多的中间过程展示,所以代码的编写基本都是在pycharm ...

  9. 快速学习docker的使用和打包深度学习项目

    1.安装docker和nvidia-docker 按照docker官网或者网上教程先后安装docker和nvidia-docker(建议按照官网的命令进行安装,若发生报错再去搜索如何解决) 2.编写D ...

最新文章

  1. OpenCV(十七)边缘检测3 -- Canny算子(最优边缘检测)
  2. java多线程系列_Java多线程实战系列
  3. nested exception is java.lang.IllegalStateException: Context namespace element 'annotation-config' a
  4. FGPA异步信号问题
  5. MAC OS Sierra 10.12.6 下对固态硬盘SSD 开启TRIM功能
  6. 回答一位朋友关于 SAP SRM 行业 转 CRM 行业的咨询
  7. cvtcolor python opencv_二值分析 | OpenCV + skimage如何提取中心线
  8. 双十一,单身狗除了买买买,还能做什么?
  9. JavaScript变量高级定义之Object.defineProperty()方法讲解
  10. python写数据库中间件_python3开发进阶-Django框架的中间件的五种用法和逻辑过程...
  11. 白板机器学习笔记 P9-P12线性回归
  12. 在Apache中利用ServerAlias设置虚拟主机接收多个域名和设置域名泛解析
  13. JavaScript笔记 - 对象继承的几种方式
  14. redismanager 获取不到yml中的密码_恋爱物语APP:在城市的孤独中,获取真爱密码...
  15. 【转载】斐讯K2P B1刷入金梅林固件,加koolproxy、S-S R等【V1.0尝鲜版】
  16. TimeZone.getTimeZone 时区参数说明
  17. 架构设计说明书该怎么写?
  18. 口袋妖怪金心银魂详细图文攻略(下)及游戏下载
  19. python ---图片转为卡通图
  20. 阿里云吴翰清:从技术人转型做产品经理是一种什么样的体验

热门文章

  1. WingDing 2 字体的解析
  2. Vector NTI 11.5.3| Win版 | 生物专业软件 | 安装教程
  3. 连接SSH失败的原因以及方法
  4. 蓝桥 迷宫寻宝 记忆化搜索
  5. 论文笔记翻译——Nature 综述论文《deep learning》LeCun、Bengio和Hinton
  6. SAP BI系统排名?SAP BI办公系统怎么选?什么是用户口碑最好的SAP BI系统?
  7. Arduino开发实例-多机CAN-Bus通信(基于MCP2515)
  8. 多线程采集网易云所有歌单里歌曲url(爬虫)
  9. PHP反序列化漏洞-从入门到提升
  10. 520表白节 用代码写出你对女神的爱