Linux server 服务器基本操作
目录
1. 查看服务器硬件信息
1.1 查看server显卡运行情况
1.2 查看内存
1.3 查看server cpu统计信息
2. linux shell文件操作指令
2.1 vim文件操作命令
2.2 服务器可视化工具
2.2.1 可视化运行工具Xshell
2.2.2 文件管理工具Xmanager
2.2.3 文件管理工具WinSCP
3. pbs 服务器命令脚本
3.1 pbs 提交任务命令
3.1.1 脚本提交
3.1.2 命令行提交
3.1.3 extension: server安装和配置miniconda虚拟环境
3.2 查看任务状态命令
3.3 删除任务命令
3.4 pbs脚本返回结果
3.5 VS code 连接服务器
3.5.1 VS code简介
3.5.2 安装OpenSSH
3.5.3 vs code安装Remote-SSH插件
3.5.4 连接服务器
3.5.5 VS code打开服务器文件夹
4. Server error
4.1 ERROR: Could not install packages due to an OSError: [Errno 122] Disk quota exceeded
4.2 bash: conda: command not found
参考
注意事项：修改文件读取、保存路径
1. 查看服务器硬件信息
1.1 查看server显卡运行情况
nvidia-smi 
1.2 查看内存
-g是以GB为单位；也可以使用-m，即以MB为单位。
free -gMem 行(第二行)：是内存的使用情况。
Swap 行(第三行)：是交换空间的使用情况。
total： 列显示系统总的可用物理内存和交换空间大小。
used： 列显示已经被使用的物理内存和交换空间。
free： 列显示还有多少物理内存和交换空间可用使用。
shared： 列显示被共享使用的物理内存大小。
buff/cache： 列显示被 buffer 和 cache 使用的物理内存大小。
available： 列显示还可以被应用程序使用的物理内存大小
1.3 查看server cpu统计信息
lscpu2. linux shell文件操作指令
- 创建文件夹，mkdir
- 创建文件，vim
- cd命令，进入目录
- cd ..，返回上一层文件夹
- cd + 空格，返回主目录
- ls，查看当前目录下的文件
- pwd，查看当前路径
- 用cat命令查看linux服务器日志文件内容
- 删除文件，rm file：删除文件file，系统会先询问是否删除。
- rm -f file，强制删除file，系统不再提示
- 删除文件夹，rm -rf /usr/java
- 将目录A重命名为B，mv A B
- 将/a目录移动到/b目录下，并重新命名为c。 mv /a /v/c
2.1 vim文件操作命令
- i--编辑状态
- esc--回到原始状态
- :wq，保存退出；:q，只退出不保存
- dd，删除整行
2.2 服务器可视化工具
2.2.1 可视化运行工具Xshell
破解版下载
2.2.2 文件管理工具Xmanager
- 上传文件rz，xmanager的rz命令从本地上传文件到服务器
- 下载文件sz，xmanager的sz命令从服务器下载文件到本地
2.2.3 文件管理工具WinSCP
WinSCP-SFTP管理传输软件安装使用教程 - 知乎
3. pbs 服务器命令脚本
PBS(Protable Batch System)作业管理，即以qsub、qstat、qdel命令为核心的集群作业管理系统，且它是开源的。
即submit、state、delete
3.1 pbs 提交任务命令
用户通过qsub命令来向系统提交任务，有两种方式提交：脚本方式和命令行方式。(一般情况下，不允许root用户使用qsub命令提交作业)
3.1.1 脚本提交
用户将需要执行的程序或命令写入脚本中，在加入一些必要或可选的语句，就可以通过脚本方式提交。脚本方式比较方便，用户可以用最简单的文字编辑器(e.g. vim)编写一个脚本，然后使用qsub命令提交该脚本，pbs会按照脚本内容执行相应的任务。 脚本提交的不足之处就是需要用户执行任务前编写脚本。
脚本方式提交任务的一般格式为：
qsub [script_name]，script_name 是任务脚本文件的名称，比如: myname.pbs。
qsub myname.pbs
pbs任务脚本的编写方法：
- shell说明语句：用来说明用户使用的是哪种shell，e.g. #!/bin/sh说明用户需要使用Bourne shell，如果用户没有指定，则默认为Bourne shell。
- pbs指示语句：pbs指示语句是用户用来请求任务运行时所需的资源或设置任务的一些属性的。以PBS开头，如#PBS -N taskname是用来设置任务名称的。pbs指示语句是可选的，用户可以不用关心它如何写，系统会自动设置。
#PBS -l [选项=] [选项对应的值]，l表示小L
- pbs指示语句的一个主要作用是请求任务执行时所需的系统资源，如cpu数目、存储空间、运行时间、运行优先级等等。
- 一个完整的系统资源psub文件
#!/bin/bash，设置bash shell命令
#PBS -P ，设置项目名
#PBS -q normal#PBS -l nodes=X:host，表示分配X个主机名称中含有host的执行节点
#PBS -l ncpus=12，表示请求12个cpu服务
#PBS -l mem=64GB，表示任务所有进程能够分配到的最大物理内存#PBS -q gpuvolta，
#PBS -l ngpus=1#PBS -l jobfs=0
#PBS -l walltime=04:00:00，请求任务运行时间module load pytorch/1.4.0
### 在server上自定义的anaconda虚拟环境
source /conda.sh
conda activate hnn
### source表示指向anaconda指令路径，启用anaconda虚拟环境，需要将指令路径指向相应的anaconda配置文件bash.sh，系统默认指向的是server环境。，要不然会造成指令混乱。
python3 /execute.py
在pbs脚本里使用source命令更改指令路径，太容易造成指令混乱，一不小心指令就崩溃
其实，还有一种更简单安全的方法，那就是提前启动anaconda虚拟环境，去掉source /conda.sh和conda activate hnn两条命令，直接在相应虚拟环境里执行python3 /exectue.py。
因为 server安装miniconda, miniconda的指令路径会自动覆盖代替server本地环境。
Note that，需要判断pip、conda、python指向的到底是哪个虚拟环境：服务器本地home、还是anaconda自带的base env、还是创建的虚拟环境env，要不然需要调整pip指令指向路径，确保实验结果准确性和复现性。
#!/bin/bash，设置bash shell命令
#PBS -P ，设置项目名
#PBS -q normal#PBS -l nodes=X:host，表示分配X个主机名称中含有host的执行节点
#PBS -l ncpus=12，表示请求12个cpu服务
#PBS -l mem=64GB，表示任务所有进程能够分配到的最大物理内存#PBS -q gpuvolta，
#PBS -l ngpus=1#PBS -l jobfs=0
#PBS -l walltime=04:00:00，请求任务运行时间python3 /execute.py
最常用的几种资源是：walltime, ncpus, men, host。其他可以不用太关心
3.1.2 命令行提交
qsub <return> //输入qsub命令后回车
[directives] //pbs指示语句（以#PBS为前缀）
[tasks] //任务或命令
ctrl-D //结束输入，提交任务
3.1.3 extension: server安装和配置miniconda虚拟环境
在server上安装miniconda，miniconda指令路径会自动覆盖服务器本地路径，将conda、pip、python、torch等路径全部指向miniconda，而不是原先server本地的python、pip、torch等路径。
使用前请确认一下python运行环境，check virtual env。
anaconda配置文件，在安装目录下 etc/profile.d/conda.sh。
在服务器上安装linux版anaconda
- 一种方法：到Anaconda官网或清华源地址下载所需的Anaconda 版本至自己的电脑。
找到下载好的安装包（文件名为 Anaconda3-2019.10-Linux-x86_64.sh），打开终端，用sh命令install 安装包，然后根据提示输入密码即可。
另一种方法：用wget直接将miniconda安装包下载到远程服务器：
wget
- 安装linux version anaconda：bash Miniconda3-latest-Linux-x86_64.sh
配置anaconda虚拟环境：
Neural Network-神经网络算法本质_天狼啸月1990的博客-CSDN博客
3.1.4 将服务器本地pip指令路径指向miniconda
linux命令 安装anaconda_wshzd的博客-CSDN博客
如果因为配置server python导致conda命令失效，需要重置.bashrc文件，重新定义命令指向地址。
echo 'export PATH="~/anaconda3/bin:$PATH"' >> ~/.bashrc
source .bashrc
这样pip
3.2 查看任务状态命令
qstat
参数说明：
-f jobid 列出指定作业的信息
-a 列出系统所有作业
-i 列出不在运行的作业
-n 列出分配给此作业的结点
-s 列出队列管理员与scheduler 所提供的建议
-R 列出磁盘预留信息
-Q 操作符是destination id，指明请求的是队列状态
-q 列出队列状态，并以alternative 形式显示
-au userid 列出指定用户的所有作业
-B 列出PBS Server 信息
-r 列出所有正在运行的作业
-Qf queue 列出指定队列的信息
-u 若操作符为作业号，则列出其状态。
若操作符为destination id，则列出运行在其上的属于user_list中用户的作业状态。
例：# qstat -f 211 查询作业号为211 的作业的具体信息。
3.3 删除任务命令
qdel [任务编号]
3.4 pbs脚本返回结果
pbs脚本返回结果一般会在脚本目录里，返回两个文件：.e文件、.o文件。
- .e文件。用来记录你运行错误的
- .o文件。用来记录最终输出的，就是python print所有打印的结果
pbs虽然可以在server目录下生成output文件和error文件，但每次查看太麻烦。
交互查看程序运行结果，可以用VS code编辑器，连接server
3.5 VS code 连接服务器
「效率」使用VScode连接远程服务器进行开发 - 知乎
3.5.1 VS code简介
由微软推出的一款轻量级编辑器，拥有大量可拓展插件，可以根据自己的需求添加插件使编辑器的功能丰富起来。VScode和Sublime Text应该是最受欢迎的两款编辑器
总结：微软爸爸厉害，vs code做得又轻又nb。
3.5.2 安装OpenSSH
该服务的作用是让你可以在终端使用ssh指令，Windows10通常自带OpenSSH不需要安装。
- Windows10下检查是否已经安装OpenSSH的方法：
按下快捷键Win + X，选择Windows PoweShell（管理员），输入以下指令：
Get-WindowsCapability -Online | ? Name -like 'OpenSSH*'
如果电脑未安装OpenSSH，则State会显示NotPresent：
- 如果未安装，则输入指令：
Add-WindowsCapability -Online -Name OpenSSH.Client~~~~0.0.1.0
安装完成后会出现以下输出：- OpenSSH安装成功后，
Win+R输入cmd进入终端，输入ssh命令应该得到如下结果：
3.5.3 vs code安装Remote-SSH插件
- 安装Remote-SSH
Remote-SSH是VScode的插件，安装完VScode以后，直接在插件中搜索ssh，即可找到Remote-SSH，点击install安装。
- 配置Remote-SSH
安装完Remote-SSH以后左侧会出现一个远程资源管理的图标，选择SSH Targets，进入config配置文件。
在配置文件中设置服务器信息，输入HostName和User，保存以后左侧会出现对应机器名称。
更改设置，File->Preferences->Settings->Extension->Remote-SSH，找到Show Login Terminal并勾选
3.5.4 连接服务器
点击SSH TARGETS下的服务器旁边的按钮纽行连接，弹出让你输入密码：
在这里可能会弹出让你选择服务器的平台linux(linux、windows、macOS)，需要选择以后才会出现输入密码的步骤
成功连上服务器，点击有右侧的+号创建服务器的终端窗口，可以正常使用了！
Note that on the top right of terminal window，need to choose the bash shell。
3.5.5 VS code打开服务器文件夹
打开以后可以看到服务器文件目录，直接在文件目录中选择文件进行编辑，实时同步到服务器上，这时候已经可以开始愉快的进行开发了，开发体验媲美本地开发！
4. Server Error
4.1 OSError: [Errno 122] Disk quota exceeded 清理缓存垃圾
Disabling the cache worked for me
first clear the cache
pip3 cache purge参考
https://www.cnblogs.com/overmore/archive/2012/05/29/2524824.html
PBS 作业管理系统 - 简书
Linux server 服务器基本操作相关推荐
- Ubuntu/Linux Server 服务器系统安装
Ubuntu/Linux Server 服务器系统安装 本文概要: Ubuntu Server版本如何选择 Ubuntu Server靠谱下载地址 Ubuntu Server版本系统安装流程解读 Ub ...
- windows server 服务器基本操作
windows server 服务器基本操作 如果你是第一次接触windows server服务,并且需要部署自己的应用在服务器,可以看看一下的说明,希望可以帮助到你 Windows server指的 ...
- 腾讯云主机linux(centos7)服务器基本操作和安装日志
目录 前言 1. 标准登录方式 1.1 使用 Windows 系统的电脑 1.2 使用 Linux/Mac OS X 系统的电脑(使用密码登录) 1.3 使用 Linux/Mac OS X 系统的电脑 ...
- linux服务器运维操作命令,Windows和Linux系统服务器运维基本操作指令
原标题:Windows和Linux系统服务器运维基本操作指令 服务器总归是机械化设备,在运行过程中难免会出现一些问题,遇到这些问题怎么办?请运维人员代维修?即使请也会造成,运维人员维护不及时和成本太高 ...
- linux server 5.5下载地址,《红帽Linux 5.5 for x86 服务器版》(RedHat Enterprise Linux Server 5.5 for x86)...
红帽Linux 5.5 for x86 服务器版已经有下载了. RHEL5的版本主要分为Sever和Desktop两个版本. 具体来说,Server版本分为: Red Hat Enterprise L ...
- LVS(Linux Virtual Server，Linux虚拟服务器)开源软件创始人——章文嵩
章文嵩是技术专家,也是LVS(Linux Virtual Server,Linux虚拟服务器)开源软件创始人,曾经是TelTel公司的首席科学家,ChinaCluster的共同创办人.他对自己的看法是 ...
- linux搭建web服务器论文答辩开场白,基于ARM9嵌入式Linux系统Web Server服务器计算机设计与科学专业毕业答辩.ppt...
基于ARM9嵌入式Linux系统Web Server服务器计算机设计与科学专业毕业答辩 2009-5-31 计算机科学与技术专业 2009届本科生毕业论文答辩 基于ARM9的嵌入式Linux系统的We ...
- Linux/ubuntu 服务器开启6010端口-X11服务-ssh连接
此文首发于我的个人博客:Linux/ubuntu 服务器开启6010端口-X11服务-ssh连接 - zhang0peter的个人博客 晚上在检查我的Linux-ubuntu服务器的端口状况时发现开启 ...
- linux之文件基本操作学习笔记
前言 通过本教程你将熟悉linux文件的基本操作以及其具体使用.本文目录结构摘抄自<鸟哥的LINUX私房菜>基础学习篇(第三版). 备注: 本文只摘录了部分书中内容,对于部分知识点不会做详 ...
最新文章
- 皮一皮：听说这是功夫熊猫风的情侣酒店...
- Keepalived 主备配置
- 11月深度学习班第5课图像物体检测：rcnn/fast-rcnn/faster-rcnn
- linux内核注释目录,linux内核完全注释目录
- Linux内核：容器底层cgroup如何使用
- 【转】struct epoll_event
- Martin Fowler 微服务的原文翻译(转载)
- 普通函数的调用和函数指针的回调
- 100小时学习SAP之自学环境（一）
- 科学巨星的美丽轨迹——走近博弈论大师纳什
- 降低技术应用门槛，易现推动“AR+”迈上新台阶
- Windows 11 v22000.318 11月更新版
- android如何使用ios14组件,iOS14如何添加和删除小组件 iOS14添加和删除小组件的方法...
- Activiti6：解决定时器不执行的问题(定时catching事件的使用)
- 每月两个小小项目——CSS3简易照片墙
- iOS二维码生成及扫码
- 盛邦安全网站监控预警平台化繁为简 ——网站安全从管理向治理的迁移
- 整理的子模块设置清单
- Oracle提示TNS:无监听程序的解决办法
- 用友u813.0服务器系统,用友U8+ 13.0 登录操作卡顿