根据老男孩老师出的题目

一道企业shell编程实战题

http://oldboy.blog.51cto.com/2561410/1657042

给出如下答案,因为时间有限,脚本粗糙,只实现基本功能,随机测试后发现51网页通用

上脚本

[root@fenfa mianshi]# cat oldboy2.sh
#!/bin/bash
#这个脚本用来找网页视频地址
#首先通过老师提供的域名获取一个网页地址用来读取所有课程连接的地址
#Yuming变量可以自行修改为其他视频连接地址或者命令行传参自行输入
#结果就是将网页连接地址修改成html格式保存
Path="http://edu.51cto.com"
Yuming="http://edu.51cto.com/course/course_id-839.html"
FullPath=$(curl $Yuming|grep "lesson/id-"|awk -F "\"" 'NR==1{print $2}')
fun_getpath(){
curl "$Path$FullPath" |awk -F "\"" '/lesson\/id-/{print "http://edu.51cto.com"$6,$8}' >tmp1.txt
sed -i '1,2d' tmp1.txt
}
#将抓取的网页视频地址改成html格式保存
fun_editpage(){
awk '{print "<p>" "<a href="$1">第"NR"节",$2"</a> </p>" }' tmp1.txt >tmp.txt
rm -f tmp1.txt
}
fun_getpath
fun_editpage

结果如下:

第1节 合格运维素质及挖掘内心学习动力

第2节 老男孩23期开班注意事项

第3节 跟着老男孩可以学到什么本领--老男孩核心教育思想

第4节 学习运维到底该学习什么-老男孩核心教育思想

第5节 培养好的学习听课思维习惯

第6节 学好运维的思想转变

第7节 培养自己成为素质人才

第8节 如何才能学好linux运维重要思想-老男孩核心理念

第9节 计算机及网站服务器硬件-机箱-电源介绍01

第10节 计算机及网站服务器硬件-主板-CPU-内存-硬盘02

第11节 硬件体系优化及IO优化核心优化原理详解

第12节 其他硬件信息简单介绍

第13节 计算机硬件重要知识点总结01

第14节 计算机硬件重要知识点总结02

第15节 课后作业及内容预习

第16节 上节知识内容回顾

第17节 操作系统介绍及作用讲解

第18节 什么是linux及特点

第19节 Unix的历史介绍

第20节 Unix的5大优秀特性

第21节 Unix操作系统革命故事

第22节 Linux的诞生介绍

第23节 Linux的发展历程介绍

第24节 Linux发展过程中的重要必知人物

第25节 自由软件的概念介绍

第26节 自由软件基金会FSF介绍

第27节 插入一段学习运维的重要思想

第28节 GNU核心知识介绍

第29节 GPL核心知识介绍

第30节 Linux系统的组成

第31节 Linux为什么受欢迎

第32节 Linux的重要特点集合介绍

第33节 Linux的三大企业应用领域介绍

第34节 Linux的各类发行版及区别

第35节 如何选择Linux版本学习专家建议

第36节 Centos的版本介绍及选择建议

第37节 搭建Linux学习环境的重要建议

第38节 安装及创建vmware虚拟机实战

第39节 vmware核心技术网卡三种模式之NAT介绍

第40节 vmware核心技术网卡三种模式之bridged介绍

第41节 vmware核心技术网卡三种模式之HOST-ONLY模式介绍

第42节 实战完成创建新的VM寻虚拟机

第43节 Centos6.6安装初步及安装可能的故障讲解

第44节 32位和64位Linux的区别介绍

第45节 开始实战安装Centos

第46节 Linux系统磁盘分区知识介绍

第47节 Linux设备的命名及Linux基本分区方案

第48节 Linux分区类型raid-lvm介绍及企业选择建议

第49节 linux分区重要知识介绍-挂载点-文件系统类型等

第50节 Linux关键包选择讲解及安装完成

第51节 重启引导及Linux内核版本号介绍

第52节 IP地址介绍及为Linux配置IP地址

第53节 网卡设置的相关问题答疑

第54节 SSH客户端连接服务器故障问题分析与解决

第55节 老男孩第一关命令考试vi-vim-cat-touch-echo命令讲解

第56节 老男孩第一关命令考试-重定向-追加重定向-标准输入输出知识实战

第57节 老男孩第一关命令考试-cat-cp命令企业应用实战

第58节 老男孩第一关命令考试-mv-ls-man-help等核心命令实战讲解

第59节 课后作业与预习

第60节 重要运维思想之观察和总结案例

第61节 重要运维思想之如何与高手愉快交往问问题

第62节 重要运维思想之如何和别人请教问题细节

第63节 抓住高手的心-让他不回答你都难

第64节 上节内容简单复习回顾

第65节 find命令企业及应用案例精讲

第66节 删除目录及特殊字符单双点重点讲解

第67节 08-cat-grep-sed企业重点案例应用讲解

第68节 mkdir-yum-rpm-tree命令应用案例讲解

第69节 学好linux命令的重要学习思想

第70节 tree-rpm命令使用深入

第71节 别名的深度企业案例多种方法讲解

第72节 linux别名深层原理-作用-实战讲解

第73节 特殊家目录符号介绍

第74节 结合企业面试引出seq命令深度讲解

第75节 tail命令企业应用及解决实际面试题案例

第76节 sed企业级面试应用案例讲解-打印行号

第77节 awk命令使用介绍及实战讲解

第78节 利用awk命令解决企业级面试应用案例

第79节 grep命令解决企业案例应用实战讲解及画图重要思想

第80节 sed命令替换功能深度应用详解及总结

第81节 复杂企业级应用案例find配合sed综合实战讲解

第82节 第一关命令应用学习总结及大扩展命令重要讲解

第83节 Linux命令行重要快捷键讲解

第84节 SSH远程连接原理及故障排错详解

第85节 SSH客户端的使用技巧1

第86节 SSH远程连接故障排错详解

第87节 SSH客户端实现和LINUX共享文件

第88节 利用SSH客户端批量管理LINUX重要应用

第89节 SSH客户端复制标签机批量复制标签小技巧

第90节 VM快照-克隆重要应用讲解及克隆后网卡问题解决

第91节 查看Linux基本信息命令-uname-hostname及重要运维思想

第92节 Linux系统useradd-passwd添加账号密码讲解及su命令介绍

第93节 Linux优化之Selinux详解及运行级别详解

第94节 Linux优化之需要开机启动的重点服务详解

第95节 Linux优化之利用chkconfig-sed-awk多种方法解决开机启动实战

第96节 Linux优化之iptables防火墙处理及运维思想

第97节 chkconfig命令应用小结

第98节 Linux优化之安全最小化5个思想

第99节 课后作业与预习

第100节 重要基础命令回顾复习

第101节 极重要基础命令三剑客加find回顾复习实战

第102节 sed命令实战复习回顾

第103节 awk命令实战复习回顾

第104节 grep命令实战复习回顾

第105节 上节Linux优化项复习

第106节 超级优化Linux远程SSH连接

第107节 比较工具diff-vimdiff-windows比较工具讲解

第108节 运维思想-成功最有效的方法

第109节 形象讲解sudo命令简单原理及实践优化用户使用命令

第110节 sudo解决方案企业级应用实战讲解

第111节 运维核心学习思想-总裁班分享潜意识问题

第112节 which命令实战及原理详解-PATH实战配置

第113节 有关bash内置命令特殊性问题讲解

第114节 Linux字符集介绍及解决中文乱码实战

第115节 运维核心思想-学会帮助鼓励别人

第116节 时间同步介绍及实战配置-介绍定时任务及简单配置

第117节 时间同步服务企业生产应用架构说明

第118节 优化终端超时以及历史记录数

第119节 Linux历史记录数控制及隶属记录数文件控制

第120节 文件描述符介绍作用及实战配置方案

第121节 Linux内核参数基础优化

第122节 隐藏LINUX软件名及内核版本

第123节 超级优化锁定系统重要系统文件防止篡改

第124节 禁PING以及清理系统多余账号说明

第125节 为grub引导菜单加密码保护grub被随意修改

第126节 禁PING实战及软件漏洞升级

第127节 linux系统基础优化16条知识汇总

第128节 配置Linux软件下载更新源地址

第129节 wget命令企业级应用参数详解

第130节 讲过命令回顾及分类总结方法说明

第131节 less-more使用方法及区别实战讲解

第132节 Linux目录结构知识介绍

第133节 Linux目录结构树详细原理讲解

第134节 Linux目录结构的历史介绍

第135节 Linux目录层次标准及目录介绍

第136节 linux重要目录及子目录介绍详解

第137节 Linux目录结构重点小结回顾

第138节 课后作业与预习

转载于:https://blog.51cto.com/fengquan/1734850

抓51的网页视频链接脚本相关推荐

  1. Android 使用JS注入获取网页视频链接

    Android 使用JS注入获取网页视频链接 思路: 1.通过js注入获取整个网页html. 2.通过jsoup分析获取video播放器的数据源. 一.开启webviewjs功能,注入js回调 mWe ...

  2. 怎样获取网页视频下载链接

    上网时,经常会遇到很有趣的视频想要收藏下来,但是网页一般不都不会直接提供下载链接.这种情况下可以尝试一下其他方法获取他的下载链. 可以尝试下使用硕鼠网提供的破解链服务 http://www.flvcd ...

  3. idm抓取网页视频原理 idm抓取网页视频后怎么提取

    对于网页视频的下载,我们可以使用windows端多线程下载工具--Internet Download Manager,通过Internet Download Manager我们可以直接抓取网页视频,i ...

  4. .NET2.0抓取网页全部链接【月儿原创】

    .NET2.0抓取网页全部链接 作者:清清月儿 主页:http://blog.csdn.net/21aspnet/           时间:2007.4.18 该方法经过对各大门户网站测试结果是抓取 ...

  5. m3u8地址_「波波带你手动提取网页视频」04讲 Network和Elements提取m3u8链接

    详细文章请关注公众号:程序员波波. 或者点击文章最下方了解更多前往原文地址. 前两篇文章我们已经初步熟悉了Elements和Network这两个控制台中的工具.接下来我们就会遇到需要这两者配合的情况. ...

  6. 2021-07-07 - 使用脚本批量下载网页视频[如哔哩哔哩] - 学习/实践

    1.应用场景 主要用于使用脚本批量下载web视频,音频,图片资源,进行资源的收集下载,或者避免资源的丢失,使用命令脚本则有利于节省时间,提高效率. 比如资源可能后续不存在,或者,想二次整理资源,更好地 ...

  7. Android 获取网页的视频链接

    10.16  青岛      阴 近来,想取某网站的视频做数据源,经别人帮忙爬取了视频链接后发现,视频的连接会在1--2小时后就失效了.经研究发现,每次打开包含视频链接的网页,网页内的视频连接地址都是 ...

  8. python抓取网页视频

    在 Python 中抓取网页视频可以使用第三方库来实现,比如说使用 requests 库来发起 HTTP 请求,再使用 BeautifulSoup 库来解析 HTML 文档,最后使用 ffmpeg 库 ...

  9. python_抓取网页视频

    1.为何学python 编程语言方面,本科这几年一直都用C/C++,因为研究生方向与机器学习相关,所以最近大部分时间在学机器学习,看了<机器学习实战>这本书,里面的实例都是用python来 ...

最新文章

  1. 前端测试简述及使用Karma/Mocha实现的集成测试栗子(Travis CI/Coverage)
  2. Flomaster 2020中文版
  3. 物联网 数据驱动企业 如何应对数据洪流
  4. 3线程同步:条件变量
  5. java并查集找朋友圈_图—并查集(解决朋友圈问题)
  6. uniapp 可视化开发_uniapp的简单安装流程使用教程
  7. ntp如何确认与服务器偏差_CDH集群时钟偏差问题
  8. 有些事,我们逃不掉。有些事,我们逃不掉。
  9. 计算机的新技术未来发展趋势论文,计算机最新技术发展趋势毕业论文
  10. Android 网络属性详解
  11. 小米10等UFS字库备份与基带分区说明
  12. php报表插件,excel插件
  13. Android高级控件----AdapterView与Adapter详解
  14. 硬件测试点案例(四个)
  15. 通达oa 2013 php解密,通达OA2013集团版SQL注入+root
  16. 一头扎紧mysql_[www.java1234.com]一头扎进Mysql视频教程
  17. 《留住那份你想留住的》#毕业季 | 致敬我们一生仅此一次的青春旅行!!#
  18. python实现外部静态服务器,浏览器通过HTTP与之通信2
  19. 解除B站区域限制 油猴脚本
  20. python中numpy是什么意思_python中numpy是什么

热门文章

  1. 常见网络安全问题及处理(xss和csrf)
  2. idea怎么查看svn历史记录
  3. android+闪屏启动优化,Android分享笔记(2) APP启动时闪屏
  4. 蜡人张 Reporting service
  5. js 抽象工厂模式
  6. COCI. RIJEKA
  7. Canal使用入门学习
  8. 前端开发者:如何在没有UI设计图的情况下做出更好的前端页面
  9. 如何在Mac电脑上创建一个签名身份(Signing Identity)
  10. 使用枚举的位运算实现游戏中Debuff状态的添加和消除