技术栈:python语言 bootstrap框架 jquery css javascript html

爬取网站:贝壳租房(可爬取全国各城市数据)

功能:

租房信息数据展示、租房地址数量分布、

租房类型统计、租房价格统计分析、

租房面积分析、房屋朝向分析、

房屋户型平均价格统计分析、房屋楼层统计分析、

房屋楼层与价格统计分析、房屋地址与价格统计分析、

房屋相关信息词云展示

Django框架的核心包括:一个对象关系映射器,用作数据模型(以Python类的形式定义)和关系型数据库间的介质;一个基于正则表达式的URL分发器;一个视图系统,用于处理请求;以及一个模板系统[5]。

核心框架中还包括:

一个轻量级的、独立的Web服务器,用于开发和测试。

一个表单序列化及验证系统,用于HTML表单和适于数据库存储的数据之间的转换。

一个缓存框架,并有几种缓存方式可供选择。

中间件支持,允许对请求处理的各个阶段进行干涉。

内置的分发系统允许应用程序中的组件采用预定义的信号进行相互间的通信。

一个序列化系统,能够生成或读取采用XML或JSON表示的Django模型实例。

一个用于扩展模板引擎的能力的系统。

Django,发音类似于(粘构)。是用python语言编写的开源web开发框架,并遵循MVC设计模式。Django的主要目的是简便、快速的开发数据库驱动的网站。它强调代码复用,多个组件可以很方便的以“插件”形式服务于整个框架,Django有很多功能强大的第三方插件,也可以开发出自己的工具包。使得Django有很强的可扩展性,它还强调快速开发和DRY原则。

django 是基于P)rthon 的重量级开源Web 框架。Django 拥有高度定制的ORM 和大量的APL 简单

灵活的视图编写,优雅的URL, 适千快速开发的模板和强大的管理后台, 这使得它在Python Web 开发

领域拥有着不可动摇的地位。匝tagram 、F订eFox 、国家地理杂志等著名网站都使用了D抑1go 进行开发。

有3 种方式,分别是使用pip 安装Django 、使用virtualenv 安装Django 和使用Anaconda 安装Django, 本文使用pip命令安装。

创建Django 项目

(1) 首先在D 盘(读者可以根据实际情况选择)根目录下创建用千保存项目文件的目录, 这里创建的目录为“D:\Webproj ects”。

( 2) 在Webprojects 文件夹中创建environments 目录用千放置虚拟环境, 然后打开cmd, 输入如下创建环境命令:

: virtualenv D:\Webprojects\envi ronments\django2.0

(3) 使用如下命令在命令行激活环境:

: D: \Webprojects\environments\dj ango2. 0\Scripts\activate

( 4) 使用“ django-admin " 命令创建一个项目:

django-admin startproject demo

( 5 ) 使用压,cham1 打开demo 项目, 查看目录结构,

说明:Dj ango 项目中的文件及说明

manage.py Dj ango 程序执行的入口

db.sqlite3 SQLite 的数据库文件, Dj ango 默认使用这种小型数据库存取数据,非必须

templates Dj ango 生成的HTML 模板文件夹,我们也可以在每个app 中使用模板文件夹

demo Dj ango 生成的和项目同名的配置文件夹

settings. py Dj ango 总的配置文件,可以配置App 、数据库、中间件、模板等诸多选项

urls .py Dj ango 默认的路由配置文件

wsg1.py Dj ango 实现的WSGI 接口的文件, 用来处理Web 请求

启动django

在pychann 中单击运行项目, 或者在虚拟环境命令行中执行以下命令运行项目:

python manage.py runserver

创建APP

在Dj ango 项目中,推荐使用App 来完成不同模块的任务, 通过执行如下命令可以启用一个应用

程序。

python manage. py startapp

此时,在项目的根目录下可以看到一个名称为的目录

数据模型( models.py)

(1) 在App 中添加数据模型 详情见models.py 中的代码 ,说明如下:

执行数据库迁移

创建完数据模型后, 开始做数据库迁移,用Djai1go 默认自带的SQLite 数据库。在项目的settings.py 配置文件中找到如下的配置:

python manage . py makemigrations # 生成迁移文件

python manage . py migrate # 迁移数据库, 创建新表

路由(urls.py)-----详细见urls.py代码文件

URL路由流程:

(1)Django 查找全局urlpattems 变量(urls.py) 。

(2)按照先后顺序,对URL 逐一匹配urlpattems 每个元素。

(3)找到第一个匹配时停止查找, 根据匹配结果执行对应的处理函数。

(4)如果没有找到匹配或出现异常, Django 进行错误处理。

Django 模板

django 指定的模板引擎在settings.py 文件中定义:

TEMPLATES = [{

# 模板引擎,默认为Django模板

0BACKEND0: 'django. template. backends. django. DjangoTemplates' ,

,DIRS' : [] J # 模板所在的目录

'APP DIRS' : True, #是否启用AP P 目录

OPTIONS' : {

},

},

MySQL是一个开源的关系型数据库管理系统,由瑞典MySQL AB公司1995年开发,迅速成为最流行的开源关系型数据库管理系统。在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一。2008被Sun公司10亿美金收购,2009年Sun被Oracle收购。MariaDB应运而生。(MySQL的创造者担心MysQL有闭源的风险,因此创建了MySQL的分支项目MariaDB)MySQL6.x版本之后分为社区版和商业版(付费,功能更强大)。MySQL是一种关联数据库管理系统,将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL是可以定制的,采用了GPL(GNU General Public License)协议,你可以修改源码来开发自己的MySQL系统。MySQL支持大型的数据库,可以处理拥有上千万条记录的大型数据库。支持5000万条记录的数据仓库,32位系统表文件最大可支持4GB,64位系统支持最大的表文件为8TB。MySQL使用标准的SQL数据语言形式。MySQL 可以运行于多个系统上,并且支持多种语言。这些编程语言包括 C、C++、Python、Java、Perl、PHP、Eiffel、Ruby 。

Python租房数据分析 爬虫 全国租房数据相关推荐

  1. Python新闻推荐系统+爬虫+可视化 大数据项目 源码下载

    Python新闻推荐系统+爬虫+可视化 大数据项目 源码下载 网络爬虫:通过Python实现新浪新闻的爬取,可爬取新闻页面上的标题.文本.图片.视频链接 推荐算法:权重衰减+标签推荐+区域推荐+热点推 ...

  2. python租房_爬虫深圳租房网站租房分析(python)

    目标:深圳租房信息 数据获取 需要爬取的信息 ----> 分析该网站的html结构,获取这些字段 使用requests,BeautifulSoup,,,各种包爬取数据 得到的csv如下: 数据清 ...

  3. 用Python爬取分析全国旅游数据

    前言: Python对于本人来讲也是一个在逐渐学习掌握的过程,这次的内容就从旅游开始讲起,进入正文前首先附(fang)上(du)最令我垂涎欲滴的海鲜盛宴. 数据爬取: 最近几天朋友圈被大家的旅行足迹刷 ...

  4. 用Python做数据分析之数据处理及数据提取

    1.数据预处理 第四部分是数据的预处理,对清洗完的数据进行整理以便后期的统计和分析工作.主要包括数据表的合并,排序,数值分列,数据分组及标记等工作. 1)数据表合并 首先是对不同的数据表进行合并,我们 ...

  5. python爬取旅游信息_用Python爬取分析全国旅游数据-Go语言中文社区

    前言: Python对于本人来讲也是一个在逐渐学习掌握的过程,这次的内容就从旅游开始讲起,进入正文前首先附(fang)上(du)最令我垂涎欲滴的海鲜盛宴. 数据爬取: 最近几天朋友圈被大家的旅行足迹刷 ...

  6. Python大数据分析之实时疫情数据可视化(含代码)

    文章目录 一.Python实时数据爬取 二.Matplotlib绘制全国各地区柱状图 三.数据存储及Seaborn绘制全国各地区柱状图 四.Seaborn绘制全国各地区对比柱状图 一.Python实时 ...

  7. 5秒用Python轻松爬取全国地铁数据!

    截止发文,全国一共有40个城市开通了地铁,累计站点数量为5968 而我,爬完这些数据,只用了5秒 此时,正在看文章的你,是不是心里会默默的来一句:麻雀啄了牛屁股-雀食牛逼  今天就来教大家用 Pyth ...

  8. Python学习笔记——爬虫之urllib数据抓取

    目录 urllib库的基本使用 Get方式 POST方式: 获取AJAX加载的内容 Handler处理器 和 自定义Opener urllib库的基本使用 所谓网页抓取,就是把URL地址中指定的网络资 ...

  9. python 网络安全数据分析_用Python做数据分析:Pandas常用数据查询语法

    撸主: 大毛 岂安科技业务风险分析师 多年订单业务反欺诈经验,负责岂安科技多款产品运营工作. 在使用Pandas之前,大多数数据分析师已经掌握了Excel和SQL,并且在刚上手Pandas时会经常习惯 ...

最新文章

  1. 8天学通MongoDB——第三天 细说高级操作
  2. 在Qt工程文件中根据不同版本号使用不同源码
  3. libsvm工具箱会和matlab,MATLAB实现多分类和libsvm工具箱的安装使用详解
  4. React开发(185):ant design table控制居中和宽度
  5. 刷卡提示57能恢复吗_硬盘格式化之后数据还能恢复吗?
  6. MAC 更新 PHP 指南 以及 PHP常用命令示例
  7. 【软件工程】业务过程与解决方案
  8. C#中采用SHA1或MD5加密字符串的函数
  9. (45)VHDL实现算术器
  10. leetcode不同路径-结题( C++、Python、解析式)
  11. es 的分布式架构原理
  12. 139显示无法imap服务器,139邮箱客户端 imap服务器
  13. linux打开nginx配置文件,【linux】systemctl启动nginx没有加载nginx.conf配置文件?
  14. 转:我在淘宝这7年(四)
  15. python 3 日历模块
  16. GitHub: ProxyPool 爬虫代理IP池
  17. Unreal Engin_画廊制作笔记 _005灯光处理,平行光的设置
  18. eclipse启动优化,终于不那么卡了!
  19. 《文献管理与信息分析》MOOC课程总结及个人感悟
  20. 软件测试初学者,手把手教你如何编写一份高效好用的测试用例

热门文章

  1. csgo躲猫猫模式显示服务器已满,CSGO有躲猫猫模式吗 CSGO躲猫猫模式进入方法一览...
  2. java正则表达式无误却匹配失败,如何用正则表达式匹配英文段落
  3. 计算机动画制作初步视频,计算机动画制作初步
  4. Python如何接入ChatGPT
  5. Android耳机线控详解,蓝牙耳机按钮监听(仿酷狗线控效果)
  6. [1170]win10把word、ppt、excel从wps改成微软默认打开方式
  7. C++:利用静态成员的方法实现对班费的管理。要求定义一个类Student,除了声明一个存放班费的静态成员,还要求分别定义一个上交班费的成员函数Contribute()、花费班费的成员函数Spend(
  8. 移动互联网应用技术(自考)
  9. mysql 活锁_Go语言死锁、活锁和饥饿概述
  10. Freeswitch 音视频编码支持