新闻网实时数据步骤（毕业设计）
新闻网实时数据步骤（毕业设计）
- 实时步骤
- 1.打开虚拟机
- 2.启动zookeeper
- 3.启动Hadoop
- 4.手动切换active
- 5.启动hbase
- 6.启动kafka
- 7.在master节点启动flume
- 8.在slave1和slave2节点上启动flume完成数据采集
- 9.启动Tomcat
- 10.启动Spark
- 11.改navicat
- 12.运行实时分析
- 离线步骤
- 1.进入离线模块
- 2.启动元数据库
- 3.启动hiveserver2服务
- 4.输入命令行
- 页面显示1.启动hive
- 2.后台启动
- 3.登录离线管理
实时步骤
1.打开虚拟机
2.启动zookeeper
操作实现 jps验证 QuorumPeerMain
3.启动Hadoop
操作步骤
再次jps验证
此时的master是
4.手动切换active
hdfs haadmin -transitionToActive --forcemanual nn1
步骤变化 此时变成active
5.启动hbase
步骤变化效果
6.启动kafka
7.在master节点启动flume
8.在slave1和slave2节点上启动flume完成数据采集
都在slave1和slave2操作，然后再另开新窗口
新窗口以后，进行
最后效果master会出现
9.启动Tomcat
启动Tomcat以后 会弹出主页面
10.启动Spark
成功图
11.改navicat
把用户数给改变
12.运行实时分析
最后点击实时分析即可
效果图
离线步骤
1.进入离线模块
cd /opt/module/hive-0.13.1-bin/bin
2.启动元数据库
3.启动hiveserver2服务
两个RunJar
4.输入命令行
页面显示1.启动hive
2.后台启动
3.登录离线管理
和之前做相同处理
新闻网实时数据步骤（毕业设计）相关推荐
- Python 大数据分析疫情：如何实现实时数据爬取及 Matplotlib 可视化？
作者 | 杨秀璋 来源 | CSDN博客专家Eastmount 责编 | 夕颜 思来想去,虽然很忙,但还是挤时间针对这次肺炎疫情写个Python大数据分析系列博客,包括网络爬虫.可视化分析.GIS地图 ...
- 使用 Oracle GoldenGate 进行实时数据集成
[转自]http://blog.chinaunix.net/u1/53677/showart_2314585.html 使用 Oracle GoldenGate 进行实时数据集成 了解如何安装.设置和 ...
- 对应chd5.14的spark_GitHub - shixiaopengql/BigData-News: 基于Spark2.2新闻网大数据实时系统项目...
基于Spark2.2新闻网大数据实时系统项目 1. 说明 2.环境配置 2.1 CDH-5.14.2 (安装步骤可参考地址),关于版本是按实际操作, CDH的版本兼容性很好. Service hado ...
- 视频直播：实时数据可视化分析
作者:spiderwu,腾讯 CSIG 高级工程师 1 解决方案描述 1.1 概述 本方案结合腾讯云 CKafka.流计算 Oceanus.私有网络 VPC.商业智能分析 BI 等,对视频直播行业数字 ...
- 计算机接口控制采集时序图,自动站实时数据质量控制
自动站实时数据质量控制 利用极值法.比较法.综合 (本文共2页) 阅读全文>> 通过2次自动站实时数据质量控制失败的案例,分析总结了自动气象站实时数据质量控制的经验教训.结果表明:(1)值 ...
- python自动化数据报告_如何：使用Python将实时数据自动化到您的网站
python自动化数据报告 This tutorial will be helpful for people who have a website that hosts live data on a ...
- 关于云开发新服务“实时数据推送”，你需要了解的全在这了！
"微信小程序工程师邓坤力带你了解如何利用千呼万唤始出来的云开发实时数据推送服务打造生动的小程序和小游戏!" 在数据库在小程序·云开发中的应用一文中,我们了解到实时数据推送作为云开发 ...
- 实时数据产品实践——美团大交通战场沙盘
背景 大数据时代,数据的重要性不言而喻,尤其对于互联网公司,随着业务的快速变化,商业模式的不断创新.用户体验个性化.实时化需求日益突出,海量数据实时处理在商业方面的需求越来越大.如何通过数据快速分析出 ...
- Hologres助力飞猪双11实时数据大屏秒级响应
简介: 本文重点介绍Hologres如何落地阿里巴巴飞猪实时数仓场景,并助力飞猪双11实时数据大屏3秒起跳,全程0故障. 摘要:刚刚结束的2020天猫双11中,MaxCompute交互式分析(下称Ho ...
最新文章
- 写一个函数，尽可能高效的，从一个标准 url 里取出文件的扩展名
- 全国大学生智能汽车竞赛-百度线下赛道报名开始！
- 深入理解并使用python的模块与包
- linux 监控进程是否存在并重启进程、打印进程日志
- 【深度学习】深度学习经典数据集汇总
- VIM_shortcut_Cheat_sheet
- otg usb 定位_详解USB OTG工作原理及其应用
- 【腾许Bugly干货分享】“HTTPS”安全在哪里？
- 不重叠的线段（51Nod-1133）
- C#时常需要调用C++DLL
- abstract class和interface的区别
- AtCoder Beginner Contest 136 解题报告
- python读取dat文件并保存为Excel格式
- 《概率论基础教程》总结2 随机变量、期望、方差
- editplus使用
- 章节1 概述 - Segger SystemView使用手册（译文）
- 中国实业能成为怎样的互联网公司
- 3G UMTS与4G LTE核心网(一)：移动核心网基础
- Qt笔记(六十三)之Qt实现窗口以及控件的全屏效果
- openpyxl 打开大文件很慢_解决python执行较大excel文件openpyxl慢问题