## 开发技术：
spark hadoop hive 装杯显摆虚拟机Linux敲命令炫酷吊打 flask echarts sqoop scala hdfs yarn mysql requests爬虫框架等；
## 流程：
1.采集知网文献数据，同步存到mysql数据库和.csv文件，并将.csv上传hdfs文件系统；
2.使用hive建库建表导入hdfs中的.csv数据;
3.一半的指标使用hive_sql分析以后用sqoop导入mysql;一半的指标使用Spark的scala分析计算后插入mysql;
4.使用glask+echarts构建可视化大屏；
## 创新点：
Python爬虫、可视化大屏、离线数仓hive+实时计算Spark双结合双实现防止导师喷人、使用vmvare虚拟机模拟大数据环境等
如果他(导师)还是狂喷不止，继续选择以下的系统，他们可以选装牛鼻功能！
## 可选装项目模块如下：
1.推荐系统(4种深度学习推荐算法 协同过滤基于用户 基于物品 SVD神经网络 MLP)。附带AI、支付、短信、lstm情感分析。
2.预测系统(KNN CNN RNN卷积神经预测 K-means 线性回归)。
3.知识图谱neo4j可视化关系网络图。
4.后台管理系统。
## 注意：以上1234部分均采用springboot+vue.js前后端分离架构！！！
选装视频效果如下：