大数据组件平台开发

详细信息

1.通过Python爬取相关信息数据

2.通过MR程序进行数据清洗

3.通过hive进行结构化数据分析

4.通过可视化工具或python代码进行分析结果数据的可视化展示



需求描述：(1)hadoop集群框架搭建与运维(2)hive数据仓库与数据分析,数据可视化等(3)小型系统的开发（例：各类管理系统,电商系统）(4)推荐算法与聚类分析的代码调试与开发(5)网站数据爬虫。技能要求：hadoop,Hive,java,Python,spark,flink,爬虫,聚类分析,协同过滤算法,相关性分析等。 本职位为在家办公，工作时间可以灵活安排，薪资可观，