hive

      简介:hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

 

hive职位描述(模板一)

岗位职责:

1、理解业务,基于大数据平台,开发和维护数据仓库相关,对业务需求部门进行数据支持;

2、根据业务部门需求,充分利用现有数据资源,进行数据提取、整理和挖掘(ETL);

3、深入了解业务,从数据层面发现业务和系统方面的问题,并支持解决;

4、建立及优化和维护⼤数据平台数据仓库,与数据产品经理一起,解决数据准确性、计算稳定性相关的技术问题。

任职要求:

1、熟悉数据仓库方法论、理解维度建模,有ETL相关开发工作经验; 

2、熟悉数据仓库开发流程,数据冷热分离,熟悉数据仓库(DW)/商业智能(BI)的数据框架;

3、熟悉⼤数据平台及数据仓库⼯具,数据同步工具;

4、熟悉hadoop生态,Hive及相关hql,ETL等工作;

5、踏实、细心、认真,有责任心,良好的团队协作,乐于沟通交流和分享。

 

hive职位描述(模板二)

岗位职责:

1、负责在Spark计算平台上开发金融业务所需的数据;   

2、负责Spark任务的维护和支持。

任职要求:

1、计算机相关专业,本科学历以上,至少2年工作经验;   

2、熟悉Java或Scala; 

3、熟悉Spark开发,从事过至少一个完整的Spark项目; 

4、自我驱动,自主学习新的技术和分析方法,并勇于在业务上进行创新。

 

hive职位描述(模板三)

岗位职责:

1、参与相关项目的需求分析、方案设计;

2、参与数据仓库模型设计和OLAP模型设计;

3、负责相关项目的数据处理ETL过程的设计与实现;

4、负责对业务需求部门进行数据支持;

5、根据需求,进行数据库、数据仓库方面的技术支持。

任职要求:

1、本科以上学历,2年以上数据仓库或者ETL开发经验;

2、熟悉主流数据库Oracle、DB2、SQL Server、mysql等数据库中一种,熟练掌握SQL语句编程;

3、熟悉数据仓库架构及原理,能进行数据仓库数据模型的设计,开发;      

4、熟练编写存储过程;

5、熟悉Hadoop,有过Hive开发经验;

6、具有良好的沟通表达能力、具有良好的文档编写能力,有较强的独立工作能力和解决问题的能力;

7、有互联网电商或零售行业业务经验,元数据管理,数据质量管理经验者优先。

 

hive职位描述(模板四)

岗位职责:

1、参与基于hadoop的数据计算平台建设,支持精准广告投放所需的大规模数据计算需求;

2、大数据应用相关解决方案的设计,以及相关软件应用技术疑难问题的研究工作;

3、基于DMP平台,处理每日T级以上的大数据分析;

4、针对具体业务数据进行数据的离线计算或实时计算。

任职要求:

1、计算机相关专业,本科及以上学历,3年以上Hadoop相关开发/维护经验;

2、熟悉Hadoop/HBase/Spark/hive生态系统的搭建和管理,掌握相关项目的原理和使用方法;

3、掌握数据分析的基本流程,擅长数据采集、清洗、分析等环节;

4、具有较强的业务理解能力,并能快速应用于数据分析各阶段;

5、善于发现系统的性能瓶颈、设计缺陷,提出改进方案并进行实施;

6、思路敏捷清晰,良好的表达和理解能力,良好的学习能力,强烈的创新意识;

7、有互联网广告行业工作经历者优先考虑。

 

hive职位描述(模板五)

岗位职责:

1、 参与公司大数据产品规划,大数据处理分析平台的设计;

2、 负责数据分析、加工、清理、处理程序的开发;

3、 负责数据相关平台的搭建、维护和优化。

任职要求:

1、 计算机相关专业本科学历以上;

2、 5+年以上相关大数据工作经验;

3、 熟悉Hadoop、Hbase、Hive、Spark集群搭建维护、优化及异常问题解决;

4、 能够发现系统性能瓶颈,并能对IO、网络通讯、任务调度调优;

5、 熟悉Java和Scala语言、熟悉常用设计模式、具有代码重构意识;

6、 使用Spark Streaming和Spark SQL进行数据处理, 并具有SPARK SQL优化经验;

7、 熟悉MySQL数据库性能优化方法, 了解常见NO-SQL数据库;

8、 有数据挖掘、数据分析、机器学习研发实践经验者优先。
下一个

数据挖掘

 
关于我们 客服电话  400-111-9333 工作时间  8:00-22:00
扫描关注三茅招聘