2023年大数据架构师的基本职责新编.docx

大数据架构师的根本职责 大数据架构师的根本职责1 职责： 1.负责整个大数据平台架构的设计和构建; 2.负责构建大数据平台的数据交换、任务调度等通用平台; 3.制定开发、测试、实施、维护的标准和标准，指导和培训工程师，不断提升团队能力。 4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署，负责编写核心局部代码。 5.持续挑战新的技术方向，攻克大数据量、高并发、高可用、可扩展等技术难点。 任职要求： 1.3年以上大数据架构经验，丰富的数据仓库、数据挖掘、机器学习工程经验 2.大规模数据处理的架构和设计实战经验 3.精通spark、mr，熟练hdfs、yarn、hbase、hive、mongodb，熟悉kafka、redis、storm、mahout、flume、elasticsearch、graphdb（neo4j或其他）等，并具有丰富的大型数据平台工程经验 4.深刻理解大数据处理（流计算，分布式计算，分布式文件系统，分布式存储等）相关技术和实现方法 5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法，熟练linux/unix平台上的开发环境 6.本科或以上学历，计算机软件或相关专业，丰富的java开发经验和互联网背景优先。 7.具有比较强的问题分析和处理能力，有比较优秀的动手能力，热衷技术，精益求精 大数据架构师的根本职责2 职责： 1.深刻理解政府行业业务模式，构建政府行业的数据模型，制定公司大数据技术开展路线; 2.对接业务研究和技术部门，主动搜集和转化需求，组织数据中心业务开发，进行数据相关产品需求分析和设计; 3.搭建数据仓库，研发数据库管理系统，搜集、提取、处理业务积累的海量数据，开展数据分析和挖掘; 4.根据公司战略和开展需要，规划数据中心重点工作和任务;落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外交流与合作。 职位要求： 1.5年以上相关工作经验，有团队管理和工程管理经验者优先; 2.了解政府运作机制，掌握财政行业知识，有电子政务行业经验者优先; 3.熟练掌握使用java或python，精通数据库查询语言如sql，oracle等，在机器学习模型和算法方向有应用经验者优先; 4.具备数据中心产品筹划整体思维，有大数据处理、分析、挖掘经验者优先; 5.逻辑思维严密，具备业务抽象、分解和标准化的能力，口头和书面表达优秀; 6.有较强的大局意识和良好的团队合作意识，富有领导力，具备优秀的人际交往和沟通能力。 大数据架构师的根本职责3 职责： 1、从事电信行业大数据工程相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作 2、与数据专业委员会一起研究数据建模方案和建模工具，负责产品线产品的数据架构、数据模型设计 3、参与研究数据库之间的数据转换方式，参与工程中的数据移植工作，收集在工程中的数据移植经验，优化产品的数据模型 4、负责培训本部门队伍的数据模型根底理论工作，建立数据模型团队 岗位要求： 1、统招本科学历，3年以上主流数据上（db2、oracle、sqlserver、mysql等）etl设计、开发经验，具备大型数据仓库逻辑模型和物理模型设计经验，精通sql，有较好的sql性能调优经验; 2、拥有python，r等数学建模工具的使用经验，并具备一定的数据处理和建模经验，可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明; 3、熟悉统计学根本原理，做过实战的数据建模工程; 4、有分布式数据仓库建设相关经验者优先，具备电信行业数据仓库建设相关经验者优先; 大数据架构师的根本职责4 职责： 1、负责大数据平台的架构设计、核心代码开发等任务;根据工程要求编写相关技术文档; 2、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审; 3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施; 4、负责建立和维护大数据平台技术标准标准，指导开发人员编写代码; 任职要求： 1、本科及以上计算机相关专业毕业; 2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括storm、sparkstreaming等; 3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验; 4、掌握常见数据流接入工具，包括flume、kafka等; 5、熟练掌握根本的linux操作系统和某种脚本语言编程（如shell等）; 6、掌握一种或以上实时处理语言，如java、scala、python等，有scala经验者优先; 7、有实际大规模数据（tb级以上）处理经验优先; 大数据架构师的根本职责5 职责： 1、负责公司的大数据处理框架的研发设计工作，梳理可实现方案和技术标准; 2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成; 3、负责业务平台数据统计分析模块的设计与规划; 4、负责公司产品研发过程中的数据及存储设计; 5、带着和培养团队完成组织分解的目标; 任职要求： 1、统招本科及以上学历，计算机、软件工程相关专业，至少8年以上工作经验，5年以上大数据开发经验; 2、熟悉java、hadoop、hdfs、hive、hbase、spark、storm、flume等相关技术的根底架构 3、熟悉数据仓库，数据算法，分布式计算技术理论，具有大数据整体系统架构设计经验; 4、熟悉linux系统，熟练使用shell/perl/python脚本处理问题; 5、对深度学习框架（tensorflow）和机器学习（svm随机深林贝叶斯等）有一定了解的优先; 6、能够组织工程开发组协同工作，包括团队沟通、方案、开发环境管理等