阿里云
发表主题 回复主题
  • 506阅读
  • 4回复

Hadoop安全实践

级别: 新人
发帖
0
云币
-40





问题导读

1.hadoop集群安全问题包括哪些方面?
2.集群账号如何管理?
3.用户账号如何管理?4.凭证过期采取什么样的处理策略?
5.没有对凭证做周期的更新, 那怎么保证凭证不会过期呢?






前言
在2014年初,我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版, 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法。



背景集群安全措施相对薄弱

最早部署Hadoop集群时并没有考虑安全问题,随着集群的不断扩大, 各部门对集群的使用需求增加,集群安全问题就显得颇为重要。说到安全问题,一般包括如下方面:


  • 用户认证(Authentication)

    即是对用户身份进行核对, 确认用户即是其声明的身份, 这里包括用户和服务的认证。


  • 用户授权(Authorization)

    即是权限控制,对特定资源, 特定访问用户进行授权或拒绝访问。用户授权是建立再用户认证的基础上, 没有可靠的用户认证谈不上用户授权。






未开启安全认证时,Hadoop 是以客户端提供的用户名作为用户凭证, 一般即是发起任务的Unix 用户。一般线上机器部署服务会采用统一账号,当以统一账号部署集群时,所有执行 Hadoop 任务的用户都是集群的超级管理员,容易发生误操作。即便是以管理员账号部署集群,恶意用户在客户端仍然可以冒充管理员账号执行。



集群整体升级到 hadoop 2.0

2013年10月份 Hadoop 2.2.0 发布,作为 Apache Hadoop 2.X 的 GA 版本。我们考虑将集群整体升级 Hadoop 2.2.0,进入 yarn 时代。与此同时,我们计划在升级过程中一并把集群安全工作做到位,主要基于以下考虑:




  • 与升级工作一样,安全同样是基础工作,把安全搞好会方便我们后续的工作,否则会成为下一个阻碍。

  • 所谓基础工作,就是越往后改动越难的工作,目前不做,将来依赖更多,开展代价更大。



综上,我们的需求是在低版本hadoop升级到Yarn的过程中部署Hadoop安全认证,做好认证之后我们可以在此之上开启适当的权限控制(hdfs, 队列)。



方案调研

在方案调研之前先明确以下安全实践的原则,如下:


  • 做为一个后端服务平台,部署安全的主要目的是防止用户误操作导致的事故(比如误删数据,误操作等)

  • 做安全是为了开放,开放的前提是保证基本的安全,数据安全与平台安全

  • 在保证安全的前提下,尽量简化运维



分析我们遇到的问题,这里我们需要调研:


  • 账号拆分与相应管理方案

  • 开启 Hadoop 安全认证

  • 客户端针对安全认证的相应调整





账号拆分与相应管理方案集群账号管理

原先我们使用单一账号作为集群管理员,且这一账号为线上统一登录账号, 这存在极大的安全隐患。我们需要使用特殊账号来管理集群。这里涉及的问题是,我们需要几个运维账号呢?

一种简单的做法是使用一个特殊运维账号(比如 hadoop), CDH 和 Apache官方 都推荐按服务划分分账号来启动集群:



User:GroupDaemonshdfs:hadoopNameNode, Secondary NameNode, Checkpoint Node, Backup Node, DataNodeyarn:hadoopResourceManager, NodeManagermapred:hadoopMapReduce JobHistory Server
级别: *
发帖
*
云币
*
學習啊
级别: *
发帖
*
云币
*
好深啊,学习了
级别: *
发帖
*
云币
*
学习啊
级别: *
发帖
*
云币
*
hadoop的方面真是太多了啊,
发表主题 回复主题
« 返回列表
«12345678910»
共10页
上一主题下一主题

限100 字节
如果您提交过一次失败了,可以用”恢复数据”来恢复帖子内容
 
验证问题: 74 - 0 = ?
上一个 下一个
      ×
      全新阿里云开发者社区, 去探索开发者的新世界吧!
      一站式的体验,更多的精彩!
      通过下面领域大门,一起探索新的技术世界吧~ (点击图标进入)

      版权声明

      开发者论坛为你提供“Hadoop安全实践”的内容,论坛中还有更多关于 hadoop集群hadoopmapreducememache集群的问题集群资源管理数据库;集群;部署 的内容供你使用,该内容是网友上传,与开发者论坛无关,如果需要删除请联系zixun-group@service.aliyun.com,工作人员会在5个工作日内回复您。