远程操作 hdfs 提示用户权限不足问题解决

远程操作hdfs提示用户权限不足问题解决

最近在做的项目需要远程操作HDFS文件系统上面的文件,大家应该知道HDFS上的文件是有所属用户和组的,每个用户有与之对应的权限;

当你是用你本机的用户远程操作HDFS的话,可能会出现以下错误

查询许久之后,发现只需要在你远程操作前增加以下一句代码即可操作成功


System.setProperty("HADOOP_USER_NAME", user);

user是你所操作文件的用户

此时,就可以远程操作HDFS了.

可是,不久以后又一个新的问题冒出来了.因为项目所使用的集群有两种,一种是vanilla插件生成的用户为hadoop的集群,一种是Ambari插件生成用户为hdfs的集群.

当你远程操作完一种集群以后,需要再次向另一种集群发起请求的时候,以上的错误又出现了

我开始也是百思不得其解,明明每次操作之前,我都会根据集群类型的不同修改用户的呀,为什么还会出现以上错误.

后来在几经波折之下,终于找出了问题所在

通过追踪源码发现,用户获取模块是在UserGroupInformation类中获取的，部分代码如下：


 Principal user = null;  
    // if we are using kerberos, try it out  
    if (isAuthenticationMethodEnabled(AuthenticationMethod.KERBEROS)) {  
      user = getCanonicalUser(KerberosPrincipal.class);  
      if (LOG.isDebugEnabled()) {  
        LOG.debug("using kerberos user:"+user);  
      }  
    }  
    //If we don't have a kerberos user and security is disabled, check  
    //if user is specified in the environment or properties  
    if (!isSecurityEnabled() && (user == null)) {  
      String envUser = System.getenv(HADOOP_USER_NAME);  
      if (envUser == null) {  
        envUser = System.getProperty(HADOOP_USER_NAME);  
      }  
      user = envUser == null ? null : new User(envUser);  
    }  
    // use the OS user  
    if (user == null) {  
      user = getCanonicalUser(OS_PRINCIPAL_CLASS);  
      if (LOG.isDebugEnabled()) {  
        LOG.debug("using local user:"+user);  
      }  
    }  
    // if we found the user, add our principal  
    if (user != null) {  
      subject.getPrincipals().add(new User(user.getName()));  
      return true;  
    }  
    LOG.error("Can't find user in " + subject);  
    throw new LoginException("Can't find user name");

从上面代码片段可以知道,Hadoop先判断集群是否启用了Kerberos授权.如果是,则直接从配置中获取用户（可以为空);

如果不是,则往下走.所以如果没有启用安全认证或者从Kerberos获取的用户为null,那么获取HADOOP_USER_NAME系统环境变量,如果获取到的系统环境变量为空,那么将会获取java环境变量,并将它的值作为Hadoop执行用户.

如果我们没有设置HADOOP_USER_NAME环境变量，那么程序将调用whoami来获取当前用户，并用groups来获取用户所在组.

所以,之前通过设置System.setProperty("HADOOP_USER_NAME", user); 设置java环境变量就可操作hdfs了.

可是后来换了集群用户以后通过设置java环境变量就不能修改了

通过上图,不难发现原因. 源码中加了一个判断 user==null,当第一次获取java环境变量以后,user已经有值了,所以不会再次重新获取.

出现了这个问题,确实挺让人头疼的. 我需要这么做才能让它重新设置用户呢?

修改源码吗? 我这种菜鸟怎么敢修改源码呢

后来发现,在获取HDFS文件系统的时候,有一个方法我没有注意到,也是一个解决我上面出现问题的最重要的方法.


//返回默认文件系统，core-site.xml中指定的，如果没有指定，则默认本地文件系统
public static FileSystem get(Configuration conf) throws IOException
public static FileSystem newInstance(Configuration conf) throws IOException
//通过给定 URI 方案和权限来确定要使用的文件系统，若 URI 中未指定方案，返回默认文件系统
public static FileSystem get(URI uri, Configuration conf) throws IOException
public static FileSystem newInstance(URI uri, Configuration conf) throws IOException
//作为给定用户来访问文件系统，对安全来说很重要
public static FileSystem get(final URI uri, final Configuration conf, final String user)  throws IOException, InterruptedException
public static FileSystem newInstance(final URI uri, final Configuration conf, final String user) throws IOException, InterruptedException

在获取FileSystem 的时候是可以设置用户的user的,好吧! 我承认我又傻逼了一次,这不是第一次.也不是最后一次 ~~

远程操作 hdfs 提示用户权限不足问题解决