温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

JAVA API操作小文件合并至HDFS(笔记)

发布时间:2020-06-19 08:47:06 来源:网络 阅读:695 作者:wx5da03a3bd2999 栏目:大数据

相关文件请自行创建!!!

package com.hadoop.hdfs;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.PathFilter;
import org.apache.hadoop.io.IOUtils;
/**

  • 合并小文件至 HDFS
  • */
    public class MergeSmallFilesToHDFS {
    private static FileSystem fs = null;
    private static FileSystem local = null;

    public static void main(String[] args) throws IOException,
    URISyntaxException {
    list();
    }

    /**

    • 数据集合并,并上传至HDFS
    • throws IOException
      throws URISyntaxException
      /
      public static void list() throws IOException, URISyntaxException {
      // 读取hadoop文件系统的配置
      Configuration conf = new Configuration();
      //文件系统访问接口,注意:hdfs://master:9000修改成自己的HDFS地址
      URI uri = new URI("hdfs://master:9000");
      //创建FileSystem对象
      fs = FileSystem.get(uri, conf);
      // 获得本地文件系统
      local = FileSystem.getLocal(conf);
      //过滤目录下的 svn文件,注意:文件路径E://Hadoop/73/修改成自己的路径
      FileStatus[] dirstatus = local.globStatus(new Path("E://Hadoop/73/"),new RegexExcludePathFilter("^.svn$"));
      //获取73目录下的所有文件路径
      Path[] dirs = FileUtil.stat2Paths(dirstatus);
      FSDataOutputStream out = null;
      FSDataInputStream in = null;
      for (Path dir : dirs) {
      //2019-10-31
      String fileName = dir.getName().replace("-", "");//文件名称
      //只接受日期目录下的.txt文件
      FileStatus[] localStatus = local.globStatus(new Path(dir+"/"),new RegexAcceptPathFilter("^.txt$"));
      // 获得日期目录下的所有文件
      Path[] listedPaths = FileUtil.stat2Paths(localStatus);
      //输出路径,注意:hdfs://master:9000/20191031/修改成自己的HDFS目录地址
      Path block = new Path("hdfs://master:9000/20191031/"+ fileName + ".txt");
      System.out.println("合并后的文件名称:"+fileName+".txt");
      // 打开输出流
      out = fs.create(block);
      for (Path p : listedPaths) {
      in = local.open(p);// 打开输入流
      IOUtils.copyBytes(in, out, 4096, false); // 复制数据
      // 关闭输入流
      in.close();
      }
      if (out != null) {
      // 关闭输出流
      out.close();
      }
      }

    }

    /**

    • 过滤 regex 格式的文件
    • */
      public static class RegexExcludePathFilter implements PathFilter {
      private final String regex;
      public RegexExcludePathFilter(String regex) {
      this.regex = regex;
      }

      public boolean accept(Path path) {
      boolean flag = path.toString().matches(regex);
      return !flag;
      }

    }

    /**

    • 接受 regex 格式的文件
    • */
      public static class RegexAcceptPathFilter implements PathFilter {
      private final String regex;
      public RegexAcceptPathFilter(String regex) {
      this.regex = regex;
      }

      @Override
      public boolean accept(Path path) {
      boolean flag = path.toString().matches(regex);
      return flag;
      }

    }
    }

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI