这篇文章主要介绍“Hadoop怎么以流形式上传本地文件到分布式文件系统中”,在日常操作中,相信很多人在Hadoop怎么以流形式上传本地文件到分布式文件系统中问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Hadoop怎么以流形式上传本地文件到分布式文件系统中”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
说明如题:
package org.apache.hadoop.examples.yao; import java.io.File; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocalFileSystem; import org.apache.hadoop.fs.Path; public class ReadLocalFile2Hadoop { public static void main(String[] args) throws IOException{ readLocalFile2Hadoop("/home/yaokj/temp","test"); } /** * 以流形式上传本地文件到分布式文件系统中 * @param inputDir 本地文件夹 * @param hdfsDir Hadoop 上的文件夹 * @throws IOException */ public static void readLocalFile2Hadoop(String inputDir,String hdfsDir) throws IOException{ Configuration cfg = new Configuration(); cfg.addResource(new Path("/home/yaokj/hadoop-0.20.203.0/conf/hdfs-site.xml"));//配置文件上的位置 cfg.addResource(new Path("/home/yaokj/hadoop-0.20.203.0/conf/core-site.xml")); FileSystem fs = FileSystem.get(cfg); LocalFileSystem localFS = FileSystem.getLocal(cfg); fs.mkdirs(new Path(hdfsDir)); FileStatus[] inputFiles = localFS.listStatus(new Path(inputDir)); FSDataOutputStream out ; FSDataInputStream in; for (int i = 0 ; i < inputFiles.length ; i++) { System.out.println(inputFiles[i].getPath().getName()); in = localFS.open(inputFiles[i].getPath()); out = fs.create(new Path(hdfsDir+inputFiles[i].getPath().getName())); byte[] buffer = new byte[256]; int byteRead = 0 ; while ((byteRead = in.read(buffer)) > 0) { out.write(buffer, 0, byteRead); } out.close(); in.close(); File file = new File(inputFiles[i].getPath().toString()); //System.out.println(inputFiles[i].getPath().toString()); System.out.println(file.delete()); } } }
到此,关于“Hadoop怎么以流形式上传本地文件到分布式文件系统中”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。