导航:首页 > 编程语言 > hadoopjavahdfs

hadoopjavahdfs

发布时间:2022-08-13 15:02:25

A. hadoop2.6.0 hdfs 错误:无法创建java虚拟机

需要把JAVA_HOME设置为系统变量,
另外你的PATH设置了吗?

B. 我正在捣腾hadoop,用java编写了一个程序,想要连接到hdfs上,运行后显示如下,这是什么问题呢求解!

你的hadoop是2.X的,但是还是按1.X的配置,需修改配置,或者还原hadoop版本。

C. 利用JAVA+API向HDFS文件系统上的文件写入数据一共有哪三种方法,请叙述该三种

摘要 一.构建环境

D. hdfs 的java api操作要配置hadoop环境吗

需要配置 ,
需要配置几个配置文件在你的resources目录下
hdfs-site.xml yarn-site.xml core-site.xml
看具体情况如果使用mr程序还需要 mapred-site.xml 具体文件参数和你hadoop集群的配置有关可以查阅官方配置文档

E. hdfs和hadoop是什么关系

HDFS是分布式文件系统,说通俗点就是用的存储的数据库,是hadoop的核心组件之一,其他还有maprece,yarn.

F. java怎么连接hdfs文件系统,需要哪些包

apache的Hadoop项目提供一类api可以通过java工程操作hdfs中的文件,包括:文件打开,读写,删除等、目录的创建,删除,读取目录中所有文件等。
1、到http://hadoop.apache.org/releases.html下载Hadoop,解压后把所有jar加入项目的lib里
2、程序处理步骤: 1)得到Configuration对象,2)得到FileSystem对象,3)进行文件操作,简单示例如下:
/**
*
*/
package org.jrs.wlh;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
* @PutMeger.java
* java操作hdfs 往 hdfs中上传数据
* @version $Revision$</br>
* update: $Date$
*/
public class PutMeger {

public static void main(String[] args) throws IOException {

String[] str = new String[]{"E:\\hadoop\\UploadFileClient.java","hdfs://master:9000/user/hadoop/inccnt.java"};
Configuration conf = new Configuration();
FileSystem fileS= FileSystem.get(conf);
FileSystem localFile = FileSystem.getLocal(conf); //得到一个本地的FileSystem对象

Path input = new Path(str[0]); //设定文件输入保存路径
Path out = new Path(str[1]); //文件到hdfs输出路径

try{
FileStatus[] inputFile = localFile.listStatus(input); //listStatus得到输入文件路径的文件列表
FSDataOutputStream outStream = fileS.create(out); //创建输出流
for (int i = 0; i < inputFile.length; i++) {
System.out.println(inputFile[i].getPath().getName());
FSDataInputStream in = localFile.open(inputFile[i].getPath());

byte buffer[] = new byte[1024];
int bytesRead = 0;
while((bytesRead = in.read(buffer))>0){ //按照字节读取数据
System.out.println(buffer);
outStream.write(buffer,0,bytesRead);
}

in.close();
}

}catch(Exception e){
e.printStackTrace();
}
}

}

阅读全文

与hadoopjavahdfs相关的资料

热点内容
程序员用什么键盘罗技 浏览:167
为什么安卓手机每天都要更新app 浏览:705
java怎么成为程序员 浏览:288
西门子s7200编程电缆怎么连接 浏览:530
下载网页中的pdf文件 浏览:87
音乐缓存文件夹的软件 浏览:394
Dkms编译打印机驱动 浏览:992
解压缩文件操作异常 浏览:555
等待代码编译时你会干嘛 浏览:493
单片机c语言中变量右移8位 浏览:81
解压的一个小短片 浏览:831
二级压缩空压机哪家好排行 浏览:743
基于单片机超声波测距 浏览:130
模拟随机红包算法 浏览:386
程序员接外包网站 浏览:135
哪里可以买拆车件app 浏览:992
限流算法漏桶和令牌桶区别 浏览:316
程序员怎么找兼职 浏览:802
java编译路径 浏览:283
服务器修改mac地址是什么 浏览:581