Hadoop-1.0.4 下examples 的wordcount运行

news/2024/7/6 3:46:31 标签: 大数据

1.hadoop环境搭建成功以后 用hadoop下自带的示例对hadoop进行了测试

  创建a.txt文件 并输入如下内容:

  

  

2.进入到Hadoop路径下将该文件复制到hadoop分布式文件系统下

  bin/hadoop fs -copyFromLocal usr/data/a.txt  /data/

3.执行hadoop自带的examples示例

  bin/hadoop jar hadoop-examples-1.0.4.jar wordcount /data/* result/

    /data/*  指定wordcount进行分析的文件的路径 result/指定分析结构的输出路径

  通过localhost:50070可以看到jobtracker运行的状态 以及map和reduce进行的进度

  

  任务成功结束

  

  在hadoop文件系统下可以看到输出的结果:

  

  

  

转载于:https://www.cnblogs.com/sirhuoshan/archive/2013/04/23/3038799.html


http://www.niftyadmin.cn/n/1636845.html

相关文章

Tsar开源:淘宝内部大量使用的系统监控工具

Tsar介绍 Tsar是淘宝的一个用来收集服务器系统和应用信息的采集报告工具,如收集服务器的系统信息(cpu,mem等),以及应用数据(nginx、swift等),收集到的数据存储在服务器磁盘上&#x…

Python抓取网页并保存为PDF

1、开发环境搭建 (1)Python2.7.13的安装:参考《廖雪峰老师的网站》 (2)Python包管理器pip的安装:参考《pip安装文档说明》 因为基于版本2.7.13,因为2.7.9以上已经自带pip,所以不需…

手把手教你打造android侧滑框架

转载请注明出处:http://blog.csdn.net/footballclub/ 介绍 如果项目中遇到了侧滑的需求,主流的做法有两个用android自带的drawerlayout和slidingmenu, 因为之前项目中有播放视频的时候滑动菜单就会出现滑动卡顿和闪白的问题,所…

HandleError 过滤器

[HandleError]过滤器提供了一种声明方式,来在一个Controller或Action方法上表示,如果在处理一个ASP.NET.MVC请求中发生错误的话,应该显示一个友好的错误回复。 要试验一下的话,在项目中加一个新的TestController,实现一…

Python工具-pdfkit

1、说明 pdfkit,把HTMLCSS格式的文件转换成PDF格式文档的一种工具。 其实,它就是html转成pdf工具包wkhtmltopdf的Python封装。所以,必须安装wkhtmltopdf。 一般情况下,wkhtmltopdf需要手动安装,尤其要注意的是Window…

菜鸟也想玩搜索引擎——爬虫部分技术要点浅析(补充)

时隔这么久,继续开写。本文系上一篇的补充:爬虫部分技术要点浅析。 本次将主要讨论上次提出的后两个问题:如何处理抽取出来的Url。 3、如何处理抽取出来的Url(爬取策略)? 所谓爬取策略,就是网络…

C++-程序设计实现

当我们有一个新的idea或者拿到用户需求的时候,常常会对怎样将其转化为代码而感到困惑。到底程序要解决哪些问题?模拟那些场景?在本文中,我们一起探讨一些这个问题。 俗话说,未雨绸缪,而事半功倍。是的&…

一个高大上的SharedPreferences工具类——XPrefs

背景 SharedPreferences常用来存储一些轻量级的数据,SharedPreferences存储的就是一个key-value(键值对)。Sharedpreferences在日常的android开发中使用的应该算是挺频繁的,通常我们开发者为了存储一个key,都会在一个…