essen的博客
essen · 共 39 篇文章
Shuffle's getMapOutput() fails with EofException, followed by IllegalStateExcept
在查看tasktracker日志时,发现报错 2013-12-18 15:56:29,527 WARN org.mortbay.log: Committed before 410 getMapOutput(attempt_201311271626_585288_m_000024_0,2) failed : org.mortbay.jetty.EofException ... 2013-12-18 15:56:29,528 ERROR org.mortbay.log: /mapOutput java.lang.IllegalStateException: Committed ... 于是goo…
2013-12-18 18:29 · hadoop · 评论(0)
pig自定义输出文件名,重写StoreFunc
需要实现四个方法: getOutputFormat() prepareToWrite(RecordWriter writer) putNext(Tuple tuple) setStoreLocation(String location, Job job) setStoreLocation(String location, Job job) 设置输出路径,可以在里面设置输出压缩格式,这里传进来的location就是写pig时候STORE log0 INTO '/path/of/result'这里的path 如: FileOutputFormat.setOutputPath (job, new …
2013-12-06 17:04 · pig · 评论(0)
python 使用ConfigParser,ConfigObj读取配置
使用python 从配置文件获取配置: import ConfigParser config = ConfigParser.ConfigParser() #@staticmethod def getValue(keyName): with open('./conf/system.properties', 'r') as cfg: config.readfp(cfg) return config.get('config', keyName) 配置文件示例: [config] username = xx pwd = xx 但是有一个配置文件并没有上面的section [config],配置文件又…
2013-09-25 16:14 · python · 评论(0)
python tarfile-打包解包
最近项目上有一个ftp上传程序,需要把碎文件打包上传,到服务端再解包。本来已经只能通过shell来搞这个了,无奈打包过程中有一部分业务逻辑,不能把整个目录都打包,惊喜地发现python有tarfile这个东西,太惊喜了,试用完后发现还挺不错,打包一组466M的文件,共778个文件花了1.9s,解包花了2.3s。打包,解包代码如下: tar打包 在写打包代码的过程中,使用tar.add()增加文件时,会把文件本身的路径也加进去,加上arcname就能根据自己的命名规则将文件加入tar包 打包代码: #!/usr/bin/env /usr/local/bin/python # encoding:…
2013-09-12 17:20 · python · 评论(0)
Linux查看系统资源占用命令
top : ====================================== 主要参数 d:指定更新的间隔,以秒计算。 q:没有任何延迟的更新。如果使用者有超级用户,则top命令将会以最高的优先序执行。 c:显示进程完整的路径与名称。 S:累积模式,会将己完成或消失的子行程的CPU时间累积起来。 s:安全模式。 i:不显示任何闲置(Idle)或无用(Zombie)的行程。 n:显示更新的次数,完成后将会退出to 显示参数: PID(Process ID):进程标示号。 USER:进程所有者的用户名。 PR:进程的优先级别。 NI:进程的优先级别数值。 VIRT:进程占用的虚拟内存…
2013-08-05 10:21 · linux · 评论(0)
禅道linux安装
组里面用敏捷,初步打算用禅道,打算把禅道部署在Linux服务器上。安装步骤如下: 1、下载 由于是新机器,没有安装Php,mysql,apache之类的,就打算下载一个一键部署包, http://dl.zentao.net/4.1/ZenTaoPMS.4.1.stable.linux.7z 2、安装 下载下来后,按照网站的介绍( http://www.zentao.net/help-read-79598.html )将其改成可执行的,运行后不能自动解包。按照 http://velep.com/archives/389.html 文章的介绍,安装7z。最后解压 ZenTaoPMS.4.1.st…
2013-07-29 18:08 · 软件使用 · 评论(0)
禅道关联svn
禅道专业版价位 http://www.cnblogs.com/zentaoms/ 禅道软件下载及安装地址 http://www.zentao.net/article-view-78950.html 安装完成后需要运行init.sh,生成命令行脚本 http://www.zentao.net/help-read-79777.html 下面就是关联svn http://www.zentao.net/help-read-79501.html 完成以上操作后,就能在提交代码时关联到禅道里的任务 就是在点view时看不到变更记录
2013-07-04 14:44 · 软件使用 · 评论(0)
MYSQL使用Limit限定更新行数
上下文:想要修改config表,将其中 5607行的is_ok改为true。 想通过下面的sql语句实现 UPDATE channel_config set is_adam_pub=1 where channel_id in (select channel_id from channel_config limit 5607); 发现Mysql不能支持子句使用Limit,数据库会报错 This version of MySQL doesn't yet support 'LIMIT & IN/ALL/ANY/SOME subquery' 网上找一方法,可以支持子串使用Limit UPDATE c…
2013-04-16 11:34 · mysql · 评论(0)
java volatile关键字
volatile关键字有什么用? 举个例子: private volatile int v; public void func(){ int a=5*v; int b=5*v; .... } 如果v是个普通的变量,编译器很可能会做这样的优化, 第一次计算出5*v的值后,先赋给a,然后直接又从寄存赋给b, 而不会重新计算5*v, 如果这个时候其他线程改变了v的值,而本线程又没有去“主”内存里面取新的v值,就会造成b值的不正确。如果定义成volatile,编译器则不会做任何优化,每次都会重新读取v的值。 volatile和synchronized的有什么不同? private int i1; p…
2013-04-09 09:18 · java · 评论(0)
hadoop job推测执行
什么是推测执行? 所谓的推测执行,就是当所有task都开始运行之后,Job Tracker会统计所有任务的平均进度,如果某个task所在的task node机器配置比较低或者CPU load很高(原因很多),导致任务执行比总体任务的平均执行要慢,此时Job Tracker会启动一个新的任务(duplicate task),原有任务和新任务哪个先执行完就把另外一个kill掉 怎么配置推测执行参数? 推测执行需要设置Job的两个参数: mapred.map.tasks.speculative.execution mapred.reduce.tasks.speculative.execution …
2013-04-08 19:32 · hadoop · 评论(0)
用Eclipse Memory Analyzer查找内存泄露
系统上线后,程序报出out of memory错误。一方面先加大程序运行的内存以解燃眉之急,另一方面希望能有个工具能查出内存泄露的原因。 通过查阅资料发现了Memory Analyzer这个eclipse插件,下面讲下怎么用。 首先,获取Heap dump文件。 有三种方式: 1、设置JVM参数,-XX:+HeapDumpOnOutOfMemoryError,在内存溢出的时候就会生成Heap dump文件 2、使用jmap。(windows可以通过任务管理器查看pid) Java5:jmap -heap:format=b <pid>; Java6:jmap -dump:format=b,fi…
2013-03-07 10:28 · eclipse · 评论(1)
flask-sqlachemy note
between datetime按天查询 Myclass.query.filter(myClass.date.between(_date, _date+timedelta(days = 1))) filter 和 filter_by的区别 session.query(MyClass).filter(MyClass.name == 'some name') session.query(MyClass).filter_by(name = 'some name') filter 需要带上tablename,并用== http://docs.sqlalchemy.org/en/rel_0_7/orm…
2012-12-10 17:15 · python · 评论(1)
用正则表达式匹配w3c日志,导入hive
用正则表达式匹配w3c日志,导入hive w3c格式建表语句: CREATE EXTERNAL TABLE w3c( host STRING, ident STRING, username STRING, log_date STRING, method STRING, uri STRING, version STRING, status STRING, flux STRING, referer STRING, user_agent STRING ) PARTITIONED BY(dt STRING, userid STRING, channelid STRING) ROW FORMAT SE…
2012-11-08 17:00 · hive · 评论(0)
Excel中导入Unix格式时间戳小技巧
简介 Excel中导入Unix格式时间戳小技巧 步骤/方法 Excel默认不支持Unix格式时间戳,这在导入数据时十分不便。可以用以下公式将时间戳转换成Excel格式的时间: =(x+8*3600)/86400+70*365+19 其中x为时间戳的单元格,8*3600中的8为中国的时区。然后将公式单元格设置为日期时间格式即可。转换结果如下图: 这个公式的原理:Excel的日期实际上是序列值,它以1900-1-1为1,每过一天序列值加1。而Unix时间戳是从1970-1-1 0:00:00 UTC开始到现在经过的秒数。用x表示时间戳,可得到换算公式: x+8*3600 当前时区的时间(秒) (…
2012-10-25 11:36 · office · 评论(0)
ftp传输两种模式--port,pasv
FTP是File Transfer Protocol(文件传输协议)的缩写,用来在两台计算机之间互相传送文件。相比于HTTP,FTP协议要复杂得多。复杂的原因,是因为FTP协议要用到两个TCP连接,一个是命令链路,用来在FTP客户端与服务器之间传递命令;另一个是数据链路,用来上传或下载数据。 PORT & PASV FTP协议有两种工作方式:PORT方式和PASV方式,中文意思为主动式和被动式。 PORT(主动)方式的连接过程是:客户端向服务器的FTP端口(默认是21)发送连接请求,服务器接受连接,建立一条命令链路。当需要传送数据时,客户端在命令链路上用PORT命令告诉服务器:“我打开了XX…
2012-08-28 09:39 · ftp · 评论(0)