essen
- 浏览: 325992 次
- 性别:
- 来自: 北京
-
最新评论
-
一EE：
插件更新地址：http://download.eclipse. ...
用Eclipse Memory Analyzer查找内存泄露 -
heipark：
Good!
flask-sqlachemy note
文章列表
在查看tasktracker日志时，发现报错
2013-12-18 15:56:29,527 WARN org.mortbay.log: Committed before 410 getMapOutput(attempt_201311271626_585288_m_000024_0,2) failed :
org.mortbay.jetty.EofException
...
2013-12-18 15:56:29,528 ERROR org.mortbay.log: /mapOutput
java.lang.IllegalStateException: Committed
...
需要实现四个方法：
getOutputFormat()
prepareToWrite(RecordWriter writer)
putNext(Tuple tuple)
setStoreLocation(String location, Job job)
setStoreLocation(String location, Job job)
设置输出路径，可以在里面设置输出压缩格式,这里传进来的location就是写pig时候STORE log0 INTO '/path/of/result'这里的path
如：FileOutputForma ...
使用python 从配置文件获取配置：
import ConfigParser
config = ConfigParser.ConfigParser()
#@staticmethod
def getValue(keyName):
with open('./conf/system.properties', 'r') as cfg:
config.readfp(cfg)
return config.get('config', keyName)
配置文件示例：[config]
username = xx
pw ...
python tarfile-打包解包
- 博客分类：
- python
最近项目上有一个ftp上传程序，需要把碎文件打包上传，到服务端再解包。本来已经只能通过shell来搞这个了，无奈打包过程中有一部分业务逻辑，不能把整个目录都打包，惊喜地发现python有tarfile这个东西，太惊喜了，试用完后发现还挺不错，打包一组466M的文件，共778个文件花了1.9s，解包花了2.3s。打包，解包代码如下：
tar打包
在写打包代码的过程中，使用tar.add()增加文件时，会把文件本身的路径也加进去，加上arcname就能根据自己的命名规则将文件加入tar包
打包代码：
#!/usr/bin/env /usr/local/bin/python
...
- 2013-09-12 17:20
- 浏览 26856
- 评论(0)
top:
======================================主要参数d：指定更新的间隔，以秒计算。q：没有任何延迟的更新。如果使用者有超级用户，则top命令将会以最高的优先序执行。c：显示进程完整的路径与名称。S：累积模式，会将己完成或消失的子行程的CPU时间累积起来。s：安全模式。i：不显示任何闲置(Idle)或无用(Zombie)的行程。n：显示更新的次数，完成后将会退出to显示参数:PID（Process ID）：进程标示号。USER：进程所有者的用户名。PR：进程的优先级别。NI：进程的优先级别数值。VIRT：进程占用的虚拟内存值。RES：进程占用的物理内 ...
组里面用敏捷，初步打算用禅道，打算把禅道部署在Linux服务器上。安装步骤如下：
1、下载
由于是新机器，没有安装Php,mysql,apache之类的，就打算下载一个一键部署包，http://dl.zentao.net/4.1/ZenTaoPMS.4.1.stable.linux.7z
2、安装
下载下来后，按照网站的介绍(http://www.zentao.net/help-read-79598.html)将其改成可执行的，运行后不能自动解包。按照http://velep.com/archives/389.html文章的介绍，安装7z。最后解压
ZenTaoPMS.4.1.sta ...
- 2013-07-29 18:08
- 浏览 2327
- 评论(0)
禅道专业版价位
http://www.cnblogs.com/zentaoms/
禅道软件下载及安装地址
http://www.zentao.net/article-view-78950.html
安装完成后需要运行init.sh，生成命令行脚本
http://www.zentao.net/help-read-79777.html
下面就是关联svn
http://www.zentao.net/help-read-79501.html
完成以上操作后，就能在提交代码时关联到禅道里的任务
就是在点view时看不到变更记录
上下文：想要修改config表，将其中5607行的is_ok改为true。
想通过下面的sql语句实现
UPDATE channel_config set is_adam_pub=1 where channel_id in (select channel_id from channel_config limit 5607);
发现Mysql不能支持子句使用Limit，数据库会报错
This version of MySQL doesn't yet support 'LIMIT & IN/ALL/ANY/SOME subquery'
网上找一方法 ...
java volatile关键字
- 博客分类：
- java
volatile关键字有什么用？
举个例子:
private volatile int v;
public void func(){
int a=5*v;
int b=5*v;
....
}
如果v是个普通的变量,编译器很可能会做这样的优化, 第一次计算出5*v的值后,先赋给a,然后直接又从寄存赋给b, 而不会重新计算5*v, 如果这个时候其他线程改变了v的值，而本线程又没有去“主”内存里面取新的v值，就会造成b值的不正确。如果定义成volatile,编译器则不会做任何优化,每次都会重新读取v的值。
vo ...
hadoop job推测执行
- 博客分类：
- hadoop
什么是推测执行？
所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢 ...
系统上线后，程序报出out of memory错误。一方面先加大程序运行的内存以解燃眉之急，另一方面希望能有个工具能查出内存泄露的原因。
通过查阅资料发现了Memory Analyzer这个eclipse插件，下面讲下怎么用。
首先，获取Heap dump文件。
有三种方式：
1、设置JVM参数，-XX:+HeapDumpOnOutOfMemoryError，在内存溢出的时候就会生成Heap dump文件
2、使用jmap。(windows可以通过任务管理器查看pid)
Java5：jmap -heap:format=b ...
between
datetime按天查询
Myclass.query.filter(myClass.date.between(_date, _date+timedelta(days = 1)))
filter 和 filter_by的区别
session.query(MyClass).filter(MyClass.name == 'some name')
session.query(MyClass).filter_by(name = 'some name')
filter 需要带上tablename,并用==
http://docs.sqlalchemy.o ...
用正则表达式匹配w3c日志，导入hive
w3c格式建表语句：
CREATE EXTERNAL TABLE w3c(
host STRING,
ident STRING,
username STRING,
log_date STRING,
method STRING,
uri STRING,
version STRING,
status STRING,
flux STRING,
referer STRING,
user_agent STRI ...
Excel中导入Unix格式时间戳小技巧
- 博客分类：
- office
简介
Excel中导入Unix格式时间戳小技巧
步骤/方法
Excel默认不支持Unix格式时间戳，这在导入数据时十分不便。可以用以下公式将时间戳转换成Excel格式的时间：=(x+8*3600)/86400+70*365+19
其中x为时间戳的单元格，8*3600中的8为中国的时区。然后将公式单元格设置为日期时间格式即可。转换结果如下图：
FTP是File Transfer Protocol(文件传输协议)的缩写，用来在两台计算机之间互相传送文件。相比于HTTP，FTP协议要复杂得多。复杂的原因，是因为FTP协议要用到两个TCP连接，一个是命令链路，用来在FTP客户端与服务器之间传递命令;另 ...