Learning Correcting Improving
harry · 共 99 篇文章
使用位图做整型ID去重的一种方法
什么是位图算法 英文叫做bitmap,也有叫做bitset,Java SDK的util包中就包含 一个BitSet的实现 。 《编程珠玑》中提到一个位图算法的例子: 输入:一个文件,里面大约有1千万行数据,每个数据是7位整数,同时每个数是唯一的,即不允许有2个数相同,这些整数不与其他任何数产生关联。 输出:将这个整数按升序排列,并生成到一文件中 限制:能够使用内存为1M,但是附存足够大,运行时间最多为几分钟,10s为最合适的时间。 用位图算法解决可以这么做:用含有1千万个位的整型数组来表示这个文件,文件中有的数据则标识为1,没有则标识为0,最后从第一位读至最后一位,即为有序的集合。 利用位图…
2012-01-29 11:54 · Web开发 · 评论(0)
Storm的第一份作业
去年在公司做一些实时数据分析的程序,基本上依靠的是分布式缓存系统(像我们公司的tair或者使用MongoDB这样的kv数据库),他们具备的原子递增功能可以用来作实时的计数。这种方式要是遇到复杂的统计规则,那么设计所需的key就变得异常困难。还有个最大的缺点,一旦分布式缓存系统发生异常或者重启的时候,你的计数就完全不准确了。 很早开始关注 storm 了,本来想山寨一个。最近找了几个公司里比较关注这方面的牛人聊了一下,大家觉得现有开源的实时数据处理的方案中就是它最靠谱了。因此,我准备好好用用storm,做几个经典的实时数据分析案例出来。 刚开始接触storm,第一份作业准备做一个简单例子,先在…
2012-01-29 11:52 · 实时数据处理 · 评论(1)
用emacs的org-mode做时间管理
根据只管去做(GTD)的理念,你需要一个可靠的外部系统来接管所有可能扰乱你心绪的事情,而你的心中应该是无所牵挂,可以"只管去做"的。 在这里,org-mode自然就是那个可靠的外部系统了,这在emacs23下是自带的,稍稍在.emacs下加点配置 (add-to-list 'auto-mode-alist '("\\.org$" . org-mode)) (define-key global-map "\C-cl" 'org-store-link) (define-key global-map "\C-ca" 'org-agenda) (setq org-hide-leading-stars…
2010-05-02 19:29 · 杂七杂八 · 评论(0)
浏览器缓存机制
Cache-Control Cache-Control 是最重要的规则。这个字段用于指定所有缓存机制在整个请求/响应链中 必须 服从的指令。这些指令指定用于阻止缓存对请求或响应造成不利干扰的行为。这些指令通常覆盖默认缓存算法。缓存指令是单向的,即请求中存在一个指令并不意味着响应中将存在同一个指令。 cache-control 定义是:Cache-Control = "Cache-Control" ":" cache-directive。表 1 展示了适用的值。 表 1. 常用 cache-directive 值 Cache-directive 说明 public 所有内容都将被缓存 priv…
2010-03-02 15:06 · Web开发 · 评论(4)
hibernate启动时的一个小问题
测试时报错但测试可正常运行 javax.naming.NoInitialContextException: Need to specify class name in environment or system property, or as an applet parameter, or in an application resource file: java.naming.factory.initial at javax.naming.spi.NamingManager.getInitialContext(Unknown Source) at javax.naming.InitialC…
2010-01-07 21:39 · Java · 评论(0)
Reconfiguring FreeBSD Ports
make rmconfig option The simplest one is type command make rmconfig. First login as root; go into the directory containing the port and type: # cd /usr/ports/www/apache22 # make rmconfig Output: ===> Removing user-configured options for apache-2.2.8 Use 'make config' to modify settings Another opti…
2009-10-31 11:34 · Unix/Linux · 评论(0)
使用Portsnap更新Freebsd port tree
portsnap从Freebsd 6.0之后成为ports的默认部分, 从效率上来说比cvsup要快的多,因为它是一次性下载压缩包. 首先找个国内速度快的镜像 vi /etc/portsnap.conf SERVERNAME=portsnap.cn.FreeBSD.org 直接更新 portsnap fetch update Looking up portsnap.hshh.org mirrors… none found. Fetching snapshot tag from portsnap.hshh.org… done. Fetching snapshot metadata… done.…
2009-10-31 10:29 · Unix/Linux · 评论(0)
优化FreeBSD ports下载速度
使用axel来替换fetch来进行多线程下载 FETCH_CMD=axel FETCH_BEFORE_ARGS= -a FETCH_AFTER_ARGS= DISABLE_SIZE=yes 或者只写一行 FETCH_CMD=axel -a 添加更快的port下载站点 在make.conf文件中使用配置MASTER_SITE_OVERRIDE参数,可自行增加软件镜像以及修改镜像服务器的优先级。 MASTER_SITE_OVERRIDE= \ ftp://ftp2.tsinghua.edu.cn/mirror/FreeBSD/ports/distfiles/ \ ftp://freebsd.cs…
2009-10-31 10:17 · Unix/Linux · 评论(0)
Makefile学习教程
0 Makefile概述 什么是makefile?或许很多Winodws的程序员都不知道这个东西,因为那些Windows的IDE都为你做了这个工作,但我觉得要作一个好的和 professional的程序员,makefile还是要懂。这就好像现在有这么多的HTML的编辑器,但如果你想成为一个专业人士,你还是要了解 HTML的标识的含义。特别在Unix下的软件编译,你就不能不自己写makefile了,会不会写makefile,从一个侧面说明了一个人是否具备完 成大型工程的能力。 因为,makefile关系到了整个工程的编译规则。一个工程中的源文件不计数,其按类型、功能、模块分别放在若干个目录中,…
2009-09-07 18:45 · 开发环境 · 评论(0)
四国程序员的比较
最近以裁判的身份参加了公司举办的编程大赛,发现高手云集,对公司内部的程序员能力也有了更深入的了解。我觉得编程能力对程序员而言,虽然很重要, 但并不是 全部。那么作为一个程序员,到底应该具备什么样的能力呢?这个话题显然太大。不过我觉得可以看看其它国家的程序员,也许可以得到一些借鉴。我有幸和中国, 美国,印度和日本四国程序员有比较深入的合作过。虽然他们不一定有代表性,但我觉得他们的共性还是比较明显的。以下的比较纯属个人见解,欢迎指正。 首先是 日本程序员。他们的特点是非常仔细。 我认为很主要的一个原因是日本公司的需求非常细致。细致到在网页上, 连一个像素都不能偏差的地步。另外, 日本人的执行力非…
2009-08-26 14:03 · 杂七杂八 · 评论(0)
使用一行命令实现tree功能
使用ls, grep, and sed实现tree命令功能,如下: ls -R | grep ":$" | sed -e 's/:$//' -e 's/[^-][^\/]*\//--/g' -e 's/^/ /' -e 's/-/|/'
2009-08-18 11:41 · Unix/Linux · 评论(0)
Latex制作Slide的工作流程
这里简单介绍一下使用Beamer制作Slide的流程,以及制作Slide时一些要注意的问题。 第0步:明确时间限制 ;按每分钟一张制作Slides 第1步:给每个Slide建一个子目录,目录名以演讲的日期开头. 这样便于排序和将属于同一个Slide的文件放到一个目录中。 第2步:组织文字结构。使用\section和\subsection命令。 如果内容比较多也可以分成几个部分(\part)。每一部分一般有2-4个\section。太多了听众会记不住前面讲过的东西。\section和 \subsection应该尽量按逻辑划分,而不是技术。如果需要还可以加一个附录(\appendix),将不想讲…
2009-08-17 14:13 · 开发环境 · 评论(0)
emacs命令
emacs命令 emacs中的每一个命令都有一个命令名,命令名就是该命令所对应的LISP函数的函数名。在emacs中,我们可以为这些命令配置快捷键,从而达到快速调用命令的目的。 .使用emacs来执行命令的方法有两种:(1).使用Ctrl键 (2).使用Meta键。所有emacs命令都可以用Meta键表示出来,键盘上如果没有Meta键,则可以用Alt键或ESC键来代替。常用的emacs命令通常会有一个快捷键与之相连。快捷键通常是以Ctrl来开头(C-x C-c)。如果要使用Meta键来表达与“Ctrl-x Ctrl-c”相同的效果,则使用“M-x save-buffers-kill-emac…
2009-08-13 16:11 · 开发环境 · 评论(0)