2014年4月 ’ 的文章存档

Java 下一代: 函数式编码风格

roovy、Scala 和 Clojure 共享的函数结构及其优势

所有 Java 下一代语言都包括函数式编程结构,让您可以从一个更高的抽象层面来思考问题。然而,语言间术语的不同使得难以看到类似的结构。本期文章将展示常见的函数式编程结构在 Java 下一代语言中的表示方式,指出那些功能在实现细节上的一些细微差别。

当垃圾回收成为主流时,它消除了所有类别的难以调试的问题,使运行时能够为开发人员管理复杂的、容易出错的进程。函数式编程旨在为您编写的算法实现同样的优化,这样您就可以从一个更高的抽象层面开展工作,同时运行时执行复杂的优化。
阅读全文

追MM的各种算法

动态规划

基本上就是说:你追一个MM的时候,需要对该MM身边的各闺中密友都好,这样你追MM这个问题就分解为对其MM朋友的问题,只有把这些问题都解决了,最终你才能追到MM。因此,该问题适用于聪明的MM,懂得“看一个人,不是看他如何对你,而是看他如何对他人。”的道理,并且对付这样的MM总能得到最优解。但确定是开销较大,因为每个子问题都要好好对待……

 

贪心法

基本上就是:你追一个MM的时候,从相识到相知,每次都采用最aggressive的方式,进攻进攻再进攻!从不采用迂回战术或是欲擒故纵之法!目标是以最快的速度确立两人的关系。该法优点是代价小,速度快,但缺点是不是每次都能得到最优解……、
阅读全文

精选37条强大的常用linux shell命令组合

任务 命令组合
1 删除0字节文件 find . -type f -size 0 -exec rm -rf {} \;
find . type f -size 0 -delete
2 查看进程,按内存从大到小排列 ps -e -o “%C : %p : %z : %a”|sort -k5 -nr
3 按cpu利用率从大到小排列 ps -e -o “%C : %p : %z : %a”|sort -nr
4 打印说cache里的URL grep -r -a jpg /data/cache/* | strings | grep “http:” | awk -F’http:’ ‘{print “http:”$2;}’
5 查看http的并发请求数及其TCP连接状态 netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
6 sed在这个文里Root的一行,匹配Root一行,将no替换成yes。 sed -i ‘/Root/s/no/yes/’ /etc/ssh/sshd_config
7 如何杀掉mysql进程 ps aux |grep mysql |grep -v grep  |awk ‘{print $2}’ |xargs kill -9
killall -TERM mysqld
kill -9 `cat /usr/local/apache2/logs/httpd.pid`
8 显示运行3级别开启的服务(从中了解到cut的用途,截取数据) ls /etc/rc3.d/S* |cut -c 15-
9 如何在编写SHELL显示多个信息,用EOF cat << EOF
+————————————————————–+
|   === Welcome to Tunoff services ===                         |
+————————————————————–+
EOF
10 for的用法(如给mysql建软链接) cd /usr/local/mysql/bin
for i in *
do ln /usr/local/mysql/bin/$i /usr/bin/$i
done
11 取IP地址 ifconfig eth0 |grep “inet addr:” |awk ‘{print $2}’|cut -c 6-
ifconfig | grep ‘inet addr:’| grep -v ’127.0.0.1′ |cut -d: -f2 | awk ‘{ print $1}’
12 内存的大小 free -m |grep “Mem” | awk ‘{print $2}’
13 查看80端口的连接,并排序 netstat -an -t | grep “:80″ | grep ESTABLISHED | awk ‘{printf “%s %s\n”,$5,$6}’ | sort
14 查看Apache的并发请求数及其TCP连接状态 netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
15 统计一下服务器下面所有的jpg的文件的大小 find / -name *.jpg -exec wc -c {} \;|awk ‘{print $1}’|awk ‘{a+=$1}END{print a}’
16 CPU的数量 cat /proc/cpuinfo |grep -c processor
17 CPU负载 cat /proc/loadavg
18 CPU负载 mpstat 1 1
19 内存空间 free
20 磁盘空间 df -h
21 如发现某个分区空间接近用尽,可以进入该分区的挂载点,用以下命令找出占用空间最多的文件或目录 du -cks * | sort -rn | head -n 10
22 磁盘I/O负载 iostat -x 1 2
23 网络负载 sar -n DEV
24 网络错误 netstat -i
cat /proc/net/dev
25 网络连接数目 netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n
26 进程总数 ps aux | wc -l
27 查看进程树 ps aufx
28 可运行进程数目 vmwtat 1 5
29 检查DNS Server工作是否正常,这里以61.139.2.69为例 dig www.baidu.com @61.139.2.69
30 检查当前登录的用户个数 who | wc -l
31 日志查看、搜索 cat /var/log/rflogview/*errors
grep -i error /var/log/messages
grep -i fail /var/log/messages
tail -f -n 2000 /var/log/messages
32 内核日志 dmesg
33 时间 date
34 已经打开的句柄数 lsof | wc -l
35 网络抓包,直接输出摘要信息到文件。 tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts
36 然后检查IP的重复数 并从小到大排序 注意 “-t\  +0″ 中间是两个空格,less命令的用法。 less pkts | awk {‘printf $3″\n”‘} | cut -d. -f 1-4 | sort | uniq -c | awk {‘printf $1″ “$2″\n”‘} | sort -n -t\  +0
37 kudzu查看网卡型号 kudzu –probe –class=network

文章转自:忘我的追寻

网站日志实时分析工具 GoAccess

GoAccess 是一款开源的网站日志实时分析工具。GoAccess 的工作方式很容易理解,就是读取和解析 Apache/Nginx/Lighttpd 的访问日志文件 access log,然后以更友好的方式把统计信息显示出来。统计的内容包括:访问概况、动态页面请求、静态页面请求(如图片、样式表、脚本等)、访客排名,访客使用的操作系统,访客使用的浏览器,来路域名,404 错误,搜索爬虫,搜索关键词等等。

GoAccess 的性能也不赖,据官方测试,在一台 Intel Xeon CPU @ 2.40ghz CPU, 2GB 内存的机器上处理日志文件的速度是97000行每秒。

Linux 发行版本自带的 GoAccess 一般太老,比如 Ubuntu 12.04 带的是 0.4.2,Ubuntu 13.10 带的是 0.5,而最新的 goaccess 版本是 0.7.1. 所以类似不常用的软件,Linux 发行官方关注也少,为了使用最新的版本,最好采用源代码安装的方式。

在 CentOS 6.5 上安装编译 GoAccess 时需要的工具和库:

# yum groupinstall 'Development Tools'
# yum install glib2 glib2-devel ncurses-devel

在 Ubuntu 12.04 上安装编译 GoAccess 时需要的工具和库:

$ sudo apt-get install build-essential
$ sudo apt-get install libglib2.0-dev libncursesw5-dev

下载 GoAccess 的源代码、编译和安装:

$ wget http://downloads.sourceforge.net/project/goaccess/0.7.1/goaccess-0.7.1.tar.gz
$ tar -xzvf goaccess-0.7.1.tar.gz
$ cd goaccess-0.7.1/
$ ./configure --enable-utf8
$ make
$ sudo make install

运行 GoAccess,选择 NCSA Combined Log Format:

$ /usr/local/bin/goaccess -f /var/log/apache2/access.log

                  +--------------------------------------------------+
                  | Log Format Configuration                         |
                  | [SPACE] to toggle - [ENTER] to proceed           |
                  |                                                  |
                  | [ ] Common Log Format (CLF)                      |
                  | [ ] Common Log Format (CLF) with Virtual Host    |
                  | [x] NCSA Combined Log Format                     |
                  | [ ] NCSA Combined Log Format with Virtual Host   |
                  | [ ] W3C                                          |
                  | [ ] CloudFront (Download Distribution)           |
                  |                                                  |
                  | Log Format - [c] to add/edit format              |
                  | %h %^[%d:%^] "%r" %s %b "%R" "%u"                |
                  |                                                  |
                  | Date Format - [d] to add/edit format             |
                  | %d/%b/%Y                                         |
                  +--------------------------------------------------+

界面如下:

goaccess

GoAccess 还可以生成 HTML 格式的报告

$ /usr/local/bin/goaccess -f /var/log/apache2/access.log -a > report.html

goaccess2

 

文章来自:http://www.vpsee.com/2014/02/a-real-time-web-log-analyzer-goaccess/

程序员的回归式进化

头一年

1
阅读全文

如何利用GCC编译选项检测栈溢出

a1

 

Stack smashing是堆栈缓冲区溢出(stack buffer overflow)的一个时髦称谓。它表示利用代码中存在的缓冲区溢出bug而发起的攻击。在早期,这完全是程序员的责任,他们要确保代码中不存在缓冲区溢出的问题。但是随着时间推移,技术的不断发展,现在像gcc这样的编译器已经有编译选项用来确保缓冲区溢出问题不被攻击者利用来破坏系统或者程序。
阅读全文

Hyper-V虚拟机无群集实时迁移

作者:兰晓宇

【摘要】

早期的Hyper-V版本中,要想实现虚拟机在不同物理服务器间的迁移,一定要配置故障转移群集,在同一个群集内进行迁移。而配置群集不仅技术上比较复杂,还需要配置共享存储以及要求各节点有相同架构的处理器,这都为企业带来了直接的或间接的开销。随着Windows Server 2012的发布,Hyper-V得到了许多增强,其中一点便是支持虚拟机跨群集的迁移,或者无群集的迁移。

【正文】

1.功能概述

时至今日,服务器虚拟化已经不能称之为新的趋势,而是既成的事实。服务器虚拟化,一大重要价值,就是将操作系统与物理设备进行剥离,使操作系统的运行,不依赖于某个特定的设备,从而大大的提高的管理的灵活性。

但是,在早期的Hyper-V版本中,要想实现虚拟机在不同物理服务器间的迁移,一定要配置故障转移群集,在同一个群集内进行迁移。而配置群集不仅技术上比较复杂,还需要配置共享存储以及要求各节点有相同架构的处理器,这都为企业带来了直接的或间接的开销。
阅读全文

调查报告显示:大部分软件工程师相信自己将成为百万富翁

c1

 

随着工程师驱动的科技公司越来越吃香,软件工程师对自己的未来也越来越乐观。经过对 1000 名软件开发者进行调查,位于西雅图的科技公司Chef得出了一些有趣的结果:

  • 超过69%的受访者认为自己的岗位不会受到经济形势的影响(他们认为自己会在医疗,制造和教育等领域获得各种机会)。
  • 91%的受访者认为自己是公司中最有价值的员工。
  • 84%的受访者认为自己目前的薪水和价值相符,同时自己的价值会在未来不断增长。
  • 56%认为将在未来的某一天成为百万富翁。

在过去,工程师只能在公司幕后默默的敲着代码,而由销售与商务部门负责运转公司。而如今,这种公司运作方式已逐渐被摒弃。很多像 Andreessen Horowitz 这样的风险投资公司,都更青睐由工程师创建并驱动的公司。
阅读全文

mysql位运算的应用

在mysql中,如果某条数据与其它数据存在一对多的关系,一般我们很自然的就会想到建立一个关系表。例如有一个景点信息的数据表,其结构如下:

id int(主键)
name varchar(景点名)
province int(省份)
city int(城市)

每个景点包含很多属性,例如适合旅游的月份,我们一般的做法可能有两种:一种是增加一个varchar字段,每个月份之间用一个特殊符号分隔保存,例如“1,2,3,11,12”;另一种方法是建立一个关系表,如下:

spots_id int(景点ID)
month int(适合月份,取值1-12)

第一种方法,查询极不方便,例如想查出适合2月份旅行的景点,就要使用like语句,效率极其低下。第二种方法,只适合景点属性较少的场合。如果景点还包含其它属性,例如“高山”、“草原”之类的分类属性,还有“美食”、“购物”等的主题属性,就要根据每个属性去建立一个关系表,扩展极其不便,查询的时候可能需要联表查询,也影响效率。
阅读全文

像黑客一样使用命令行

使用^old^new换掉输错或是输少的部分

1. 输入命令错误,修正命令

cat myflie

用下面的命令进行修正

^li^il

输入上面的命令后,会自动出现下面的命令

cat myfile

阅读全文