树莓派读取PM2.5

淘宝购买的 GP2Y1010AU0FCO1 模块，通过标定可以检测PM2.5，该模块提供了串口读取方式，操作十分简单。

工作状态查询

发送 05FEF603 确认工作状态

返回 06FEF103 处于开机状态

返回 06FEF003 处于关机状态

灰尘浓度查询

发送 05FEF503

返回 06ABCD03 浓度为 0XABCD 微克/立方米

串口助手调试

使用 xgcom 发送命令调试 GP2Y1010AU0FCO1 模块。

安装依赖库：

1
2
3
4
5
6
7
sudo apt-get install automake

sudo apt-get install libglib2.0-dev

sudo apt-get install libvte-dev

sudo apt-get install libgtk2.0-dev

获取 xgcom 源码：

1
git clone https://github.com/helight/xgcom.git

编译并运行 xgcom：

1
2
3
4
./autogen.sh
make
sudo make install
xgcom

配置 xgcom 的参数如下:

串口描述

波特率

使用 xgcom 发送工作状态查询命令时无内容返回，但是发送 灰尘浓度查询命令 成功返回内容如下:

串口描述

波特率

既然能正常查到灰尘浓度就可以进行下一步工作， 工作状态查询命令 无返回的问题等到有空再做研究。

编码

使用 pyserial 库操作树莓派串口并获取 GP2Y1010AU0FCO1 模块的数据，实现代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
class serialOP(object):
    def __init__(self, com, baud, recLen):
        self.__serial = serial.Serial(com, baud)
        self.__recData = ""
        self.__recLen = recLen

    def __readSerialThread(self):
        while True:
            if self.__serial.inWaiting() > 0:
                self.__recData += self.__serial.read(1)
                if self.__recData != '' and len(self.__recData) == self.__recLen:
                    data = bytearray(self.__recData)
		    if( int(data[0]) == 6 ):
		    print "%d %d %d %d" %(int(data[0]),int(data[1]),int(data[2]),int(data[3]))
		    self.__recData = ''   			
                    
    def startSerial(self):
        t = threading.Thread(target=self.__readSerialThread)
        t.setDaemon(1)
        t.start()

    def sendData(self):
        order = [0x05,0xfe,0xf5,0x03]
        print self.__serial.write(order)

    def startSend(self):
    	t = threading.Thread(target=self.__sendData)
        t.setDaemon(1)
        t.start()

if __name__ == "__main__":
    s = serialOP("/dev/ttyAMA0", 9600, 4)
    s.startSerial()
    while True:
        time.sleep(30)
        s.sendData()

将数据保存至 yeelink ：

1
2
3
4
5
6
7
8
9
10
11
...
try:
    url = 'http://api.yeelink.net/v1.0/device/60679/sensor/115266/datapoints'  
    headers = {'U-ApiKey': yourKey, 'content-type': 'application/json'}           
    val = int(data[1])*256 + int(data[2])
    data = {'value': val}
    r = requests.post(url, headers=headers, data=json.dumps(data))  
    print r.status_code
except:
    print 'something wrong in post'
...

总结

最近都是雨天，测试环境为室内，从 yeelink 显示的数据来看，室内的PM2.5在 7~21 之间。 GP2Y1010AU0FCO1 模块标定后存在 15% 的误差，因此有效范围应该是 5.95~24.15 ，目前室内PM2.5标准为不超过 35。

yeelink——> 设备地址

展开全文 >>

向yeelink上传树莓派数据

查找IoT资料的时候发现了yeelink，通过知乎了解到这是个有趣的产品，顺便写两个小程序测试yeelink的功能。

参考

树莓派CPU温度代码

1
2
3
4
5
6
7
8
9
10
11
# -*- coding: utf-8 -*-  
import requests  
import json  
import time  
file = open("/sys/class/thermal/thermal_zone0/temp")  
temp = float(file.read()) / 1000.0  
file.close()
url = 'http://api.yeelink.net/v1.0/device/60679/sensor/78055/datapoints'
headers = {'U-ApiKey': '6c00d62391a626df5232a00b7287292f', 'content-type': 'application/json'}
data = {'value': temp}
requests.post(url, headers=headers, data=json.dumps(data))

树莓派CPU使用率代码

1
2
3
4
5
6
7
8
9
10
# -*- coding: utf-8 -*-  
import requests  
import json  
import time  
import psutil
percent = psutil.cpu_percent(interval=30)  
url = 'http://api.yeelink.net/v1.0/device/60679/sensor/78206/datapoints'  
headers = {'U-ApiKey': '6c00d62391a626df5232a00b7287292f', 'content-type': 'application/json'}
data = {'value': percent}
requests.post(url, headers=headers, data=json.dumps(data))

总结

通过yeelink还可以实现很多功能，例如让树莓派访问yeelink上的开关量并执行相关动作。

yeelink——>设备地址

展开全文 >>

树莓派入门

入手树莓派已有一段时间，做了一个基于采集串口设备的web应用后因为工作太忙没时间折腾，趁着这两天闲暇把手头几个模块测试了一遍。

  • DHT11温湿度模块
  • HC-SR04超声波模块
  • 光敏电阻模块
  • PCF8591模块

针脚对照

图片来至 树莓派实验室

DHT11温湿度模块接线及代码

vcc 接 BOARD 2

gnd 接 BOARD 6

data 接 BOARD 12

在GitHub上找到 pi-dht11 ,作者对读取DHT11做了封装，设置 BOARD 编码即可实现读取DHT11的湿度。

获取代码:

1
git clone https://github.com/LeStarch/pi-dht11.git

修改test-sensor.py代码:

1
2
3
4
5
6
7
8
9
10
11
12
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
from sensor.dht11 import HTSensor,ReadError
yolo = HTSensor(12)
try:
    humidity, temperature = yolo.read()
    print("Humidity:",humidity,"Temperature:",temperature)
except ReadError as err:
    print("Read failed:")
    print(err)
finally:
    yolo.cleanup()

执行:

1
./test-sensor.py

报错：

1
NameError: name 'sys' is not defined

查看源码，貌似作者忘了导入sys库，在dht11.py首行加入

1
import sys

因为对 python2 比较熟悉，fork了一份改成 python2 版本，传送门

HC-SR04超声波模块接线及代码

vcc 接 BOARD 2

gnd 接 BOARD 6

data 接 BOARD 12

光敏电阻模块接线及代码

vcc 接 BOARD 2

gnd 接 BOARD 6

data 接 BOARD 16

测试代码如下:

1
2
3
4
5
6
7
8
9
import RPi.GPIO as gpio
gpio.setmode(gpio.BCM)#注意，这里设置为BCM模式
gpio.setup(23,gpio.IN)
while True:
    time.sleep(1)
    try:
        print gpio.input(23)
    except:
        pass

光敏电阻模块同时提供了 DO 和 AO 两种输出方式，在 这里 提供了以 AO 方式的操作方法。

PCF8591模块接线及代码

PCF8591实现了AD/DA转换，但是需要树莓派开启I2C功能，关于I2C功能的开启，参考 Enabling The I2C Interface On The Raspberry Pi。由于手头没有更多模块，将就拿光敏电阻模块的 AO 作为信号源。

vcc 接 BOARD 2

gnd 接 BOARD 6

SCL 接 BOARD 5

SDA 接 BOARD 3

AINO 接 光敏电阻模块的 AO

参考 树莓派学习笔记——I2C Tools 学习笔记 测试I2C:

1
2
3
4
5
6
i2cdetect -l
...
i2cdetect -y 1 
...
i2cdump -y 1 0x48
...

由于对I2C一窍不通，又涉及到电子部分，只好硬着头皮google。找到GitHub上的一个项目:pcf8591，该项目使用python的smbus库获取 PCF8591 4路 AO 的值并通过 Tkinter 框架实现数值显示。根据该项目，编写测试代码如下:

1
2
3
4
5
6
7
import smbus
import time
bus = smbus.SMBus(1)
address = 0x48
bus.write_byte(address,0x40)
bus.read_byte(address)
print bus.read_byte(address)

对于树莓派并不需要界面部分，因此fork一份并做了修改，传送门

展开全文 >>

本地网络媒体词频统计(二)

对本地网络媒体的信息量感兴趣，于是针对以下三个网站的主页内容进行采集分析：

苍南在线：http://www.cangnan5.com

苍南网：http://www.0577cnw.com

龙港网：http://www.cnlg.cn

标题贡献量

  • 苍南在线：378
  • 苍南网：350
  • 龙港网：466

词频统计

使用了 BeautifulSoup 提取页面所有标题，代码如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
sites = ["http://www.0577cnw.com/","http://www.cangnan5.com/","http://www.cnlg.cn/"]
titles = []

def getPate(url):
  global titles
  count = 0
  page = urllib2.urlopen(url) 
  soup = BeautifulSoup(page)
  for link in soup.find_all('a'):
    titles.append(link.text)
    count = count + 1
  return count
  
for url in sites:
    print getPate(url)

使用 jieba 分词并统计词频，结果如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
苍南 112 11.558308%
龙港 44 4.540764%
在线 25 2.579979%
社区 23 2.373581%
汽车 22 2.270382%
生活 21 2.167183%
活动 19 1.960784%
美食 18 1.857585%
房产 14 1.444788%
论坛 14 1.444788%
积分 13 1.341589%
温州 13 1.341589%
文明 12 1.238390%
宝贝 12 1.238390%
楼市 11 1.135191%
东路 10 1.031992%
摄影 9 0.928793%
装修 9 0.928793%
2015 9 0.928793%
亲子 9 0.928793%
溪河 9 0.928793%
卤鹅里 8 0.825593%
男子 8 0.825593%
长满 8 0.825593%
张国荣 8 0.825593%
公布 8 0.825593%
CCC 8 0.825593%
店里 8 0.825593%
...

昨天正好在朋友圈里看到关于 卤鹅里长满白色的虫子 的帖子，以指数作为衡量单位的话，卤鹅里 的指数在这两天会上升。实际进入各站点首页搜索该关键词，只有 苍南在线 的主页多次出现该连接。

进一步完善

  • 首页可能出现相同的标题
  • 三个站点的定位并不相同

根据以上三点，完善代码，获得数据如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
苍南网词频统计：

 苍南 39 14.828897%
 生活 15 5.703422%
 汽车 15 5.703422%
 活动 9 3.422053%
 楼市 9 3.422053%
 在线 8 3.041825%
 房产 7 2.661597%
 论坛 6 2.281369%
 随手 6 2.281369%
 宝贝 6 2.281369%
 家居装饰 5 1.901141%
 摄影 5 1.901141%
 妈咪 5 1.901141%
 男子 4 1.520913%
 美食 4 1.520913%
 交友 3 1.140684%
 平阳 3 1.140684%
 邀请 3 1.140684%
 亲子 3 1.140684%
 文明 3 1.140684%
 温州 3 1.140684%
 信息港 3 1.140684%
 派对 3 1.140684%
 ...
 
苍南在线：

 苍南 23 9.829060%
 美食 8 3.418803%
 在线 6 2.564103%
 活动 6 2.564103%
 RE 5 2.136752%
 2015 5 2.136752%
 论坛 5 2.136752%
 家装 4 1.709402%
 我要 4 1.709402%
 僵尸 4 1.709402%
 亲子 4 1.709402%
 招聘 4 1.709402%
 03 4 1.709402%
 有限公司 4 1.709402%
 装修 4 1.709402%
 发生 3 1.282051%
 网络科技 3 1.282051%
 积分 3 1.282051%
 26 3 1.282051%
 火灾事故 3 1.282051%
 ...
 
龙港网：

 龙港 36 17.647059%
 社区 20 9.803922%
 苍南 9 4.411765%
 文明 6 2.941176%
 龙港镇 6 2.941176%
 温州 4 1.960784%
 生活 4 1.960784%
 导航 4 1.960784%
 活动 4 1.960784%
 少儿 4 1.960784%
 百日 3 1.470588%
 中国 3 1.470588%
 推出 3 1.470588%
 访谈 3 1.470588%
 男子 3 1.470588%
 城市 3 1.470588%
 攻坚 3 1.470588%
 专题 3 1.470588%
 万元 3 1.470588%
 上市 3 1.470588%
 孩子 3 1.470588%
 浙江 3 1.470588%
 银泰 3 1.470588%
 优惠 3 1.470588%
 ...

根据实际内容分析，三个站点的主页内容并无太多交集，以 僵尸 该词为例，最近热议 僵尸肉 ,如果每个网站都转载相关文章，从词频分析中应该很容易发现。

展开全文 >>

本地网络媒体词频统计(一)

对本地网络媒体的信息量感兴趣，于是针对以下三个板块的标题进行采集分析：

标题采集

为了快速编码，采集部分使用了 Scrapy 框架，以下代码实现了自动遍历 目标板块 所有页面，并将页面保存至本地：

1
2
3
4
5
6
7
8
9
def parse(self, response):
	url = response.url.split('/')
        filename = url[-1]
        with open(basePath+filename,'wb') as f:
	    f.write(response.body)
        records = response.xpath('//a[re:test(@class, "nxt")]')
	if( len(records) > 0 ):
            nxturl = records[0].xpath('@href').extract()[0]	   
            yield Request(nxturl, callback=self.parse)

出于个人的习惯，Scrapy 仅作为下载器使用。

内容解析

下载所有页面后，对所有页面进行解析，如果倾向于边采集边解析，可以在 标题采集 中完成内容解析。以下使用了 BeautifulSoup 获取本地所有页面的标题集，并将其保存至文件中：

1
2
3
4
5
6
7
8
f = open(path,'w')
for filename in os.listdir(filesPath):
    soup = BeautifulSoup(open(filesPath+filename))
    tatet  = soup.find_all(id= re.compile("normalthread_\d+"))
    for item in tatet:
        title =  item.find("a",class_="s xst").text
        print title
        f.writelines(title+'\n')

标题贡献量：

  • 苍南在线：1099
  • 苍南网：7108
  • 龙港网：36694

词频统计

起初没有打算使用 python 进行词频统计，因此 内容解析 和 词频统计 的代码没有合并在一起。在得知标题数量并不多的情况下，决定使用 jieba 对标题进行分词操作，分出来的 词 作为字典的 key ， 词 的出现次数作为字典的 vlaue 。实现代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import jieba
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
c = {}
def getWords(f):
  global d
  global c
  for line in f:
      seg_list = jieba.cut(line)
      for item in seg_list:
	  if c.get(item) == None:
	      c[item] = 1
	  else:
   	      c[item] = c[item] + 1
   	      
f = open(path)
getWords(f)
new = sorted(c.iteritems(), key=lambda d:d[1], reverse = True )
for k,v in new:
	result = "%s:%d" % (k,v)
	print result

输出如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
龙港:10902
的:10889
，:8585
！:5528
苍南:5426
“:5199
”:5148
？:5034
了:4351
-:2919
：:2759
在:2347
。:2316
被:2280
温州:2089
是:2059
有:1889
一:1756
人:1596
）:1589
（:1536
—:1511
你:1465
...

停止词出现的频率太高，于是加入停止词字典进行过滤，同时计算百分比，效果如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
龙港:10902 24.280083%
苍南:5426 12.084363%
男子:984 2.191488%
建设:945 2.104630%
灵溪:839 1.868555%
发展:814 1.812877%
政府:701 1.561212%
大道:682 1.518897%
后:670 1.492172%
城市:632 1.407541%
发生:615 1.369680%
浙江:571 1.271687%
平阳:566 1.260551%
...
台风:240 0.534509%
...
垃圾:219 0.487740%
...
火灾:207 0.461014%
...
停水:110 0.244983%
...

如需再进一步过滤可以自定义停止词字典，加入 龙港 、 苍南 、 灵溪 等本地化词汇，以方便分析数据。

展开全文 >>

Nagios实践

接触Nagios纯粹是个以外，但既然接触了，就顺带把这次外遇给记录下来。关于Nagios部署的文章比比皆是，对于Nagios是什么和Nagios能做什么等基础问题，可以参考google。

参考

安装环境

1
Nagios client: windows server 2008, windows 7 ,windows 2003
1
Nagios server: ubuntu 14

Nagios client

Nsclient++安装

通过传送门下载并安装Nsclient++，出于实验目的，安装参数如下

  • Allowed hosts，192.168.3.1

  • Password，为空

  • Modules to load，全选

Nsclient++配置

Nsclient++安装完成后并不需要做太多配置就能和Nagios server通信，但是这里有几个坑还是需要注意。

  • 如果开启防火墙，需要根据官方文档开放端口 ——>传送门

  • 网上有文章会提到配置NSC.ini文件，而实际上目前版本使用的是nsclient.ini。

  • windows server 2008 默认禁止ICMP echo，需要在防火墙的入站规则中开启文件和打印机共享(回显请求)

测试

在Nagios server上使用如下命令测试Nsclient++是否正常运行

1
telnet clientIP 12489

Nagios server

安装Nagios

1
sudo apt-get install apache2 nagios3 nagios-nrpe-plugin

命令执行完成后访问 http://serverIP/nagios3 查看是否安装成功

配置Nagios

参考中提到的部分设置并不适用于当前版本，只有熟悉了nagios配置文件之间的关系和host、hostgroup、command、service等概念才能在不同环境下相对自如的配置Nagios。因此，在配置之前推荐阅读 关于nagios的一篇很不错的文章 。

在Nagios成功安装后，需要关注如下目录：

  • Nagios配置文件目录：/etc/nagios3

  • Nagios插件command配置目录：/etc/nagios-plugins

  • Nagios插件目录：/usr/lib/nagios/plugins

  • Nagios配置文件模板目录: /usr/share/doc/nagios3/examples/template-object

配置apache

Nagios安装后若无法访问 http://serverIP/nagios3 ，则需要手动配置apache。 /etc/nagios3 目录下包涵 apache2.conf 文件，只需将该文件Include到 /etc/apache2/apache2.conf 即可。

1
Include /etc/nagios3/apache2.conf

配置htpasswd.users

安装Nagios时设置了访问 http://serverIP/nagios3 的密码，如若忘记，可通过以下命令修改：

1
2
#使用htpasswd.user文件完整路径或进入/etc/nagios3目录
sudo htpasswd -c htpasswd.user nagiosadmin

配置commands.cfg

大多数文章要求我们在 commands.cfg 中增加 check_nt 命令,本人尝试该方法，结果在重启Nagios服务时总是失败。使用如下命令验证 nagios.cfg 出错。

1
sudo nagios3 -v nagios.cfg

根据错误提示发现 check_nt 重定义了，原来当前版本在 /etc/nagios-plugins/config/nt.cfg 中已定义了 check_nt ，因此无需再定义 check_nt。

配置nagios.cfg

将 nagios.cfg 如下两行的注释去掉

1
2
3
cfg_file=/etc/nagios3/objects/templates.cfg
......
cfg_file=/etc/nagios3/objects/windows.cfg

在 /etc/nagios3 目录下新建 objects 目录，并将 /usr/share/doc/nagios3/examples/template-object 目录下的 templates.cfg 和 windows.cfg 拷贝到 /etc/nagios3/objects ，执行

1
sudo nagios3 -v nagios.cfg

提示 generic-host 重定义，发现在 /etc/nagios-plugins/conf.d/generic-host_nagios2.cfg 中已包涵 generic-host 的定义。可以选择删除 generic-host_nagios2.cfg 文件或删除 templates.cfg 中关于 generic-host 的定义。再次执行

1
sudo nagios3 -v nagios.cfg

提示 generic-service 重定义， 同上做类似修改即可

再次执行

1
sudo nagios3 -v nagios.cfg

通过验证

配置windows.cfg

windows.cfg 默认提供了几个 service 作为测试使用，只需增加 host 并将 host_name 添加到 service 中即可。同时我们可以自定义 service ，关于使用 check_nt 定义 service 可以参考 nagios check_nt使用。根据实际情况，增加监控 msSQL 进程的 service 代码如下：

#service for mssql
define service{
    use            generic-service
    host_name        winserver,win2003
    service_description    MSSQL
    check_command        check_nt!PROCSTATE!-d SHOWALL -l sqlservr.exe
    }

重启Nagios并访问 http://serverIP/nagios3 ，可以查看主机 winserver 和 win2003 的 msSQL 进程是否运行。

总结

折腾Nagios大概花了一天时间，开始的时候完全按照 参考 中的文章做部署，坑很多。于是静下来看Nagios文档，认识Nagios的配置文件，梳理一下Nagios中 host、hostgroup、command、service 等概念。有了这些基础之后，部署Nagios相对轻松了多，遇到问题也能快速排错，应了那句老话：万变不离其宗。如果不去掌握基础，下次在别的机子部署Nagios，可能又会遇到更多坑。

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

那年二十七