在windows下高效工作

几个月前为了提高在windows下的工作效率，特地上网找各种软件，目前以下几个是每天工作中频繁用到的：

  • Total commander
  • Launchy
  • Ditto
  • EveryThing
  • 快捷键
  • 脚本
  • Listary
  • Beyond Compare

Total commander

功能强大的全能文件管理器，有了TC之后任务栏上最多只出现一个资源管理器，大多文件操作都在TC中执行。

Launchy

键盘快速启动工具，自己有很多绿色小工具维护在tools目录里，以前启动的时候都需要通过鼠标进到目录启动，有了Launchy之后直接把tools目录加入Launchy目录中，现在启动程序再也不用鼠标了。

Cmder

windows下cmd的替换工具，由于工作的时候需要开很多cmd，任务栏显得很拥挤，使用cmder之后基本上只开两个cmder，一个用来执行web server, file watch之类的任务，另一个做常规操作。当然，使用cmder原因不仅仅如此，他还提供了大量的 linux命令和工具,比如 grep, curl, vim, grep, tar, unzip, ssh, ls, bash

Ditto

开源、免费、强大的剪贴板增强工具。可以把复制过的所有内容保存起来（可以设定保存日期或条目总数），快捷地供后续调用。

EveryThing

文件快速搜索工具，也是在电脑中常驻的绿色软件，在有索引的情况下搜索文件非常快，有了EveryThing后，基本不用系统自带的文件搜索了。

快捷键

其实快捷键应该是列在第一位的，掌握常用快捷键才是提供工作效率的基础，有些快捷键大多数人不知道，比如：

  • 创建新的虚拟桌面：Win + Ctrl + D
  • Win + ←：最大化窗口到左侧的屏幕上（与开始屏幕应用无关）
  • Win + →：最大化窗口到右侧的屏幕上（与开始屏幕应用无关）
  • Win+ ↑：最大化窗口（与开始屏幕应用无关）
  • Win+ ↓：最小化窗口（与开始屏幕应用无关）
  • Win+ SHIFT +↑：垂直拉伸窗口，宽度不变（与开始屏幕应用无关）
  • Win+ SHIFT +↓：垂直缩小窗口，宽度不变（与开始屏幕应用无关）
  • Win+SHIFT+←：将活动窗口移至左侧显示器 （与开始屏幕应用无关）
  • Win+SHIFT+→：将活动窗口移至右侧显示器（与开始屏幕应用无关）
  • ……

Listary

Listary是一款用于Windows的文件名定位/搜索辅助软件。它为Windows传统低效的文件打开/保存对话框提供了便捷、人性化的文件（夹）定位方式，同时改善了常见文件管理器中文件夹切换的效率。

Beyond Compare

Beyond Compare 是一个综合的比对工具。 可比对的对象包括纯文字档、资料夹、zip 压缩案、FTP 站，等等

展开全文 >>

使用Deployment功能快速部署

Issues 1

新功能上线经常有小bug需要调整，很多时候只需要同步远程服务器上的一个文件，使用Total commander同步代码并不是很方便。

Issues 2

用python将公司的api和util以包的形式开发，其他项目需要导入该包。起初，写了个gulp的watch脚本，开发该包时，文件发生变化会同步到指定目录。但是gulp的watch用久了，会因为内存问题自己挂掉，没有深入研究。

Solution

Deployment

jetbrains系列的IDE均提供了Deployment的功能，十分方便

Deployment设置

对需要远程同步的项目，在Deployment中做了如下设置：

p3.png
p4.png

对需要本地同步的项目，在Deployment中做了如下设置：

p1.png
p2.png

Deployment使用

需要同步整个文时，右键项目并选择Upload to xxx，如果只是修改了某个文件，只需右键该文件并选择Upload to xxx,就像这样：

p5.png

展开全文 >>

在工作中使用TODO功能

开始忙了，所以杂事会越来越多，有的时候被业务部门的同事打断之后就想不起来之前代码写到哪里。

sublime text

最开始只是在sublime text中添加注释行，代表回来要接着做什么，但作用不是很明显。还是怀念ReSharper带的TODO tool，于是下载了Pycharm和Webstorm。

TODO

使用Pycharm后，当有业务部门同事打断我，我都会让他们等半分钟，马上写个TODO，像这样：

1
# TODO 修改了u8id，需要判断是否有重复id

处理完业务部门的事情后，打开TODO tool，一目了然：

p1.png

展开全文 >>

获取新闻标题并转为rss

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# -*- coding: utf-8 -*-

import codecs
import datetime

import PyRSS2Gen
import requests
from lxml import html

HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50'}

r = requests.get('http://www.cnxw.com.cn/cnxw', headers=HEADERS)
tree = html.fromstring(r.content)

rss_item_list = []
for i in tree.xpath('/html/body/div[4]/div[1]/div[1]/ul/li'):
    els = i.getchildren()
    rss_item = PyRSS2Gen.RSSItem(
        title=els[1].text,
        link=els[1].get('href'),
        description=els[1].text,
        guid=PyRSS2Gen.Guid(els[1].text),
        pubDate=datetime.datetime.now())
    rss_item_list.append(rss_item)

rss = PyRSS2Gen.RSS2(
    title=u'自订新闻',
    link=u'',
    description=u'自订新闻',
    lastBuildDate=datetime.datetime.now(),
    items=rss_item_list)

rss.write_xml(codecs.open("rss.xml", "w", 'utf-8'), encoding='utf-8')

效果

为了防止被ban，只抓取了一个标题，没有进入页内抓取内容。

foxmail-view

展开全文 >>

使用pylint规范Python代码风格

为了保证协同开发和代码交接时的风格统一，使用Pylint来规范目前的Python项目

参考

检查单个文件

输入：

1
pylint qst\api\zcy\factory.py --reports=no

输出：

1
2
3
4
5
6
7
8
9
10
No config file found, using default configuration
************* Module qst.api.zcy.factory
I: 15, 0: Locally disabling unused-argument (W0613) (locally-disabled)
I:118, 0: Locally disabling invalid-name (C0103) (locally-disabled)
I:189, 0: Locally disabling invalid-name (C0103) (locally-disabled)
I:196, 0: Locally disabling invalid-name (C0103) (locally-disabled)
I:203, 0: Locally disabling invalid-name (C0103) (locally-disabled)
I:212, 0: Locally disabling too-few-public-methods (R0903) (locally-disabled)
C:175, 4: Invalid method name "create_query_confirm_waybill_api" (invalid-name)
C:218, 4: Invalid method name "create_get_logistics_companies_api" (invalid-name)

检查Python包

输入：

1
pylint qst\api\gw\

输出：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
No config file found, using default configuration                                                 
************* Module qst.api.gw.authz                                                             
I: 48, 0: Locally disabling bare-except (W0702) (locally-disabled)                                
                                                                                                  
                                                                                                  
Report                                                                                            
======                                                                                            
42 statements analysed.                                                                           
                                                                                                  
Statistics by type                                                                                
------------------                                                                                
                                                                                                  
+---------+-------+-----------+-----------+------------+---------+                                
|type     |number |old number |difference |%documented |%badname |                                
+=========+=======+===========+===========+============+=========+                                
|module   |4      |4          |=          |100.00      |0.00     |                                
+---------+-------+-----------+-----------+------------+---------+                                
|class    |0      |0          |=          |0           |0        |                                
+---------+-------+-----------+-----------+------------+---------+                                
|method   |0      |0          |=          |0           |0        |                                
+---------+-------+-----------+-----------+------------+---------+                                
|function |5      |5          |=          |100.00      |0.00     |                                
+---------+-------+-----------+-----------+------------+---------+                                
                                                                                                  
                                                                                                  
                                                                                                  
External dependencies                                                                             
---------------------                                                                             
::                                                                                                
                                                                                                  
    qst                                                                                           
      \-api                                                                                       
        \-gw                                                                                      
          \-api_config (qst.api.gw.authz,qst.api.gw.factory)                                      
    requests (qst.api.gw.authz,qst.api.gw.factory)                                                
                                                                                                  
                                                                                                  
                                                                                                  
Raw metrics                                                                                       
-----------                                                                                       
                                                                                                  
+----------+-------+------+---------+-----------+                                                 
|type      |number |%     |previous |difference |                                                 
+==========+=======+======+=========+===========+                                                 
|code      |45     |46.88 |NC       |NC         |                                                 
+----------+-------+------+---------+-----------+                                                 
|docstring |19     |19.79 |NC       |NC         |                                                 
+----------+-------+------+---------+-----------+                                                 
|comment   |15     |15.62 |NC       |NC         |                                                 
+----------+-------+------+---------+-----------+                                                 
|empty     |17     |17.71 |NC       |NC         |                                                 
+----------+-------+------+---------+-----------+                                                 
                                                                                                  
                                                                                                  
                                                                                                  
Duplication                                                                                       
-----------                                                                                       
                                                                                                  
+-------------------------+------+---------+-----------+                                          
|                         |now   |previous |difference |                                          
+=========================+======+=========+===========+                                          
|nb duplicated lines      |0     |0        |=          |                                          
+-------------------------+------+---------+-----------+                                          
|percent duplicated lines |0.000 |0.000    |=          |                                          
+-------------------------+------+---------+-----------+                                          
                                                                                                  
                                                                                                  
                                                                                                  
Messages by category                                                                              
--------------------                                                                              
                                                                                                  
+-----------+-------+---------+-----------+                                                       
|type       |number |previous |difference |                                                       
+===========+=======+=========+===========+                                                       
|convention |0      |0        |=          |                                                       
+-----------+-------+---------+-----------+                                                       
|refactor   |0      |0        |=          |                                                       
+-----------+-------+---------+-----------+                                                       
|warning    |0      |0        |=          |                                                       
+-----------+-------+---------+-----------+                                                       
|error      |0      |0        |=          |                                                       
+-----------+-------+---------+-----------+                                                       
                                                                                                  
                                                                                                  
                                                                                                  
Messages                                                                                          
--------                                                                                          
                                                                                                  
+-----------------+------------+                                                                  
|message id       |occurrences |                                                                  
+=================+============+                                                                  
|locally-disabled |1           |                                                                  
+-----------------+------------+                                                                  
                                                                                                  
                                                                                                  
                                                                                                  
Global evaluation                                                                                 
-----------------                                                                                 
Your code has been rated at 10.00/10

常用参数

  • 简化输出：--reports=no
  • 将结果导出html：pylint qst\ --files-output=y --output-format=html
  • 忽略警告：# pylint:disable

展开全文 >>

使用pytest进行Python的单元测试

之前一直使用unittest进行Python的单元测试，最近接触pytest文档并使用它进行目前Python项目的单元测试

编写用例

使用pytest可以方便的编写出测试用例，只需要在函数用例或者类用例前加test_或Test前缀即可

函数用例

1
2
3
4
def test_create_get_category_api():
    """test create_get_category_api
    """
    ...

类用例

1
2
3
4
5
6
7
8
9
10
11
12
13
class TestGw(object):
    """the TestCase of xxx
    """

    @classmethod
    def setup_class(cls):
        """ mock collection to test collection
        """
        ...

    def test_create_goods(self):  
        """test create goods
        ...

测试用例

测试单个函数

1
pytest .\qst\tests\api\zcy\test_factory_category.py::test_create_get_category_attrs_api

测试单个类

1
pytest .\qst\tests\business\test_gw.py::TestGw

测试单个类的某个方法

1
pytest .\qst\tests\business\test_gw.py::TestGw::test_create_goods

测试文件所有用例

1
pytest .\qst\tests\api\zcy\test_factory_category.py

测试文件夹下所有用例

1
pytest .\qst\tests

mock的使用

1
2
3
4
5
6
7
def test_create_goods(self, mocker):  
    """test create goods
    """
    ...
    mocker.patch.object(gw._goods_collection, 'find_one')
    gw._goods_collection.find_one.return_value = goods
    ...

展开全文 >>

抓取苏宁和京东价格

最近业务部门需要对比平台上几个竞争对手的在售商品价格，因此编写了苏宁和京东的价格抓取脚本。

苏宁

业务部门会将需要抓取的商品的信息和url以Excel方式提交，因此我只需要遍历Excel并抓取指定url即可。由于苏宁商品页面的价格是动态生成的，因此使用selenium抓取。代码如下：

1
2
3
4
5
6
...
price_els = driver.find_elements_by_xpath("//*[@id='mainPrice']")
if len(price_els) == 1:
    small_price_els = price_els[0].find_elements_by_xpath(".//*[@class='small-price']")
    main_price_els = price_els[0].find_elements_by_xpath(".//*[@class='small-price']")
    ...

在这里之所以使用find_elements_by_xpath而不是find_element_by_xpath是因为find_element_by_xpath在定位不到元素时会发生异常，而我在有限的时间里并不保证所有的页面都包含id='mainPrice'。

京东

相对于苏宁，京东的有一个api接口可以查询价格，只要业务部门提供京东商品的sku代码即可。以1816417为例，访问http://p.3.cn/prices/mgets?skuIds=J_1816417，返回：

1
2
3
4
5
6
7
8
[
  {
    "id": "J_1816417",
    "p": "1439.00",
    "m": "1699.00",
    "op": "1439.00"
  }
]

因此只要使用requests即可抓取京东价格数据：

1
2
3
4
...
response = requests.get(goods_url, headers=HEADERS)
price = json.loads(response.text)[0]['p']
...

展开全文 >>

selenium的使用

selenium

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。

模拟登陆

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# -*- coding: utf-8 -*-

import time
from selenium import webdriver

LOGIN_URI = 'https://*'

driver.get(LOGIN_URI)
driver.implicitly_wait(20)
driver.find_element_by_id('username').send_keys('13811275860')
driver.find_element_by_id('password').send_keys('prgc123456')
driver.find_element_by_class_name('login_btn').click()
userid_els = driver.find_elements_by_id('hiddenUserIdInTopBar')

page = start_page

if len(userid_els) == 1:
    pass

抓取数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
...
url = 'http://*'
driver.get(url)
if driver.current_url != url:
    pass
else:
    li_eles = driver.find_elements_by_xpath(
        "/html/body/div[7]/div/div/ul/li")
    if len(li_eles) == 0:
        pass
    for li in li_eles:
        date = li.find_element_by_xpath(".//span").text
        title = li.find_element_by_xpath(".//a").text
        order_url = li.find_element_by_xpath(
            ".//a").get_attribute("href")
...

cookie和requests

cookies = None
if len(userid_els) == 1:

1
2
3
4
5
6
7
...
url = 'http://*'
cookies = {}
for cookie in driver.get_cookies():
    cookies[cookie['name']] = cookie['value']
r = requests.get(url, cookies=cookies)
...

展开全文 >>

Kcptun加速SS

vultr->bandwagon

vultr到期了，看到bandwagon的账户里有之前的返利，于是下单买了$19.9套餐。部署好SS之后发现速度好感人，于是找了资料用Kcptun加速。

Kcptun安装

1
2
3
wget --no-check-certificate https://raw.githubusercontent.com/kuoruan/shell-scripts/master/kcptun/kcptun.sh
chmod 500 ./kcptun.sh
./kcptun.sh install

Kcptun 服务端配置文件

服务器IP: 45.78..
端口: 5989
加速地址: 127.0.0.1:5050
key: xxxx
crypt: salsa20
mode: fast2
mtu: 1350
sndwnd: 1024
rcvwnd: 1024
datashard: 10
parityshard: 3
dscp: 0
nocomp: false

Kcptun PC客户端配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{                                     
  "localaddr": ":5050",               
  "remoteaddr": "45.78.*.*:port",    
  "key": "xxx",                   
  "crypt": "salsa20",                 
  "mode": "fast",                     
  "mtu": 1350,                        
  "sndwnd": 1024,                     
  "rcvwnd": 1024,                     
  "datashard": 10,                    
  "parityshard": 3,                   
  "dscp": 0,                          
  "nocomp": false                     
}

Kcptun Android客户端参数

1
key=xxx;crypt=salsa20;mode=fast2;mtu=1350;sndwnd=1024;rcvwnd=1024;datashard=10;parityshard=3;dscp=0;remoteaddr=45.78.*.*:port;

PC上使用

kcptun客户端

下载kcptun-windows后，运行命令

1
.\client_windows_amd64.exe -c config.txt

ss客户端

配置ss客户端

1
2
3
4
5
6
7
8
9
{
  "server": "127.0.0.1",
  "server_port": 5050,
  "password": "xxxx",
  "method": "aes-256-cfb",
  "remarks": "",
  "auth": false,
  "timeout": 5
}

总结

使用Kcptun加速SS后速度非常快，油管1080P流畅看。

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

那年二十七