wil.døg

一个导出豆瓣数据的线上服务

2016-10-26T00:00:00+00:00

豆瓣的搜索功能实在是太弱了，想在曾经标记过的一大堆东西里找到一个条目只能靠一页一页的翻，想统计个数据更是基本不可能的事，搜索了下网上唯一一个可以导出豆瓣数据的脚本已经是 2014 年的了，早就不能用了，顺便发现有这个需求的人挺多的，不管是数据统计还是备份用途，于是我写了一个可以导出豆瓣数据的线上服务，戳链接即可：http://wil.dog/douban，可以导出如下图格式的 Excel 文件，然后按惯例记录一下开发途中遇到的问题。

爬爬爬…爬数据

爬数据的过程因为比较简单只有两层：从用户条目列表爬到所有条目的 URL，然后再从这些 URL 爬具体的条目信息，我就懒得用爬虫框架了，一边爬一边用 bs4 抓需要的信息，利用 Python 标准库带的同步队列类 Queue 实现了一个多线程的管线化工作流程。顺便吐槽下豆瓣的前端写得真的很乱，看着页面结构很相似的电影、音乐、图书页面抓信息的时候都得使用不同的方法。

403 Forbidden, 403 Forbidden, 403 Forbidden…
这才是问题的重点，在本机上爬数据不伪装请求的情况下，过一会就被豆瓣 ban 掉了，收到的回应只有 403，于是开始研究怎么伪装请求。一开始想到的是 User-Agent 和 Referer 的问题，然而加上后并没有什么卵用，然后是自然就是 Cookie 的问题了。先把浏览器访问豆瓣得到的 Cookie 带到请求里，然后正常了运行了…两分钟后，开始收到 302 回应重定向到豆瓣的机器人验证页面，要求输入验证码，然而我不想做处理验证码这么麻烦的事情，当然也更不想做用代理这种麻烦的事情，于是开始着手研究 Cookie，然而并没有发现什么规律…可能就是真的没有什么规律！Cookie 里的 bid 字段看上去是唯一管用的东西，然后就试着随机生成了一大堆 bid，每个请求再从这一堆 bid 里随机选择一个带进 Cookie 里，最后数据总算是可以正常爬而且不被 ban 了。

完全不够优雅的架构

服务器端程序是用 Flask 写的，用 uWSGI + Nginx 部署在阿里云上，然而我并没有一个通过备案的域名所以不能解析到阿里云的 80 端口上，所以只能另辟蹊径…最后的决定是前端以纯静态页面的形式托管在 Github Page 上，用 JSONP 协议和阿里云上的服务器端程序进行跨域通信。

服务器端的接口很简单只有三个，/addTask, /getState, /getFile, 分别用来请求添加新的导出任务、请求某个用户的任务状态和请求导出的 Excel 文件，前两个接口都以 JSONP 的格式返回状态内容、状态类型和可选的导出文件的 URL，前端页面在提交 /addTask 请求后会以 ajax 的方式轮训 /getState 获取并显示最新的任务状态直到任务成功或失败。

考虑到效率和避免滥用问题，导出的文件会在服务器暂存 24 小时，24 小时内请求添加同样的导出任务都会直接返回暂存的文件，与此同时我把最大并发任务数限制到了 6 个，超过之后请求添加新的导出任务会提示排队，测试了一下 6 个并发任务基本上就是我这个 1G RAM 单核 CPU 阿里云的极限了…

前端页面和服务器端源码都放 Github 上了，和部署时用的程序有少量区别，由兴趣的可以给个 star：https://github.com/Wildog/douban-exporter

iOS 10 Extensions 开发实战

2016-09-17T00:00:00+00:00

首先声明这并不是一篇实战教程，只是记录下开发中遇到的零零碎碎的问题和自己的解决办法。

iOS 10 最不能让我接受的改版就是 Health.app，应用层级变多，现在要点好几下才能看到自己每周的步数和运动距离统计。与此同时 iOS 10 的 Widgets 面板给了 Widget 更多的空间，想着能有一款让人一目了然地查看一周运动步数的 Widget 就好了，然而找了下 App Store 上目前并没有很好的成品，于是自己动手开写，途中顺便也尝试了下 iMessage Extension。

先扔 Repo 地址和效果图：https://github.com/Wildog/iOS-10-Steps-Widget

如上面的效果图所示，iOS 10 通过展开的方式给了 Widget 更多空间，展开状态NCWidgetDisplayModeExpanded下的最大高度是系统决定的，折叠状态 NCWidgetDisplayModeCompact下的高度则是固定的（110 左右），在 TodayViewController 中可以通过 NCWidgetProviding 协议中的 widgetActiveDisplayModeDidChange: 获取状态变化并设置需要的高度：

- (void)widgetActiveDisplayModeDidChange:(NCWidgetDisplayMode)activeDisplayMode withMaximumSize:(CGSize)maxSize {
    if (activeDisplayMode == NCWidgetDisplayModeExpanded) {
        self.preferredContentSize = CGSizeMake(0.0, 280.0);
    } else if (activeDisplayMode == NCWidgetDisplayModeCompact) {
        self.preferredContentSize = maxSize;
    }
}

获取 HealthKit 信息

新的访问控制

iOS 10 中增加了新的隐私访问控制，需要在 info.plist 中设置 NSHealthShareUsageDescription 和 NSHealthUpdateUsageDescription 的值作为数据使用的描述，两个值都必须设置，否则会收到类似下面的通知：

This app has crashed because it attempted to access privacy-sensitive data without a usage description. The app's Info.plist must contain an NSHealthShareUsageDescription key with a string value explaining to the user how the app uses this data.

如下图设置好这两个值过后就能正常地请求应用授权了：

异步请求带来的问题

获取 HealthKit 数据的方式是向 HKHealthStore 的实例发送 executeQuery: 信息，而这个方法是异步调用的。我一开始的做法是在 viewDidLoad 中直接调用一个 queryHealthData 方法，在这个方法里面执行一系列（一周的数据，按天请求）的 executeQuery: ，返回后再交给图表绘制。然而数据交给图表时几乎不可能是完整的，因为 executeQuery: 的异步请求此时并没有执行完，最终导致应用崩溃。所以需要一个办法在所有的异步请求全部处理完之后再进行其它处理，dispatch_group 可以很好的解决，同时 dispatch_group 内部的任务也是并发进行的：

// 创建 dispatch_group
dispatch_group_t hkGroup = dispatch_group_create();
// 依次执行请求
for (......) {
    // 创建 query
    HKStatisticsQuery *query = [[HKStatisticsQuery alloc]
                        initWithQuantityType:stepType
                        quantitySamplePredicate:predicate
                        options:HKStatisticsOptionCumulativeSum
                        completionHandler:^(HKStatisticsQuery *query, HKStatistics *result, NSError *error) {
        double data = [result.sumQuantity doubleValueForUnit:[HKUnit countUnit]];
        [arrayForData addObject:[NSNumber numberWithDouble:data]];
        // 数据存储完后离开 dispatch_group，可以理解为信号量 +1
        dispatch_group_leave(hkGroup);
    }];
    // 执行异步请求前进入 dispatch_group，可以理解为信号量 -1
    dispatch_group_enter(hkGroup);
    [self.healthStore executeQuery:query];
}
// 最后等待所有异步请求完成
dispatch_group_notify(hkGroup, dispatch_get_main_queue(),^{
    // 通知主线程绘制图表
}

锁屏状态下无法访问 HealthKit 数据

如果你尝试在锁屏状态下通过 Widget 访问 HealthKit 数据，你会在 Console 中收到类似下面的信息：

Widget[3459:674785] Error Domain=com.apple.healthkit Code=6 "Protected health data is inaccessible" UserInfo={NSLocalizedDescription=Protected health data is inaccessible}

很遗憾在锁屏状态下由于隐私保护是没法访问 HealthKit 信息的，所以我们需要对此类错误进行处理并缓存之前的数据用于锁屏状态下显示。由于数据很简单而且数量不多，数据的缓存用 NSUserDefaults 实现相当简单：

NSUserDefaults userDefaults = [[NSUserDefaults alloc] init];
// 保存数据
[userDefaults setObject:arrayForData forKey:@"snapshot"];
// 恢复数据
NSArray *arrayForData = [userDefaults arrayForKey:@"snapshot"];

然后我们在之前 query 的 completionHandler 块中加入对错误的检测并在图表上显示对应提示，并设置一个全局的 flag 用于检测到错误时显示之前缓存的数据。

绘制线形图

绘制渐变

通过得到的数据绘制好一条 BezierPath 路径后，再利用这个路径创建一个 CAShapeLayer 形状层，设置好属性和动画后，再创建一个和这个 View 一样大的 CAGradientLayer 渐变层，最后将渐变层作为 sublayer 添加到 self.layer 上，并把渐变层的 mask 属性设置为之前创建的 CAShapeLayer 形状层就实现了：

// 创建形状层
CAShapeLayer *chartLineShape = [CAShapeLayer layer];
chartLineShape.path          = chartLine.CGPath;
chartLineShape.lineWidth     = self.chartLineWidth;
chartLineShape.strokeColor   = [UIColor colorWithHue:0.52 saturation:1 brightness:0.83 alpha:1].CGColor;
chartLineShape.fillColor     = [UIColor clearColor].CGColor;
chartLineShape.lineCap       = kCALineCapRound;
chartLineShape.lineJoin      = kCALineJoinRound;

// 创建动画
CABasicAnimation *drawAnimation   = [CABasicAnimation animationWithKeyPath:@"strokeEnd"];
drawAnimation.duration            = self.animationDuration;
drawAnimation.repeatCount         = 1.0;
drawAnimation.removedOnCompletion = YES;
drawAnimation.fromValue           = [NSNumber numberWithFloat:0.0f];
drawAnimation.toValue             = [NSNumber numberWithFloat:1.0f];
drawAnimation.timingFunction      = [CAMediaTimingFunction functionWithControlPoints: 0.348 : 0.000 : 0.285 : 0.743];
[chartLineShape addAnimation:drawAnimation forKey:@"drawChartLineAnimation"];

// 创建渐变层
CAGradientLayer *gradientLayer = [CAGradientLayer layer];
gradientLayer.frame            = CGRectMake(0, 0, self.frame.size.width, self.frame.size.height);
gradientLayer.colors           = @[(__bridge id)[UIColor colorWithHue:0.57 saturation:0.74 brightness:0.86 alpha:1].CGColor,(__bridge id)[UIColor colorWithHue:0.52 saturation:1 brightness:0.76 alpha:1].CGColor, (__bridge id)[UIColor colorWithHue:0.52 saturation:1 brightness:0.83 alpha:1].CGColor];
gradientLayer.startPoint       = CGPointMake(0,0.5);
gradientLayer.endPoint         = CGPointMake(1,0.5);

// 设置遮罩
[self.layer addSublayer:gradientLayer];
gradientLayer.mask = chartLineShape;

检测触摸点击

我单独写了一个 ChartNodeView 来表示和绘制节点，并在 ChartView 的 drawRect: 中创建节点并将它们作为 subview 添加进来，触摸点击节点会触发动画效果和显示节点的相关信息，所以需要检测触摸事件并通过 hitTest: 识别触摸对象来判断节点序号：

- (void)touchesBegan:(NSSet *)touches withEvent:(UIEvent *)event {
    [self touchPoint:touches withEvent:event];
    [super touchesBegan:touches withEvent:event];
}

- (void)touchPoint:(NSSet *)touches withEvent:(UIEvent *)event {
    UITouch *touch = [touches anyObject];
    CGPoint touchPoint = [touch locationInView:self];
    UIView *touchView = [self hitTest:touchPoint withEvent:nil];
    
    // 判断触摸对象是否为节点
    if ([touchView isKindOfClass:[ChartNodeView class]]) {
        // 重新高亮节点
        for (UIView *subview in self.subviews) {
            if ([subview isKindOfClass:[ChartNodeView class]]) {
                ChartNodeView *nodeView = (ChartNodeView*)subview;
                if (nodeView.isActive) [nodeView toggleState];
            }
        }
        ChartNodeView *touchNode = (ChartNodeView*)touchView;
        [touchNode toggleState];
        // 显示节点信息的逻辑交由 delegate 处理
        _lastSelected = touchNode.index;
        if ([self.delegate respondsToSelector:@selector(clickedNodeAtIndex:)]) {
            [self.delegate clickedNodeAtIndex:_lastSelected];
        }
    }
}

这个线型图的实现很简单，写的时候也注意了一定的可复用性，如果有需要的话可以直接拿走用。

iOS 10 iMessage Extension

iOS 10 提供的 iMessage 扩展可以生成漂亮的 rich message。把之前 Widget 里写好的 ViewController 拿过来改改就可以直接用，这里记录下信息的生成，使用 MSMessageTemplateLayout 可以创建带媒体文件、标题和说明的布局，创建 NSMessage 后，设置其布局属性，然后通过 MSMessagesAppViewController 的 activeConversation 属性获取当前对话并执行 insertMessage: 来插入信息，整个过程完毕后交给用户添加评论或发送：

MSMessageTemplateLayout *layout = [[MSMessageTemplateLayout alloc] init];
layout.image = image;
layout.caption = @"This is a caption";

MSMessage *msg = [[MSMessage alloc] init];
msg.layout = layout;
msg.URL = [NSURL URLWithString:@"emptyURL"];

[self.activeConversation insertMessage:msg completionHandler:^(NSError *error){
    // error handling
}];

截取图表为图片时使用的方法是 drawViewHierarchyInRect:afterScreenUpdates，创建 image context 时注意使用的方法是 UIGraphicsBeginImageContextWithOptions(CGSize size, BOOL opaque, CGFloat scale) 且 scale 的值需要设为 0，表示 scale factor 由设备决定，如果使用 UIGraphicsBeginImageContext(CGSize size) 的话默认的 scale 值为 1，在 2x, 3x 设备上会显示模糊的图像：

UIGraphicsBeginImageContextWithOptions(self.lineChartView.bounds.size, NO, 0);
[self.lineChartView drawViewHierarchyInRect:self.lineChartView.bounds afterScreenUpdates:YES];
UIImage *image = UIGraphicsGetImageFromCurrentImageContext();
UIGraphicsEndImageContext();

顺便吐槽 Xcode 8

升级之后整个人都懵逼了，所有的插件都没了，包括没法离开的 XVim，看了下 Alcatraz Issues 里面的讨论，官方采用了 runtime library validation 对 Xcode 插件进行验证，并提供了新的 Xcode 插件协议 Xcode Source Editor Extensions（然而目前只能提供基本的替换功能），主要是为了防止 XcodeGhost 这样的恶意插件。废话说得再多，我依然不能接受。翻遍 Github 找到了个很好用的工具 inket/update_xcode_plugins，不光可以 unsign Xcode 使其重新支持插件，还可以给插件自动添加 UUID，经过十分钟的拷贝和 unsign，Xcode 8 总算是能正常使用了。

记一则流媒体传输上的坑

2016-09-07T00:00:00+00:00

最近用 Flask 写了个文件系统服务器，想在前端 streaming 服务器上的媒体文件，先是直接写了个生成器方法，传递给 stream_with_context 后生成 Response 返回，在本地测试时发现了两个怪异现象。

一个是部分 mp4 文件能正常播放而其他 mp4 文件在播放时显示出错，另一个是 mp3 文件在不同浏览器下播放行为不统一，在 Chrome 下能正常显示总时长，而在 Safari 下不显示总时长而只显示 Live Broadcasting。

分析

针对第一个问题，分析文件后发现能正常播放的 mp4 文件都是我之前通过 HandBrake 转码过后的 web optimized mp4 文件，如下图所见，此类文件的 metadata(moov) 位于媒体数据(mdat)之前，浏览器请求视频文件后从文件开头开始接收，如果 metadata 在文件开头，浏览器就能正常读取信息并完整地播放视频。而大多数视频的 metadata 都在媒体数据之后，导致浏览器不能正常 streaming。

第二个问题通过对两个浏览器的请求进行抓包比较得到问题所在：

从图上可以看出 Safari 在请求 mp3 文件之前先发送了一个头部带有 Range: bytes=0-1 的请求给服务器，如果服务器的响应头部没有对应的 Content-Range 或者响应码不是 206 Partial Content，而是直接回应整个文件，Safari 就会认为这是一个 Live Broadcasting 流，并把 audio.duration 这个 tag 的值设为无限大。

总结

总结一下这两个问题的解决办法可以得出流媒体传输的必要条件：

视频文件需要是 fast-start 或者 web optimized 的，可以通过 ffmpeg -i input.mp4 -movflags faststart -acodec copy -vcodec copy output.mp4 处理得到
服务器端需要正确地响应带有 Range 头部的请求，以及返回正确的 Content-Type 头部
服务器端不压缩地直接返回媒体文件，Content-Encoding 头部的值为 identity

最终代码

def partial_response(path, start, end=None):
    file_size = os.path.getsize(path)

    if end is None:
        end = file_size - start - 1
    end = min(end, file_size - 1)
    length = end - start + 1

    with open(path, 'rb') as fd:
        fd.seek(start)
        bytes = fd.read(length)

    response = Response(
        bytes,
        206,                                    # Partial Content
        mimetype=mimetypes.guess_type(path)[0], # Content-Type must be correct
        direct_passthrough=True,                # Identity encoding
    )
    response.headers.add(
        'Content-Range', 'bytes {0}-{1}/{2}'.format(
            start, end, file_size,
        ),
    )
    response.headers.add(
        'Accept-Ranges', 'bytes'                # Accept request with Range header
    )
    return response

def get_range(request):
    range = request.headers.get('Range')
    m = re.match('bytes=(?P<start>\d+)-(?P<end>\d+)?', range)
    if m:
        start = m.group('start')
        end = m.group('end')
        start = int(start)
        if end is not None:
            end = int(end)
        return start, end
    else:
        return 0, None
        
@app.route('/<path:p>')
def v_get_video_file(p=''):
    path = os.path.join(root, p)
    if os.path.isfile(path):
        if 'Range' in request.headers:
            start, end = get_range(request)
            res = partial_response(path, start, end)
        else:
            res = send_file(path)
            res.headers.add('Content-Disposition', 'attachment')
    else:
        res = make_response('Not found', 404)
    return res

最后的 res.headers.add('Content-Disposition', 'attachment') 是为了让 Safari 以下载而不是新窗口播放的方式来打开媒体文件的超链接。

如此一来就能正常的传输流媒体了：

完整项目见此：https://github.com/Wildog/flask-file-server

用 Pythonista 写 UI

2016-09-03T00:00:00+00:00

Pythonista 从 1.5 版本起到现在的 3.0 版本，陆续增加了 UI 编辑器、 Share Extension 、断点调试等功能，原本就是 iOS 上日常脚本神器的它现在已经成了功能完善的 Python 开发环境，拿着手机打发时间的同时写个像样的 App 也不在话下。下面是这两天用 Pythonista 写的两个小玩具，顺便记录一下途中遇到的坑。

先附上 Repo 地址：https://github.com/Wildog/pythonista-toys

EXIF.py

这是一个用于查看照片信息的 Extension，能显示 EXIF 信息、RGB 直方图和解析后的地理位置，可以触发 Share Sheet 地方都能使用。

Pythonista 自带了 PIL 模块，能很方便的获取 EXIF 信息和执行图片处理。但坑也是主要都在图片方面，获取图片 EXIF 信息只能从 PIL.Image 的实例中获取，而在 ImageView 上显示的图片又必须是 ui.Image 的实例，坑爹的是 ui 模块的文档里面一直把这两个类混淆，而且也没有自带两个类之间的转换方法，遂自己动手：

def pil2ui(imgIn):
    b = io.BytesIO()
    imgIn.save(b, 'JPEG')
    imgOut = ui.Image.from_data(b.getvalue())
    b.close()
    return imgOut

解决了图片转换的问题又发现由于在 Share Extension 中运行脚本时内存上限较小，尺寸较大的图片得先压缩才能显示，然而 Image.resize() 依然不能摆脱内存问题，最终用 Image.thumbnail() 解决，注意这个方法的效果是 in-place 的。

现在图片能正常在 ImageView 中显示了，但又出现了新的问题：iOS 设备拍摄的照片无法正确显示方向，窥探了下这些照片的 EXIF 信息发现照片本身都是横向的，系统显示的时候才利用 EXIF 信息里的 ‘Orientation’ 决定方向，所以现在得自己实现这个过程，直接用 Image.rotate() 解决：

orientations = {
    1: 0,
    2: 0,
    3: 180,
    4: 0,
    5: 0,
    6: 270,
    7: 0,
    8: 90
}
if exif.get('Orientation'):
    img = img.rotate(orientations.get(exif['Orientation'], 0))

最后利用 GeoPy 实现坐标到地址的解码再显示出来就行了，安装包时还顺便发现了 StaSh 这个神器，运行在 Pythonista 上的模拟 shell，可以直接使用 pip 进行包管理。

Garfield.py

一个用来看每日加菲猫漫画的小脚本，除了显示和保存漫画以外还能查看从 GoComics 上抓取的评论。画 UI 的时候发现虽然有 Auto-Resizing / Flex 功能，但远不及 iOS 的 AutoLayout 来的完善，甚至都没法在同层级的 view 之间建立约束，不过整体代码只有百来行，远比写个真正的 App 轻松多了。

Ariafred: 利用 Alfred 管理 Aria2

2016-04-10T00:00:00+00:00

Aria2 对于我这种长期使用百度云和迅雷离线的 Mac 用户简直就是救星, 再不用忍受百度云蛋疼的同步盘客户端和万年不更新还死耗资源的迅雷客户端, 找了下 Aria2 基本只有 web 前端, 感觉不如配合 Alfred 2 来得方便, 趁着周末用 Python 写了个 Alfred Workflow, 支持 Aria2 的大多数操作和后台通知. 截图如下:

下载

百度云直接下载可用: http://pan.baidu.com/s/1skLQsG1
Github Repo 地址: https://github.com/Wildog/Ariafred

使用说明

激活 Ariafred

安装 Workflow 后你可以在 Hotkey 里设置全局快捷键(个人推荐Command + Shift + A)或者在 Alfred 里输入关键词 aria 来激活 Ariafred

过滤下载

直接输入搜索关键词可按名称搜索下载, 可同时输入多个搜索关键词
输入状态关键词 active / done / paused / pending / error 可分别查看进行中/已完成/已暂停/等待中/出错的下载
状态关键词和搜索关键词可搭配使用:

查看全局状态

输入关键词 stat 可查看全局状态
在 Active / Waiting / Stopped 上按下 Enter 可查看对应状态的下载
在 Download / Upload 上按下 Enter 可进一步设置下载/上传限速

新建下载

输入关键词 add 和下载链接, 支持 HTTP/FTP/SFTP/Magnet 链接

建议在 aria2.conf 配置文件中增加默认下载路径如 dir=/foo/bar, 在 Ariafred 中创建的下载都会下载到这个路径下

新建 BT 下载

在 .torrent 文件上执行 File Action 后选择 ‘Add BT download to Aria2’

显示下载文件

对所选下载按下 Enter 在 Finder 中显示下载文件
对所选下载按下 Ctrl + Enter 在 Alfred 中显示下载文件
点击下载通知可在 Finder 中显示相关下载文件

暂停/继续下载

对所选下载按下 Command + Enter
或者输入关键词 pause / resume 后对所选下载按下 Enter
使用关键词 pauseall / resumeall 暂停/继续所有下载

移除下载

对所选下载按下 Option + Enter
或者输入关键词 remove 后对所选下载按下 Enter

复制下载链接到剪贴板

对所选下载按下 Control + Enter
或者输入关键词 url 后对所选下载按下 Enter

清除已停止下载

使用关键词 clear, 会清除所有已完成和出错的下载

设置限速和最大同时下载数

输入关键词 limit 和速度(KiB/s)设置下载限速
输入关键词 limitup 和速度(KiB/s)设置上传限速
输入关键词 limitnum 和数字设置最大同时下载数

设置 Aria2 RPC

默认连接的 RPC 地址为 http://localhost:6800/rpc, 如果需要更改, 输入关键词 rpc 和你自己的 RPC 地址. 请注意, Ariafred 使用的 RPC 格式为 xml-rpc 而不是 YAAW 一类 WebUI 所用的 json-rpc, 更改 RPC 地址时请确保你的 RPC 地址以 /rpc 结束.
默认使用的 rpc-secret 为空, 如果你在 aria2.conf 配置文件中设置了自己的 rpc-secret, 输入关键词 secret 和你自己的 rpc-secret 以设置.

启动和关闭 Aria2

如果连接不上 Aria2, Ariafred 会提示启动 Aria2 或者设置 RPC, 选择启动以尝试启动 Aria2
使用关键词 quit 关闭 Aria2

获取帮助

使用关键词 help 进入 Github Repo 地址获取帮助

更新

Ariafred 会从 Github 自动检查最新的 release 状态并提示更新

在 Vim-airline 上显示天气

2015-12-07T00:00:00+00:00

这两天把 Vim 的 Powerline 插件换成了 vim-airline, 相比 Powerline, vim-airline 更轻量, 完全用 Vimscript 实现, 让我摆脱了 Vim 中的 Powerline 插件在我的 tmux 环境下经常闪烁的问题.

但是 vim-airline 缺了 Powerline 插件的天气扩展, 于是自己写了一个 vim-airline 的天气扩展, 效果图如上, 在右下角显示天气图标和当前温度, 借助了 webapi-vim 插件和 OpenWeatherMap 的 API.

Github Repo 地址: https://github.com/Wildog/airline-weather.vim

安装

使用 Vundle 安装

扩展依赖 vim-airline 和 webapi-vim, 确保你的 .vimrc 中有以下几行:

Plugin 'bling/vim-airline'
Plugin 'mattn/webapi-vim'
Plugin 'Wildog/airline-weather.vim'

然后执行 :PluginInstall

自定义

设置位置

let g:weather#area = 'beijing,china'

设置单位

metric 为摄氏度, imperial 为华氏度

let g:weather#unit = 'metric'

设置 API Key

默认为我的 API Key, 你最好申请并设置一个自己的 API Key: http://openweathermap.org/appid

let g:weather#appid = '2de143494c0b295cca9337e1e96b00e0'

设置缓存

缓存文件路径默认为~/.cache/.weather, 更新周期默认为 1 小时. 如果要修改更新周期, 注意更新太过频繁会使 Vim 卡顿.

let g:weather#cache_file = '~/.cache/.weather'
let g:weather#cache_ttl = '3600'

设置格式

%s为天气图标, %f为温度数字

let g:weather#format = '%s %.0f'

设置图标

各图标数字代码含义可参考 OpenWeatherMap 的 API: http://openweathermap.org/weather-conditions

let g:weather#status_map = {
\ "01d": "☀",
\ "02d": "☁",
\ "03d": "☁",
\ "04d": "☁",
\ "09d": "☂",
\ "10d": "☂",
\ "11d": "☈",
\ "13d": "❅",
\ "50d": "≡",
\ "01n": "☽",
\ "02n": "☁",
\ "03n": "☁",
\ "04n": "☁",
\ "09n": "☂",
\ "10n": "☂",
\ "11n": "☈",
\ "13n": "❅",
\ "50n": "≡",
\}

强制刷新天气

:call RefreshWeather()

把你的旧 Kindle 变成桌面气象站

2015-11-28T00:00:00+00:00

参考 Repo: https://github.com/cathay4t/kindle-weather

看到有人在 K3 上做了个锁屏天气, 自己也心痒痒跟着 DIY 了一下, 效果还不错, 也算是把长期闲置的 K4 派上了用场. 分享下自己的流程:

硬件需求

一台长期联网的 Kindle (K3, K4 测试通过)
一台长期联网的主机或者 VPS

配置

配置主机

安装好 httpd, pngcrush, librsvg2
启动 httpd 服务
建立文件夹 /var/www/html/weather 并设置权限
下载上面这个 Repo 里的源码
申请 Weather Underground 的 API 并记录 KEY
crontab -e 添加定时任务, 在每天 6 点到 22 点期间每 29 分钟更新产生一次天气图片, <PATH> 改成源码所在路径, <API_KEY> 改成得到的 KEY, <LAT> <LON> 改成所在城市的经纬度, Weather Underground 上搜索城市可以得到经纬度

*/29 6-22 * * * <PATH>/weather_script.py <API_KEY> <LAT> <LON>

运行 weather_script.py <API_KEY> <LAT> <LON>, 测试 http://<主机域名>/weather/weather.png 能否得到正确显示的图片.

配置 Kindle

首先给 Kindle 越狱
1. K4 下载此压缩包, 解压后把 data.tar.gz, ENABLE_DIAGS 两个文件和 diagnostic_logs 文件夹复制到 Kindle 根目录,
2. 重启后自动进入诊断模式, 选择D) Exit, Reboot or Disable Diags 后选择 R) Reboot System, 再选择 Q) To continue, 等待 20s 后会显示 Jailbreak 的画面, 越狱完会自动重启. (其他 Kindle 版本参考此页)
越狱后安装 USB networking, 从此贴下载对应 Kindle 的版本, 解压后把文件名结尾为 install.bin 的文件复制到 Kindle 根目录, 然后在 Kindle 设置界面的菜单里选择更新 Kindle.
断开 Kindle 和电脑的连接, 在主界面按键盘键, 输入 ;debugOn 后回车, 接着输入 ~usbNetwork 并回车, 然后把 Kindle 连接到电脑上, 这时候电脑会检测到名为 RNDIS/Ethernet Gadget 的网络接口, K4 用户把这个接口的 IP 地址设为 192.168.15.201, 其他版本的 Kindle 把这个 IP 设为 192.168.2.1, 如图:
通过 ssh root@192.168.15.244 连接到 K4, 其他版本 Kindle 通过 ssh root@192.168.2.2 连接, 密码通常为 mario
执行 mntroot rw 挂载 rootfs 为可写
执行 cd /etc/kdb.src/yoshi/system/daemon/powerd/, 进入 powerd 文件夹, 路径中的 yoshi 不是固定的, 不同版本的 Kindle 这个路径不同
执行 vi suspend_levels, 查看 suspend_levels, 把最后一行的数字改为 1152, 表示可在睡眠模式下执行 crontab 任务.
执行 mkdir /mnt/base-us/weather 创建文件夹
在主机上把 display-weather.sh 里面的 URL 改为你自己主机上 weather.png 的 URL
通过 scp display-weather.sh root@192.168.15.244:/usr/bin/ 把 display-weather.sh 传到 Kindle 上的 /usr/bin 目录下
回到 Kindle 的 shell, 添加 crontab 任务, 在每天6点到22点期间每小时获取一次天气图片:

echo "*/60 6-22 * * * /usr/bin/display-weather.sh" >> /etc/crontab/root

执行 /usr/bin/display-weather.sh, 在 Kindle 上测试效果
执行 reboot 以重启 Kindle

至此 Kindle 桌面气象站就设置好了, 每小时会自动更新天气, 如果中途解锁了再锁定, 锁屏界面会变成普通锁屏画面, 一小时内等到下次执行 crontab 任务的时候会重新显示天气界面.

用 Matlab 训练一个简单的神经网络

2015-01-18T00:00:00+00:00

抱着纯属玩票的心态看完了 Andrew Ng 的机器学习入门课，又恰逢期末课设，就想着利用神经网络做一个简单数学表达式的识别和求值工具，主要的模型训练和识别部分都是由 Matlab 完成。

神经网络模型

考虑到计算速度，我只建立了一个简单的三层 BP 神经网络模型作为分类器来识别单个字符，模型简化图如上。输入层是由 20x20 的图像得到的 1x400 的特征向量，隐藏层共 80 个隐藏单元，激活函数采用 sigmoid function，输出层是一个 1x17 的向量，可以用来描述 17 种识别结果：数字 0-9 和 +, -, ⨯, ÷, ^, (, )。

数据集和预处理

同样也是出于计算速度的考虑，以及需要识别的除了数字还有符号，我没有使用只含数字且较大的 MNIST 数据集，而是找室友一起手写了大概 1000 个数字和符号作为训练数据。
不管是用作训练数据的图像还是最终需要识别的图像都需要做预处理，把图片上表达式的每个字符分离成单独的图像再依次送至分类器识别，预处理也是用 Matlab 完成，具体过程如下：
1. 图像转为灰度图像后反色处理，并进行中值滤波以平滑图像，然后进行整体边界限定，截取表达式区域图像。
2. 横向提取并拼接有效行，纵向提取并分割有效字符。提取每个分割区域为独⽴图像，进行边界限定，计算灰度阈值并转为⼆值图像，最后大小归一化图像：填充至正方形并统一为 20x20 的图像。
预处理部分还需要注意的主要问题是过滤噪音，除了平滑图像和边界限定以外，还要剔除掉高度过小的行、宽度过小的列以及面积过小的区域。完整代码见这里：https://github.com/Wildog/handwritten-expr-evaluator/blob/master/getPicChar.m

训练模型

首先是随机初始化权重，避免每层的每个单元学习到同样的参数。本质就是给每个权重矩阵里面的每个权重设置一个介于 [-𝜺, 𝜺] 的值，这个 𝜺 一般取 sqrt(6) / sqrt(input_layer_size + output_layer_size)，完整函数如下：

function W = randInitializeWeights(L_in, L_out)
% 由于 bias unit 的存在，权重矩阵的实际大小是 L_out * (1 + L_in)
W = zeros(L_out, 1 + L_in);
epsilon_init = sqrt(6) / sqrt(L_in + L_out);
W = rand(L_out, 1 + L_in) * 2 * epsilon_init - epsilon_init;

训练模型的本质就是不断地迭代学习利用梯度下降法最小化代价函数。在每轮迭代中，先使用前向传播算法计算各层输出值，再使用后向传播算法计算各层残差以计算各个权重矩阵的梯度，并计算代价函数，我写的一轮迭代如下：

function [J grad] = nnCostFunction(nn_params, ...
                                   input_layer_size, ...
                                   hidden_layer_size, ...
                                   num_labels, ...
                                   X, y, lambda)

Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), ...
                 hidden_layer_size, (input_layer_size + 1));

Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), ...
                 num_labels, (hidden_layer_size + 1));

m = size(X, 1);
         
J = 0;
Theta1_grad = zeros(size(Theta1));
Theta2_grad = zeros(size(Theta2));

for i = 1:m
    %Forward Propagation 算法计算各层输出值
    hidden_layer = zeros(hidden_layer_size,1);
    input_layer = [1; X(i,:)'];
    hidden_layer = [1; sigmoid(Theta1 * input_layer)];
    output_layer = zeros(num_labels,1);
    output_layer = sigmoid(Theta2 * hidden_layer);
    y_recode = zeros(num_labels,1);
    y_recode(y(i)) = 1;
    %Backpropagation 算法计算各层残差以计算 Theta1 和 Theta2 的梯度
    delta3 = output_layer - y_recode;
    delta2 = Theta2' * delta3 .* (hidden_layer .* (1 - hidden_layer));
    delta2 = delta2(2:end); %!!!丢弃 bias unit
    %累加梯度
    Theta1_grad = Theta1_grad + delta2 * input_layer';
    Theta2_grad = Theta2_grad + delta3 * hidden_layer';
    %累加 LR cost
    J = J + y_recode' * log(output_layer) + (1 - y_recode') * log(1 - output_layer);
end

%计算 NN cost
J = -(1/m) * J + lambda/(2*m) * (sum(sum(Theta1(:, 2:end).^2)) + sum(sum(Theta2(:, 2:end).^2)));

Theta1_temp = Theta1_grad;
Theta1_grad = (1/m) * Theta1_grad + (lambda/m) * Theta1;
tmp1 = ((1/m) * Theta1_temp);
Theta1_grad(:,1) = tmp1(:,1);

Theta2_temp = Theta2_grad;
Theta2_grad = (1/m) * Theta2_grad + (lambda/m) * Theta2;
tmp2 = ((1/m) * Theta2_temp);
Theta2_grad(:,1) = tmp2(:,1);

grad = [Theta1_grad(:) ; Theta2_grad(:)];

这个函数会返回一轮迭代后的代价函数值和各个权重矩阵的梯度，给这个函数创建一个句柄，设置一下学习率和最大迭代次数，和随机初始化后的各权重矩阵一起传给 fmincg 函数计算，然后静静地等着代价函数收敛就行了，不断的测试准确率再反复更改参数重新训练，最后得到满意的各权重矩阵。

大功告成

得到最终的权重矩阵后，针对预处理后的每个字符图像的像素矩阵计算其输出层就可以识别出对应的字符了，依次识别每个字符最终得到整个表达式，剩下的计算表达式的方法太多了不再多提，晒下结果图：

完整项目地址：https://github.com/Wildog/handwritten-expr-evaluator

在 Vim 里复制所有匹配结果

2014-10-21T00:00:00+00:00

今天突发奇想地想在 Vim 中一次性复制所有的正则匹配结果, 先是直接想到用 MultipleCursors 这个插件带的 MultipleCursorsFind, 复制后提示 yank 操作不能在多光标情况下使用, 这种奇技淫巧果然行不通… 遂用 Vimscript 解决, 在 .vimrc 中加入下列函数:

function! CopyMatches (m) 
    let @+ .= a:m . "\n" 
    return a:m
endfunction

复制方法:

:let @+ = ''
:%s/regex/\=CopyMatches(submatch(0))/g

粘贴方法:

"+p

嫌麻烦可以设个快捷键, 如:

:map <F4> :let @+ = ''<cr>:%s/regex/\=CopyMatches(submatch(0))/g

按 F4 后自己改掉 regex 就可以了.

示例:

用 Arduino + Processing 识别节拍

2014-07-11T00:00:00+00:00

一个简单的 Arduino + Processing 工程，用 Minim 库中的 BeatDetect 实时读取 Buffer 中的数据并采集音频频率识别 Kick、Snare 和 Hi-Hat 三种鼓点，通过 Arduino 的 Firmata 库驱动 LED 发光。

源码:
点我下载

把 `BeatWrite.pde` 中的针脚配置改为你自己连接的针脚, 连接图示点我查看

把 mp3 文件放入 `data` 文件夹中, 将 `BeatWrite.pde` 中 `"minim.loadFile("aaa.mp3", 2048)"` 一行的 `"aaa.mp3"` 改为你自己的 mp3 文件名

软件:

Arduino
Processing
# 务必下载 1.5.1 版本的 Processing, 个人测试 2.0 的版本会出错
Arduino 库
# 解压至 Processing目录/modes/java/libraries/
Minim 库
# 官方 Processing 已自带, 如果你的没有, 下载后解压至相同目录

步骤:

将 Examples 中 Firmata 库里的 StandardFirmata 上传到 Arduino 中
上传完毕等到 Arduino 上的 RX/TX LED 停止闪烁后再运行 Processing 源码

实测 Linkin Park 的 New Divide, 这首鼓点比较清晰：视频戳我
右边的是 Kick, 中间的是 Snare, 左边的是 Hi-Hat, 不同鼓的频率不同, 但各种鼓的 Kick 大部分都在<150Hz 频段, 可见 Kick 是最准的, 而 Snare 处于半残废状态, Hi-Hat 也一直把差不多的高频误判为 Hi-Hat

wil.døg

一个导出豆瓣数据的线上服务

爬爬爬…爬数据

完全不够优雅的架构

iOS 10 Extensions 开发实战

iOS 10 Widget 新特性：折叠/展开

获取 HealthKit 信息

新的访问控制

异步请求带来的问题

锁屏状态下无法访问 HealthKit 数据

绘制线形图

绘制渐变

检测触摸点击

iOS 10 iMessage Extension

顺便吐槽 Xcode 8

记一则流媒体传输上的坑

分析

总结

最终代码

用 Pythonista 写 UI

EXIF.py

Garfield.py

Ariafred: 利用 Alfred 管理 Aria2

下载

使用说明

激活 Ariafred

过滤下载

查看全局状态

新建下载

新建 BT 下载

显示下载文件

暂停/继续下载

移除下载

复制下载链接到剪贴板

清除已停止下载

设置限速和最大同时下载数

设置 Aria2 RPC

启动和关闭 Aria2

获取帮助

更新

在 Vim-airline 上显示天气

安装

使用 Vundle 安装

自定义

设置位置

设置单位

设置 API Key

设置缓存

设置格式

设置图标

强制刷新天气