Masutangu

也許我這一生　始終在追逐那顆九號球

谈谈前后台协议

最近在做一款内容型的app，身为一枚后台开发童鞋，在开发新的功能的时候，初期总是需要制定和客户端的协议。在绕了不少弯路后，今天在这里总结一些经验，也算是一种沉淀。 制定协议最主要就是灵活，通用。针对一款内容型的app，你可能会有很多个页面，展示很多种元素，每个元素会是不同的类型。我们拿一款fm的app来做示例： 如果我们要开发上面这三个页面，你会怎么制定和客户端的协议？ 我们先来简单...

Posted by Masutangu on November 3, 2015

应对反爬虫之换 Cookie

最近想玩一玩数据分析，却苦于没有数据。所以想写写爬虫抓些数据来分析分析。想来想去，把目标瞄准了新浪微博。虽然现在微博已经不太行了，但是毕竟UGC内容很多，并且都是短文本，感觉比较好处理些。 说搞就搞，通过抓包分析移动版微博，很容易就知道新浪微博的api接口（获取粉丝列表，获取微博列表），更爽的是，这些接口不需要登陆态，并且返回的都是json数据。本来我的目的就是分析数据，正好也不想花费太多...

Posted by Masutangu on October 31, 2015

Elric Change Log I

自从把Elric放在线上跑，到现在已经跑来小半年。也发现了些接口设计上的不合理和小坑。今天花时间改进了下，分享下改进的地方。 接口简化 之前的worker在往某个queue提交任务之前，需要调用add_queue()方法来先在master创建一个queue。同时worker也需要注册自己监听哪些queue，这里worker和master就有两个queue的交互，一条queue用于提交任务，...

Posted by Masutangu on October 27, 2015

谈谈我对 Golang 的理解

谈谈我对Golang的理解 一直想了解下go这门新的语言。前段时间看了Google IO上Rob Pike对Go语言的介绍，又过了下A Tour of Go。然后趁热打铁花了两天时间写了个比较有趣的脚本管理器Scripter。当然对Go语言的语法规范和代码组织还不了解，所以这代码写的有些凌乱。 回到主题，从开始看Google IO，到用Go写完了Scripter，加起来花了差不多五天。...

Posted by Masutangu on August 2, 2015

600 行代码实现简单的任务分发监控器

写之前说些题外话，今晚认识了一位大神，聊了不到两个小时，被虐得体无完肤。觉得自己还有很长的路要走，现在做的东西还是比较小儿科。虽然这篇文章的内容比较低端，但是大神说了，要坚持写blog。所以我还是决定厚颜无耻的发出来，当作积累。 很久很久之前Go写的一个任务分发和监控管理系统，最近重构了下代码，终于稍微能看。当然这只是1.0版本，还是很低端。同时作为我的Go处女作品，还没时间去读读其他优秀...

Posted by Masutangu on August 2, 2015

Elric：Python 实现的分布式任务调度系统

五月中的时候，我花了两周的业余时间，用python写了第一个github项目：Elric。Elric是一个简单的分布式任务调度系统。这里想分享下写这个项目的缘由，思路以及Elric架构演变。 名字来源 这个项目的名字Elric，取自我非常喜欢的动漫：钢之炼金术师 里面主角的姓。强烈建议没看过的朋友一定要看看，这部动漫给我带来很大的影响。 背景 说起爬虫，相信很多人都会第一时间提起Sc...

Posted by Masutangu on August 1, 2015

FEATURED TAGS
个人项目 读书笔记 机器学习 分布式 源码阅读 随笔 汇编 Golang 工作 Python Linux 编程语言 协程 C C++ 优化&重构 强化学习 数学 数据库 Rust
ABOUT ME

"當我穿過沙漠遇見你
不可思議十三億分之一
遠處夕陽落入地平線裡
風吹過 過去 未來 現在
冥冥之中 誰在編排你"

C-BLOCK -《很高興認識你》

FRIENDS