Masutangu

也許我這一生　始終在追逐那顆九號球

Designing Data-Intensive Applications 读书笔记（一）

Chapter 1. Reliable, Scalable, and Maintainable Applications Thinking About Data Systems Increasingly many applications now have such demanding or wide-ranging requirements that a single tool can...

Posted by Masutangu on July 26, 2018

TiKV 源码阅读（未完成）

TiKV 使用 RocksDB 做持久化存储引擎。将 key 分 range，每一段称为 Region。Region 分散在多台机器上以实现存储的水平扩展。每个 Region 会存放多个副本在不同机器上，使用 raft 算法管理： PD 负责整个 TiKV 集群的调度。 TiKV 使用 version 的方式进行多版本控制（MVCC）： 1 2 3 4 5 6 7 Key1-Ver...

Posted by Masutangu on July 9, 2018

raft-rust 初体验

之前分析了使用 golang 实现的 etcd-raft，这几天再读了下 rust 实现的 raft-rs，简单说下对比。rust 版应该是基于 golang 版来实现的，所有的类、方法基本上是一致的。 从样例看起，let (sender, receiver) = mpsc::channel(); 创建了 channel 用于线程之间数据传递（类似 golang 的 channel）。调用...

Posted by Masutangu on July 9, 2018

etcd-raft 源码学习笔记（PreVote）

这篇文章介绍 etcd-raft 的 PreVote 机制，避免由于网络分区导致 candidate 的 term 不断增大。 Election timeout 之后，发送 type 为 pb.MsgHup 的请求，进入选举阶段： 1 2 3 4 5 6 7 8 9 // tickElection is run by followers and candidates after r.el...

Posted by Masutangu on July 8, 2018

etcd-raft 源码学习笔记（Leader Transfer）

这篇文章介绍 etcd-raft 如何实现 leadership transfer，把 leader 身份转移给某个 follower。 应用层调用 TransferLeadership 方法，发送一个 type 为 pb.MsgTransferLeader 的请求给 raft 处理。 1 2 3 4 5 6 7 8 func (n *node) TransferLeadership(c...

Posted by Masutangu on July 6, 2018

etcd-raft 源码学习笔记（Linearizable Read 之 Lease）

这篇文章介绍 etcd-raft 如何实现 linearizable read（linearizable read 简单的说就是不返回 stale 数据，具体可以看这篇文章 《Strong consistency models》）。 除了基于 ReadIndex 之外，raft 论文第 8 节还阐述了另一种基于 heartbeat 的 lease 思路： Alternatively...

Posted by Masutangu on July 6, 2018

etcd-raft 源码学习笔记（Linearizable Read 之 ReadIndx）

这篇文章介绍 etcd-raft 如何实现 linearizable read（linearizable read 简单的说就是不返回 stale 数据，具体可以看这篇文章 《Strong consistency models》）。 raft 论文第 8 节阐述了思路： Read-only operations can be handled without writing anyt...

Posted by Masutangu on July 5, 2018

etcd-raft 源码学习笔记（概览篇）

这篇文章主要整体上介绍 etcd-raft 库，包括各个类的作用，类之间的串联。不涉及 raft 算法。先来看看 etcd-raft 几个结构体的定义： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 type raft struct { id uint64 Term uint64 Vote uint64...

Posted by Masutangu on July 4, 2018

etcd-raft 源码学习笔记（示例篇）

本系列文章为 etcd-raft 源码阅读笔记，采用自顶向下的方式。这篇是开篇，首先来看看 etcd 提供的基于 raft 库实现的 kv store 示例，代码目录位于 contrib/raftexample。 从 main 函数开始读起： 1 2 3 4 5 6 7 8 9 10 11 12 func main() { ... proposeC := make(cha...

Posted by Masutangu on July 3, 2018

Libco 之 coctx_swap

前言 在之前的文章《浅读 Libco》 粗略的介绍了 libco，这篇文章则重点关注协程上下文切换的实现细节（coctx_swap.S）。 首先回顾下函数调用的 stack frame layout： 调用子函数时，父函数从右到左将函数入栈，最后将返回地址入栈保存后，跳到子函数的地址执行。子函数压栈保存父函数的 ebp，并将 ebp 设置为当前 esp。子函数通过 ebp + 4 ...

Posted by Masutangu on April 27, 2018

FEATURED TAGS
个人项目 读书笔记 分布式 源码阅读 随笔 机器学习 汇编 Golang 工作 Python Linux 编程语言 协程 C C++ 优化&重构 强化学习 数据库 Rust
ABOUT ME

"當我穿過沙漠遇見你
不可思議十三億分之一
遠處夕陽落入地平線裡
風吹過 過去 未來 現在
冥冥之中 誰在編排你"

C-BLOCK -《很高興認識你》

FRIENDS