Masutangu

也許我這一生 始終在追逐那顆九號球

线性回归到深度网络

线性回归与单层神经网络 我们可以用神经网络来描述线性回归模型: 上图所示的神经网络中,输入为 $ x_1, \ldots, x_d $,因此输入层中的输入数(或称为特征维度 feature dimensionality)为 $d$。 网络的输出为 $o_1$,因此输出层中的输出数是 $1$。通常计算神经网络的层数时不考虑输入层,因此上图的神经网络层数为 $1...

线性回归、损失函数以及梯度下降

线性回归 回归(regression)是能为一个或多个自变量与因变量之间关系建模的一类方法。 在机器学习领域中的大多数任务通常都与预测(prediction)有关。 当我们想预测一个或多个连续数值时,就会涉及到回归问题(如果是有限数量的离散数值,则属于分类问题)。 在机器学习领域,通常使用的是高维数据集。当我们的输入包含 $ d $ 个特征时,将所有特征放到向量...

2022, Data Scientist!

很久之前看过乔布斯在斯坦福大学的演讲,关于他人生中的三个故事。其中第一个故事,串联生命中的点点滴滴,给我留下很深刻的印象。 乔布斯因为看不到大学的价值而做出了退学的决定,不用再上那些他并不感兴趣的必修课,而是选修了他自己觉得更有趣的课程,比如美术字课。虽然那时他觉得并不会有什么实际应用,但最终在设计第一台 Macintosh 电脑的时候,他把当初美术字课程里学到的字体设计进了 Mac,也是...

强化学习之 AlphaGo 的诞生

从井字棋说起 很多人都玩过井字棋,下棋的时候怎么提高自己赢的概率呢?高手又是怎么下棋的呢?如何找到胜率更高的下法? 其实非常简单,不管是井字棋,还是象棋或者围棋,在下棋的时候,我们都会在脑海里进行模拟: 通过模拟,每走一步前,提前想好后面十步,以提高胜率。在井字棋中,甚至可以通过模拟来找到必胜走法(例如上图中的第一步)。 只要能穷举出所有可能的落子和棋局,我们就能算出每个棋局的胜率...

一致性哈希的应用

一致性哈希 一致性哈希是业界最常用的哈希方案,通常在分布式系统中会采用一致性哈希的方式对请求进行路由。 哈希算法的好坏有四个标准:均衡性(Balance)、单调性(Monotonicity)、分散性(Spread)和负载(Load),具体可以参考论文 Consistent Hashing - A Distributed Caching Protocol。 这里重点提一下单调性。哈希桶数...

从路由层说起

背景 在游戏后台中,路由是一个比较重要的模块。路由作为中间层,可以解耦服务调用方和服务响应方: 常见的路由方式包括随机、轮询、一致性哈希、取模、主(备)等,同时还可以在路由层实现负载均衡的能力。以战斗服为例,后台架构通常如下: 因为 BattleSvr 是带状态的。通常我们会将房间 Id 做为 key 值,采用一致性哈希的方式路由,保证同一个房间 Id 的消息始终路由到同一台 ...

Hello 2021

不经意间 2020 就这样过去了。按照惯例,开年写一篇回顾和期望。 关于博客 博客今年只更新了一篇文章,不过不是偷懒。之前一直有整理 wiki 的想法,刚好朋友介绍了 Notion,一款将笔记、知识库和任务管理整合在一起的工具,体验下来非常满足我的需求。因此这一年记录的重心基本上都在 Notion 上。同时因为笔记内容不打算公开,除了在一开始构建框架时花费了一些精力,把架子搭好后,就能随心...

Kubernetes 初体验

Kubernetes(简称 K8s)是 Google 推出的开源容器管理系统,提供了强大的容器编排能力。这篇文章主要是读<Kubernetes in Action> 和官方文档以及Kubernetes Handbook和Istio Handbook的一些总结,图例均取网上资料。 微服务 在介绍 K8s 之前,先聊聊后台架构的演化历程。随着业务的复杂性不断提高,后台架构也从单体...

告别 2019

马上就 2020 年了,翻看去年年终总结《2018,值得反思的一年》对自己立下的期望:“2019年,我想成为一名优秀的工程师,成为真真正正的技术工程师”时,内心是无比惭愧的。 先说说今年做了什么吧,今年年初就计划写一系列介绍分布式的文章,因为我在学习过程中,发现很难理清楚分布式系统中各个概念的关联性,举例来说,初次接触逻辑时钟和版本向量这两个概念会觉得很类似,为什么有了逻辑时钟还需要版本向...

漫谈分布式:线性一致性与共识算法

前言 这篇文章是《漫谈分布式》系列文章的第五篇,主题为线性一致性和共识算法,以理清概念为主,不涉及具体的共识算法,如有兴趣参考文章 MIT 6.824 学习笔记(二) 介绍了 Raft 算法以及 The Part-Time Parliament 论文笔记 记录了 Paxos 论文的笔记。 一致性保证 大部分分布式数据库都至少提供最终一致性。但因为其表现和单线程读写变量并不一致,单线程并...