Archive

Archive for May, 2016

如何在高丢包率的链路上建立低延迟连接?

May 20th, 2016 No comments

这是其实通信领域的话题了,低延迟传输有上百种优化方式,上面说的那些冗余码只是很小一部分,不考虑信道容量的冗余编码系统都是在耍流氓,不用等到同信道内跑两套这样的协议你才会发现问题,一套协议再接近信道带宽容量限制时,就会出现指数上升的丢包率,所以不考虑带宽检测的冗余法就是一个残次品。

要系统的解决低延迟传输问题,需要同时在传输层,协议层,路由层,应用层几个方面着手:

传输层带外冗余:弱智重复法

设你要发送的数据为 x1-xn,你实际发送出去的包为 p1-pn,那么比如 Pn = [Xn, Xn-1, Xn-2],重复前面出现过的 1-2个数据,丢包了你可以随时恢复出来。

传输层带外冗余:异或法

每发四个包 x1-x4,你多发一个冗余包,内容为前面四个包的异或: R = x1 ^ x2 ^ x3 ^ x4,那么本组数据五个数据包(x1-x4, R)中任意丢失一个,都可以从其他四个异或得到。当然,不一定要四个包冗余一个,你可以根据情况和丢包率,两个包或者三个包冗余一个。

传输层带外冗余:解方程法

把每个数据包看成一个整数,要发送 x1-x4 四个包,并不直接发送x,而是将他们进行线性运算得到 y1-y7,然后发送出去:

A1 * x1 + B1 * x2 + C1 * x3 + D1 * x4 = y1   收到
A2 * x1 + B2 * x2 + C2 * x3 + D2 * x4 = y2   收到
A3 * x1 + B3 * x2 + C3 * x3 + D3 * x4 = y3   丢失
A4 * x1 + B4 * x2 + C4 * x3 + D4 * x4 = y4   收到
A5 * x1 + B5 * x2 + C5 * x3 + D5 * x4 = y5   丢失
A6 * x1 + B6 * x2 + C6 * x3 + D6 * x4 = y6   收到
A7 * x1 + B7 * x2 + C7 * x3 + D7 * x4 = y7   丢失

接收方收到一组数据以后,发现y3, y5, y7丢失,得到:

A1 * x1 + B1 * x2 + C1 * x3 + D1 * x4 = y1   
A2 * x1 + B2 * x2 + C2 * x3 + D2 * x4 = y2   
A4 * x1 + B4 * x2 + C4 * x3 + D4 * x4 = y4   
A6 * x1 + B6 * x2 + C6 * x3 + D6 * x4 = y6   

如果 y1-y7 在发送的过程中丢失了三个:y3, y5, y7 观察等式。变量任然有4个,参数也任然有四个A1, A2, A4, A6, B?, C?, D? 四个变量,四个等式,那么我们可以通过解方程求出x1-x4,这就是一个矩阵运算和求逆的过程,也就是俗称的 Read-Solomon 冗余码的基本原理(PS: shorthair/long hair 两个库写的很烂呀),实际传输时需要根据网络质量来选择每组数据和冗余包的比例。

传输层网络评估

需要一套比较强大的系统,实时评估当前网络质量(RTT, 丢包率,抖动值,可用带宽),为协议决策提供参考,比如这时一个带宽很大,延迟却很高的信道呢?还是带宽很小,延迟也很小的信道呢?不同的情况对应不同的策略,当前丢包是常规丢包?震荡性丢包?还是接近信道限制出现无可挽回的丢包?再根据当前协议出于什么情况?交互模式还是单向传输模式,来给出最佳的传输策略。不考虑这些情况的协议,都是比较弱智的(比如楼上提到的几种)。

协议层决策模型

根据不同的情况,来推导不同的数据包丢失后,对整体协议的影响,从而通过马科夫决策过程,来找到哪个包丢失的代价最大,以此来指导冗余包的生成过程:

Read more…

Categories: 网络编程 Tags: ,

如何在不同平台下打开新窗口运行程序?

May 12th, 2016 4 comments

如果可以让自己的工作效率提升一点点,那么即便花费几天来开发一些工具也是值得的。在不同操作系统下自动打开终端窗口来运行指定的命令就是这样一件能提高工作效率的事情。

就像 Visual Studio 调试命令行程序的人都对打开一个新窗口运行命令行程序的模式情有独钟。EditPlus 也提供新窗口运行程序(可惜只限windows)。

而如果你在使用 Sublime/Atom/GEdit/GVim 之类的工具,你就会发现调试程序的时候程序基本上是在下面的面板中运行的,所有输出也是输出到下面的面板中。这时如果程序长时间运行是非常不方便的,又或者程序有交互(需要输入数据),基于GUI面板的运行方式也会显得十分笨重,而Vim/GVim之流更过分,一执行程序整个GUI就定住了,没法一边看代码一边查看一些长时间运行的程序状态,虽然Windows下的GVim可以用!start来解决(见Gim !start),但十分遗憾,Linux桌面或者Mac下面的Vim都没有这个 !start功能。

同时,哪天你切换到Mac/Ubuntu下开发了,你会发现这个问题十分恶心,这时候你往往需要写一些脚本来做这件事情。而在不同的平台下正确的escape并传递参数,正确的生成中间脚本(bash,applescript,batch)并且通过管道传递又是一项比较浪费时间的事情。

所以这两天写了: https://github.com/skywind3000/terminal 这个脚本来做这些,满足了我如下需求:

  • 在 Windows 下打开 cmd窗口执行若干命令
  • 在 Linux 下打开 xterm/gnome-terminal 来执行若干命令
  • 在 Mac OS X 下面打开 Terminal/iTerm 窗口来执行若干命令
  • 不同的操作系统下提供统一的调用接口
  • 可以方便设置:工作目录、窗口标题、窗口配置(Terminal/gnome-terminal/iterm)
  • 新窗口内执行完程序以后可以会等待按任意键才关闭窗口
  • Windows 打开 Cygwin 的 Mintty窗口并执行 Cygwin命令(Windows下编辑,Cygwin下运行)
  • Cygwin 下直接打开 Windows的 CMD窗口执行 Win32程序(Cygwin下编辑,Windows下运行)
  • Cygwin 下直接打开 Mintty窗口并运行cygwin命令(Cygwin下编辑,cygwin下运行)

如此,不管你运行在哪个操作系统下,使用何种编辑器,都可以提供完全一致的调试体验。一边编辑代码的同时,一边查看另一个窗口的程序实时输出。

Categories: 随笔 Tags:

当面试官说「你之前做的项目没有什么难度」,应聘者应如何应对?

May 9th, 2016 1 comment

很多面试官喜欢在被面试者那里找存在,找面子,如果是这种情况,你和他辩论半天干嘛?继续驳他的面子么?非要让人家生气你才高兴么?

另一种情况是确实很简单,在这种情况下,你又何必强调难呢?非要让人觉得你水平很普通容易的事情都觉得难么?

再有一种情况只是正常压力面试的一个环节,不过技术面试少用。

不管哪种情况,你和别人抬杠都是不明智的,

所以,你得先承认:

“也许这个工作在你们看来很简单,只需要xxxx”

然后说转折部分:

“但是我当时从来没有接触过这一块,第一次做开始完全没有思路,也没有人可以问,查了好多资料,自己又踩了蛮多坑才弄出了一点点效果,比如其中一个坑是xxxxx,搞的的X天X夜,都没有思路,最后突然想起在哪里看过的一篇论文,心想也许可以结合一下,于是又通宵编码,重新设计了XXX,终于XXX”

技术虽然不算难,你可以突出你的学习能力和解决问题能力,然后接着要总结
“通过这个项目,我觉得写程序就应该保持不断学习的心态,就应该XXX,不能XXX,还要自己多尝试,不能光看资料,否则XXX,所以有了这次经验教训以后我在后来的XXX项目中,一开始就XXX,终于,比别人更好的做到了XXX,解决了问题,获得了公司颁发的年度XX奖”

没什么干货,可以多说你碰到挫折,和成长的经历,不能关说挫折,主要要说怎么克服挫折获得成长。当然有些面试官不可能等你说完长篇大论,他们会随时打断你,你需要很精炼的在几次对话中把意思表达清楚。

最后表达下自己的想法:

“自己之前的基本上是一个人工作,一个人编码,很少能跟周围的同事一起交流,所以很低效,很孤独,就像穿着单衣走夜路一般,希望能和更多的聪明人在一起工作,一起交流讨论”

尊重他人,心诚则灵
—-

当然,上面都是瞎扯淡

Categories: 大浪淘沙 Tags:

钉钉真好用

May 9th, 2016 No comments

自从用了钉钉,腰也不酸了,腿也不疼了:
* 设置组织架构和通讯录,新同事根据部门自动入企业群。
* 除了部门企业群外,跟微信一样随意建立临时会话,员工离职退出所有群。
* 每个企业群配套“云盘”,可以把部门相关文档传到群的云空间里,供群成员查看。
* 详细查看未读消息,长时间未读的人可以短信提醒。
* 企业内部员工免费电话。
* 全平台:windows,mac,iphone,android
* 配套企业应用:请假,公章申请,报销申请,打卡,工资信息查询

试过:泡泡,RTX,QQ企业,米聊,飞秋 以后最终发现还是钉钉最好用

Categories: 随笔 Tags:

Vim异步编译工程

May 9th, 2016 No comments

针对 Vim的最新版本,7.4.1769+ 写了个脚本:build.vim 来实现异步编译。

主要实现原理是利用 Python 开线程并在后台线程调用脚本(具体执行编译工作的bat/sh文件),实时把stdout/stderr输出的内容投递到队列,而前台UI线程则是使用了Vim最新版本中提供的 timer_start 功能启动一个100ms运行一次的时钟,每次运行时检测队列里面的东西并把他们取出来输出到Vim的 Quickfix窗口。

几处细节处理是避免后台任务瞬间输出上千行的内容,批量塞入Quickfix的时候把vim 给卡死掉,此处增加了一个限制,即每次时钟发生时最大只塞入Quickfix中50条信息。

如此,整个世界清静了,以前Vim一编译代码就完全无法编辑的情况可以得到很好的解决了。你可以绑定到外部命令:job-1 job-4 这四个不同的脚本(windows下是 job-1.cmd – job-4.cmd),用来执行外部命令,每次执行前,把当前编辑的文件名等信息写入环境变量,这样后台job-n.cmd的批处理就可以根据环境变量决定需要编译的文件或者工程信息了:

let $VIM_FILEPATH = expand("%:p")
let $VIM_FILENAME = expand("%:t")
let $VIM_FILEDIR = expand("%:p:h")
let $VIM_FILENOEXT = expand("%:t:r")
let $VIM_FILEEXT = "." . expand("%:e")
let $VIM_CWD = expand("%:p:h:h")
let $VIM_RELDIR = expand("%:h")
let $VIM_RELNAME = expand("%:p:.")
let $VIM_CWORD = expand("<cword>")
let $VIM_VERSION = ''.v:version
let $VIM_MODE = ''. a:mode
let $VIM_GUI = '0'
let $VIM_SCRIPT = g:vimmake_path
let $VIM_SVRNAME = v:servername
if has("gui_running")
    let $VIM_GUI = '1'
endif

上面这些环境变量初始化工作可以在每次调用后台脚本之前设置,这几个应该已经足够大家使用了。

每次编译完还可以调用一下外部程序,播放一个音效(比如windows的感叹号音效),让你知道编译工作成功完成,方便你打开 Quickfix查看编译效果。

Categories: 随笔 Tags:

GVim 中更好的运行程序

May 9th, 2016 No comments

GVim(Windows)下面使用!运行程序是非常恶心的事情,比如调用python运行当前脚本:

:!python %

你会发现,整个VIM界面被冻结了,然后弹出cmd窗口,退出cmd后,还要返回GVim中按任意键才能编辑状态。

比如你正在调试一个程序,这个程序运行起来不是一分钟能出结果的时候,你想边对照输出结果,边在 GVim 里面查看和修改你的代码,你就会发现傻逼了。正确的做法是:

:!start python %

这样就不会卡住 Vim了,但是这个做法有个问题,程序结束的时候窗口马上关闭,因此还需要再进化一下:

:silent !start cmd /c python % & pause

这时你会发现优雅的调用了 python 来跑当前程序,并且GVIM不会被挂起,照样可以编辑,当程序结束的时候,CMD窗口还会pause等待你按任意键一下,这就比较清爽了,你可以把这条命令map到你常用的快捷键上,和 EditPlus里面一样一键运行之。

然而还是有几处需要完善的地方,首先直接使用 % 展开当前文件名不妥当,如果文件名包含空格就会错误,需要用 shellescape 来进行处理,同时我们有时候还希望运行前跳转到文件所在的目录,运行完又跳转回来,又或者需要运行前保存一下没有保存的文件。

我写了个函数来做这个事情,放到你 .vimrc里即可使用,同时支持 GVim和终端 Vim:

Read more…

Categories: 随笔 Tags:

更好的使用 Vim 标签(Tab)以及 Alt键映射

May 3rd, 2016 No comments

更好的使用 Vim7.0以后推出的标签(TAB)功能,同现代编辑器一样用标签(TAB)来管理多文件,代替传统 Buffer List:

让Minibufexplor/tabbar这些上个世纪的插件都退场吧,直接使用标准的标签功能会更加舒服。

快捷键切换 TAB

第一件事情就是要搞定标签快速切换问题,不管是:tabn X还是 Xgt都十分低效,我们需要更快速的在各个文件之间切换。最简单的是设置 0-9 来快速切换tab(默认leader是反斜杠,即先按下\键,再按数字键),不管终端还是GVIM都兼容:

noremap <silent><tab>m :tabnew<cr>
noremap <silent><tab>e :tabclose<cr>
noremap <silent><tab>n :tabn<cr>
noremap <silent><tab>p :tabp<cr>
noremap <silent><leader>t :tabnew<cr>
noremap <silent><leader>g :tabclose<cr>
noremap <silent><leader>1 :tabn 1<cr>
noremap <silent><leader>2 :tabn 2<cr>
noremap <silent><leader>3 :tabn 3<cr>
noremap <silent><leader>4 :tabn 4<cr>
noremap <silent><leader>5 :tabn 5<cr>
noremap <silent><leader>6 :tabn 6<cr>
noremap <silent><leader>7 :tabn 7<cr>
noremap <silent><leader>8 :tabn 8<cr>
noremap <silent><leader>9 :tabn 9<cr>
noremap <silent><leader>0 :tabn 10<cr>
noremap <silent><s-tab> :tabnext<CR>
inoremap <silent><s-tab> <ESC>:tabnext<CR>

其次,GVIM/MacVim 下设置 ALT-0-9 来切换TAB:

" keymap to switch table in gui
if has('gui_running') 
    set winaltkeys=no
    set macmeta
    noremap <silent><c-tab> :tabprev<CR>
    inoremap <silent><c-tab> <ESC>:tabprev<CR>
    noremap <silent><m-1> :tabn 1<cr>
    noremap <silent><m-2> :tabn 2<cr>
    noremap <silent><m-3> :tabn 3<cr>
    noremap <silent><m-4> :tabn 4<cr>
    noremap <silent><m-5> :tabn 5<cr>
    noremap <silent><m-6> :tabn 6<cr>
    noremap <silent><m-7> :tabn 7<cr>
    noremap <silent><m-8> :tabn 8<cr>
    noremap <silent><m-9> :tabn 9<cr>
    noremap <silent><m-0> :tabn 10<cr>
    inoremap <silent><m-1> <ESC>:tabn 1<cr>
    inoremap <silent><m-2> <ESC>:tabn 2<cr>
    inoremap <silent><m-3> <ESC>:tabn 3<cr>
    inoremap <silent><m-4> <ESC>:tabn 4<cr>
    inoremap <silent><m-5> <ESC>:tabn 5<cr>
    inoremap <silent><m-6> <ESC>:tabn 6<cr>
    inoremap <silent><m-7> <ESC>:tabn 7<cr>
    inoremap <silent><m-8> <ESC>:tabn 8<cr>
    inoremap <silent><m-9> <ESC>:tabn 9<cr>
    inoremap <silent><m-0> <ESC>:tabn 10<cr>
endif

或者在 MacVim 下还可以用 CMD_0-9 快速切换,按着更舒服:

if has("gui_macvim")
    set macmeta
    noremap <silent><c-tab> :tabprev<CR>
    inoremap <silent><c-tab> <ESC>:tabprev<CR>
    noremap <silent><d-1> :tabn 1<cr>
    noremap <silent><d-2> :tabn 2<cr>
    noremap <silent><d-3> :tabn 3<cr>
    noremap <silent><d-4> :tabn 4<cr>
    noremap <silent><d-5> :tabn 5<cr>
    noremap <silent><d-6> :tabn 6<cr>
    noremap <silent><d-7> :tabn 7<cr>
    noremap <silent><d-8> :tabn 8<cr>
    noremap <silent><d-9> :tabn 9<cr>
    noremap <silent><d-0> :tabn 10<cr>
    inoremap <silent><d-1> <ESC>:tabn 1<cr>
    inoremap <silent><d-2> <ESC>:tabn 2<cr>
    inoremap <silent><d-3> <ESC>:tabn 3<cr>
    inoremap <silent><d-4> <ESC>:tabn 4<cr>
    inoremap <silent><d-5> <ESC>:tabn 5<cr>
    inoremap <silent><d-6> <ESC>:tabn 6<cr>
    inoremap <silent><d-7> <ESC>:tabn 7<cr>
    inoremap <silent><d-8> <ESC>:tabn 8<cr>
    inoremap <silent><d-9> <ESC>:tabn 9<cr>
    inoremap <silent><d-0> <ESC>:tabn 10<cr>
    noremap <silent><d-o> :browse tabnew<cr>
    inoremap <silent><d-o> <ESC>:browse tabnew<cr>
endif

这下很舒服了,和大部分主流编辑器一样切换tab十分轻松。那终端下 alt没法很好的映射怎么办呢?

终端下映射 ALT-0-9 快速切换标签

不推荐把中断里的ALT键设置成ESC+,大部分终端(XShell, SecureCRT, iTerm, gnome-terminal)都提供ALT键改为ESC+的模式,即按下ALT-A,终端会连续发送ESC(27)和 A(65)两个字节,这样在emacs下挺好用,但是在vim下就糟糕了,比如你映射了<ESC>A来代替 ALT-A,那么当你用ESC退出insert模式时,一秒钟内马上按下A来在行末追加内容,Vim会去触发你之前设置的ALT-A的功能,这就对 Vim 原有的功能造成了扰乱,那终端下如何正确设置 ALT功能键呢?

Read more…

Categories: 随笔 Tags:
Wordpress Social Share Plugin powered by Ultimatelysocial