Tags on 比克王国

Git同步

Sat, 04 Jan 2020 16:41:57 +0800

git 的分布式设计, 使得每个开发者的 local 都有 remote repo 的一份 copy , 我们在这份 copy 上提交, 创建新 branch, 最终, 我们会把我们在 local 的改动, 同步到远程的 repo; 当别人更新了远程 repo, 我们还要从远程 repo 同步这些改动到自己的 local. 这一系列的操作, 我们可以统称为git的同步, 同步发生在 local repo 和 remote repo 之间, 这篇文章就详细说说同步的事情.

remote URL and shortcuts

要想跟 remote repo，我们自然要知道 repo 的地址，git repo 的地址是一个 URL，这个 URL，可能是一个文件系统路径，可能是一个 http 协议的地址，可能是一个 ssh 协议的地址，git 所有跟远程 repo 交互的命令，都需要提供这个 URL，但是这些 URL 往往都比较长，且难以记忆，给他们起一个名字（也可以叫 shortcut ），通过这个 shortcut 来跟远程 repo 交互是一个可以想到的比较好的方式，实际上 git 也是这么做的，我们在 git clone 的时候，输入这个URL，git默认就为我们创建了这么一个shortcut，叫origin，这个 shortcut 与 URL 对，组成了一个remote connection，我们可以使用git remote来查看 local repo 目前有哪些 remote shortcut，使用git remote -v来查看shortcut详细对应的URL。

除了 git 默认给我们创建的 shortcut，我们实际上可以用git remote创建新的 remote shortcut，这个命令其实可以管理 remote connection，增删改查样样拿手。

local repo 与 remote repo 同步

有了 remote shortcut，我们跟 remote repo 打交道就变得简单多了，在说同步之前, 还得说说 branch. 如果我们有了 remote connection, 那么我们在本地, 其实就有了 remote 的所有 branch, 可以通过git branch -a看到 remotes/开头的 branch, 使用 git clone 之后, 因为会默认创建origin这个 remote shortchut, 所以你会看到有remotes/origin/master这种 branch. git 的同步,首先是将我们本地的 remote branch 更新, 然后再去 upload 或者是将 remote branch 的更新 merge 到 local branch.

同步有 download 和 upload 两个动作.

download

download 有两个命令, git fetch和git pull, git pull其实是git fetch和git merge的组合, 它更新 local 的 remote branch 的代码, 并将改动 merge 到我们当前的 branch 上; 而git fetch则仅仅是将 remote 的改动更新到 local 的 remote branch, 它比git pull更加安全.
upload

git push来将我们 local branch 的改动提交到 remote. 当然它首先是将 local branch 的改动更新到 local remote branch, 然后再去将改动上传给 remote. 无论是 download 还是 upload, 我们自然都要指定 remote 的地址是什么, 因为我们创建了 remote shortcut, 所以我们可以直接使用诸如origin来操作, 下面是常用的一些操作:

#download
git fetch —all # download所有的remotes
git fetch origin # download origin 这个remote的所有branch

git pull —rebase # 建议使用rebase的方式来merge远程的代码到我们的local branch
git pull origin master # 将origin这个remote的master分支更新, 并merge到我们当前的branch, 这个其实是`git pull`这个命令的默认动作.

#upload
git push origin master #将我们本地的改动更新到origin这个remote的master分支. origin是push命令的默认remote

#remote的管理
git remote add other_repo <other_repo_url> # 添加一个新的remote, 叫other_repo, 我们可以在后续的git fetch other_repo, git push other_repo master里来跟othe_repo这个remote来同步代码. 
git remote add -f other_repo <other_repo_url> # 添加新的remote, 并直接将这个remote的repo fetch到本地.
git remote rename other_repo feature_repo
git remote rm feature_reop

git remote show origin # 查看某个remote shortcut详细信息, 比如本地的哪个branch跟踪的是remote的哪个branch

跟远程机器打交道之认识ssh

Sat, 16 Nov 2019 18:46:37 +0800

作为一个开发者, 跟远程服务器打交道是在所难免的. ssh是我们经常用到的, 但是 ssh 其实有很多方便的配置和使用方法, 可以帮助我们更轻松的跟远程服务器交互, 下面一一介绍.

简化登录

给远程服务器起个名字吧

ssh 一般是使用ssh <user>@<ip>, 然后输入密码的方式来登录服务器, 其实可以有更简单的方式.

我们 ssh 的时候, 本地的机器是ssh的客户端, 服务器则是ssh的服务器端. ssh 客户端可以有自己的配置文件, 它的位置是在/etc/ssh/ssh_config( global config ) 以及$HOME/.ssh/config( 如果没有则可以创建 ), 我们利用配置文件, 可以配置ssh时的一些参数. 典型的应用就是, 我们可以在这个文件里事先填好远程服务器的信息, 然后给它起一个别名, 比如这样:

Host dev_server # dev_server就是我们给远程服务器起的名字
Hostname 192.168.2.1 # 这个字段指定了服务器的IP
Port 22 # 指定端口, 默认是22的话可以不指定
User eleven # 使用哪个用户登录

将上面的配置写入$HOME/.ssh/config文件之后, 我们之前的ssh eleven@192.168.2.1命令, 就可以简单的写为ssh dev_server 了.

每次需要输入密码? 试试免密登录吧

每次 ssh, 我们都需要输入密码, 这无疑有点繁琐, ssh 协议可以使用 公钥认证 来避免每次输入密码的繁琐, 简化 ssh 的登录过程, 最重要的是, 它更安全.

公钥认证首先需要我们创建自己的key pair, 一个公钥, 一个私钥. 然后将公钥copy到服务器,我们就可以实现免密登录了.

最简单的配置命令是:

ssh-keygen -C "<your_email>"
#生成自己的key pair, 如果提示有了则不需要继续执行, 其中需要输入passphrase, 可以选择回车跳过
# 提供email信息是好的,这样服务器就可以方便的管理公钥
ssh-copy-id <remote_server>
# 输入服务器密码, 就可以将自己的公钥拷贝到服务器啦

完成上面的配置之后, 我们就可以直接ssh <remote_server>, 不需要键入密码直接登录服务器了.

有的时候, 你会有很多服务器, 比如你需要使用 ssh 协议来从 GitHub 上 clone 代码, 你有自己的云服务器, 在公司你还会登录公司的服务器, 这些服务器, 使用一个 key pair, 当然也没有问题, 但是分别使用自己单独的 key pair总是好的.

ssh-keygen默认会在~/.ssh/下面创建~/.ssh/id_rsa ( 私钥 ) 和~/.ssh/id_rsa.pub ( 公钥 ) 两个文件. 在 ssh 登录的时候, 也会默认使用这个默认创建的文件来尝试登录服务器, 如果我们需要不同的服务器使用不同的 key pair 来登录, 我们就需要定制创建:

ssh-keygen -t rsa -f ~/.ssh/<name>_rsa -C "<you_email>"
# 默认就使用的是 rsa 方式加密, -t 可以指定加密方式, -f 可以指定生成的 key pair 的名字
ssh-copy-id -i ~/.ssh/<name>_rsa <remote_server>
# 拷贝公钥到服务器的时候, 如果不使用 -i 来指定拷贝的目标 key pair 文件,
# ssh-copy-id 则会拷贝~/.ssh/ 下的所有 key pair 文件, 这并不是我们想要的.

将 key pair 文件定制创建并拷贝到服务器上之后, 接下来 ssh 登录的时候, 问题就来了, 你现在有了多个 key pair, ssh 怎么知道你需要使用哪个 key pair 来登录服务器呢? 我们可以在 ssh 的时候使用 -i 来指定 identity file, 也就是哪个 key pair, 但是未免有点繁琐, 我们可以在~/.ssh/config里, 给服务器指定 identity file:

Host dev_server
Hostname 192.168.2.1
Port 22
User eleven
IdentityFile ~/.ssh/<dev_server_rsa> # 设置使用哪个 key pair来登录该服务器
IdentitiesOnly yes # 甚至可以设置只允许使用key pair的形式来登录

到此为止, 我们就可以简单, 安全愉快的登录服务器啦.

远程运行命令

有的时候我们登录服务器仅仅是为了运行几条简单的命令, 并不需要做很多事情; 或者是, 我们需要编写脚本, 自动化的登录服务器做一些事情, 这个时候, 我们就需要远程运行命令的能力了.

如果只是简单的几条命令, 可以直接使用ssh <remote_server> "command1 && command2" 来直接运行命令并返回结果即可. 但如果我们需要在服务器上运行很多条命令, 或者是我们需要重复性的运行这些命令, 最好的还是, 在本地写一个脚本, 然后让远程服务器运行我们本地的一个脚本. 我们可以这样做:

ssh <remote_server> bash -s -- < "<path_to_script> args1 arg2..."
# 甚至可以给脚本传参数!

还有更多…

ssh 还可以做到很多事情, 比如我们可以让 TCP 连接的数据, 转发给 ssh 来提高数据传输的安全性; 倘若你还有更高级的需求, 比如, 有时候我们要登录的目标服务器B, 需要一个跳板机A才能登录上去, 但是我们又不想把自己登录目标服务器B所需的私钥放到跳板机A上, 每次登录都要跳转难免又有点繁琐, 这个时候则可以借助 ssh 的代理功能以及 ssh-agent 来帮我们做到一步登录. 更多精彩, man ssh 一下.

Git里引用一个commit

Sun, 14 Oct 2018 01:48:03 +0000

git所有的操作, 其实都是在跟commit打交道:

你stage你的commit, 创建一个commit, 查看之前的commit, 把commit在不同的branch之间挪动, push你的commit等等.

那么, 怎么指定commit就很重要.

1. 通过`commit hash`来指定.

一个commit跟一个commit hash是一一对应的, 这是最直接的指定commit的方式.

2. 通过`refs`

refs是一种间接指定commit的方式, 相当于commit hash的别名, 它更加对人类友好, 不过, 不是所有的commit hash都有别名(也就是refs)的. 通常你见到的branch name, 比如master, 其实就是一种ref.

1. 一般的ref

要知道你的repo有多少refs, 可以在.git/refs这个目录里看到类似下面的目录树.

如果你的git repo是一个大型repo, 很可能你的refs被压缩成一个叫.git/packed-refs的文件, 而不是在.git/refs目录下.

heads/ # 这个目录里存放了你所有的local branch
	master
	some-feature
remotes/ # 这个目录下存放的是你所有fetch到本地的remote branch
	origin/
		master
tags/ # 这个目录下是你所有的tag
	v0.9

使用一个ref来指定一个commit很简单, 比如

git show master
# 这里的master, 只是refs/heads/master的简写, 正常情况下, 我们简写refs就可以, 除非tags目录下也有一个master的tag存在, 这时候就不能简写master,那样就无法区分是refs/heads/master, 还是refs/tags/master.

2. 特殊的ref

除了.git/refs(或者.git/packed-refs)下的refs, 还有一些特殊的refs, 定义在.git这个目录下, 说几个常见的:

HEAD: 当然checkout的commit/branch
FETCH_HEAD: 最近一次从远端 fetch的branch
MERGE_HEAD: 你正在merge到当前brach的那个commit.

3. 相对refs

你可以指定通过一个commit来指定另一个commit:

~这个字符, 可以帮助你指定你当前commit的parent commit.

git show HEAD~1: HEAD的上一个commit.
如果发生过merge, 那么一个commit, 就有可能有两个parent, 这个时候, 如何指定另一个parent呢? ^字符, 可以帮你:

git show HEAD^2

~跟^的区别, 下面这张图你可以看到.

4. Reflog

你在local repo上做的所有关于commit hash的历史操作, git其实都为你保留在reflog里. 可以通过git reflog来查看:

5a9f9aa25 (HEAD -> xtao, origin/xtao, origin/HEAD) HEAD@{0}: reset: moving to origin/xtao
53ca49f77 HEAD@{1}: cherry-pick: change dht log level
c83c124b2 HEAD@{2}: cherry-pick: delete unecessary code to fix make error.

如果你要恢复某一个历史commit hash, 你可以通过HEAD@{<n>}这样的语法, 来指定在reflog里的一个commit hash, 比如:

git checkout HEAD@{1}

总结

通过了解git如何引用一个commit, 我们其实了解到了很多git内部的机制, 比如它是如何存储branch信息和tag信息的, 这会帮助我们更好的理解平时使用的git 命令.

有的时候, 我们还需要指定一定范围内的commit, 比如当你想把一个branch上最近提交的几个commit, 提交到另一个branch上, 该怎么做呢? 敬请期待下一篇啦.

参考: https://www.atlassian.com/git/tutorials/refs-and-the-reflog

命令行之浏览文件系统

Tue, 24 Jul 2018 16:41:54 +0000

查看文件系统, 主要有几个需求:

我在哪儿
我要去哪儿
当前目录下有什么

1. 我在哪儿:

pwd

2. 我要去哪儿:

两种方式去, 一种是绝对路径, 一种是相对路径.

cd /home/grady/workspace # 绝对路径去
cd ../scripts #相对路径去, 去往当前目录的上一级目录下的scripts目录

..是一个特殊的目录, 表示当前目录的上一级目录.

3. 当前路径下有什么

简单列出

ls #单纯的列出有哪些文件
➜ ls
a.mp4  c  d  dir1  e  m.c  s.js  test.pdf

 类似于Finder的这个视图:

详细列出

我们还可能会这么查看:

这个可以通过使用ls -ltrh来做到:

 ➜  ls -ltrh
 total 500K
 -rw-r--r-- 1 ilbsmart staff    0 Jul 28 00:00 test.pdf
 -rw-r--r-- 1 ilbsmart staff    0 Jul 28 00:01 a.mp4
 drwxr-xr-x 2 ilbsmart staff   64 Jul 28 00:01 dir1
 -rw-r--r-- 1 ilbsmart staff    0 Jul 28 00:01 c
 -rw-r--r-- 1 ilbsmart staff    0 Jul 28 00:01 d
 -rw-r--r-- 1 ilbsmart staff    0 Jul 28 00:01 e
 -rw-r--r-- 1 ilbsmart staff    0 Jul 28 00:01 m.c
 -rw-r--r-- 1 ilbsmart staff    0 Jul 28 00:01 s.js
 -rw-r--r-- 1 ilbsmart staff 500K Jul 28 00:08 big_one

# -l 显示更详细的信息
# -t是指按照时间从最新到最老来排序
# -r reserve sort, 有的时候目录下文件太多, 我们更希望最后显示的是最新的文件, 也就是说, 从最老到最新排序, 可以加上这个参数
# -h 以人类可以看懂的方式显示size, 默认其实是以字节数来显示每个entry的大小的.

更多

常用的还有
- ls -R: 递归显示当前目录下所有目录下的文件.
- ls *.js 只显示后缀是.js的文件

python2.7版本tuple中的中文编码问题

Tue, 24 Jan 2017 00:04:36 +0000

在处理向mysql插入中文字符的过程中，碰到这样一个问题，明明是utf-8编码的中文str ，但是到了mysql里面显示的并不是中文，而是该中文字符串的utf-8编码的十六进制形式，下面是整个解决过程。

中文字符正常情况下应该是这样的：

>>> a = '中文123'
>>> print(a)
中文123

但是你如果把一个包含中文的字符放到tuple 里面，却会变成这样：

>>> a = tuple(['中文123', 'hello'])
>>> print(a)
('\xe4\xb8\xad\xe6\x96\x87123', 'hello') # 这里按理说应该显示的是('中文123', 'hello')

中文字符显示成了编码后的十六进制形式，也就是说，\x 这个python的保留字符(用来表示它后面两个字符是十六进制值)，并没有得到“正确的”解析，实际上这里是把'\xe4\xb8\xad\xe6\x96\x87' 当成一个raw strings 来处理，这里面的\x 没有任何特别的意思，就是字面的\x ，所有它后面十六进制数也都只是表面上的意思。

为什么会这样？

tuple 应该是对它里面的str 做了一个encode('string_escape') 的操作，这个操作同r''等价，意思是生成一个raw strings，官方的解释是Produce a string that is suitable as string literal in Python source code, 我们做个实验：

>>> a = '中文123'
>>> a
'\xe4\xb8\xad\xe6\x96\x87123'
>>> print(a)
中文123
>>> b = a.encode('string_escape')
>>> b
'\\xe4\\xb8\\xad\\xe6\\x96\\x87123'
>>> print(b)
\xe4\xb8\xad\xe6\x96\x87123

嗯，一切都清楚了，那么问题来了，tuple 为啥要这么干呢…暂时不知道…

解决办法

对字符做decode('string_escape')就可以了。

>>> c = b.decode('string_escape')
>>> print(c)
中文123

总结

首先，tuple 会它里面的中文字符做一个r'' 的转换，这是个坑，踩过了就不说了。

其次，知道了r''的函数写法是这样的: encode('string_escape') ，也就是说，从此以后，可以对一个变量进行r'' 操作啦。

拓展

其实还有一个unicode_escape 的编码方式

官方的解释是Produce a string that is suitable as Unicode literal in Python source code.

也就是说，将\u 这个保留字符按照字面意思去解释，也就是raw unicode话。

string_escape 和unicode_escape 都是将转义字符raw 话，将它们当做普通字符来看待，只不过前者只能针对str （编码后的字符）进行操作，后者是针对unicode字符进行操作。

>>> a = u'中文'
>>> a
u'\u4e2d\u6587'
>>> print(a)
中文
>>> b = a.encode('unicode_escape')
'\\u4e2d\\u6587'
>>> print(b)
\u4e2d\u6587

题外话

是时候转Python3了。

参考链接：

python的转义字符

[unicode_escape和string_escape](https://docs.python.org/2/library/codecs.html)

烦人的rpm安装错误

Thu, 19 Jan 2017 11:18:37 +0000

在本地安装rpm包的时候，碰到

error: Failed dependencies:
	libz.so.1(ZLIB_1.2.0)(64bit) is needed by XXX

这样的错误，但是实际上我已经安装了这个动态库了，版本也对，濒临崩溃的时候，运维的同事给我升级了一下这个库，然后就特么可以了。原来是小版本的问题，所以碰到这种**，提示你有动态库依赖但是你已经装了这个库的错误**，基本就是版本问题（注意看小版本号）。

另外，在排查问题的过程中，发现两个有用的命令：

yum localinstall <rpm_package_name>  # 代替rpm -ivh 来安装本地rpm包，可以让yum去自动帮你下载本地没有的依赖

ldconfig -p | grep <动态库名称>  # 查看动态库的本地路径
#eg:
ldconfig -p | grep libz.so.1

wxPython学习笔记

Mon, 05 Dec 2016 14:31:53 +0000

A wx.Frame is a top-level window.

When people talk about GUIs, they usually speak of windows, menus and icons. Naturally then, you would expect that wx.Window should represent a window on the screen. Unfortunately, this is not the case. A wx.Window is the base class from which all visual elements are derived (buttons, menus, etc) and what we normally think of as a program window is a wx.Frame. This is an unfortunate inconsistency that has led to much confusion for new users.

Within a frame, you’ll use a number of wxWindow sub-classes to flesh out the frame’s contents. Here are some of the more common elements you might want to put in your frame:

A wx.MenuBar, which puts a menu bar along the top of your frame.
A wx.StatusBar, which sets up an area along the bottom of your frame for displaying status messages, etc.
A wx.ToolBar, which puts a toolbar in your frame.
Sub-classes of wx.Control. These are objects which represent user interface widgets (ie, visual elements which display data and/or process user input). Common examples of wx.Control objects include wx.Button, wx.StaticText, wx.TextCtrl and wx.ComboBox.
A wx.Panel, which is a container to hold your various wx.Control objects. Putting your wx.Control objects inside a wx.Panel means that the user can tab from one UI widget to the next.

All visual elements (wxWindow objects and their subclasses) can hold sub-elements. Thus, for example, a wx.Frame might hold a number of wx.Panel objects, which in turn hold a number of wx.Button, wx.StaticText and wx.TextCtrl objects,

A sizer is a way of laying out windows, it is not a window in itself.

what is panel？

“A panel is a window on which controls are placed. It is usually placed within a frame. It contains minimal extra functionality over and above its parent class wxWindow; its main purpose is to be similar in appearance and functionality to a dialog, but with the flexibility of having any window as a parent.”, in fact, it is a simple window used as a (grayed) background for other objects which are meant to deal with data entry. These are generally known as Controls or Widgets.

几乎所有的wx.Control貌似都有label啊，pos啊，style啊这几个参数。

Improve the layout

WxPython has very rich vocabulary of objects to lay out controls.

wx.BoxSizer is the most common and simple layout object but it permits a vast range of possibilities. Its role is roughly to arrange a set of controls in a line or in a row and rearrange them when needed (i.e. when the global size is changed).
wx.GridSizer and wx.FlexGridSizer are two very important layout tools. They arrange the controls in a tabular layout.

Applications can be created for four different areas.

wxPython consists of the five basic modules.

The Windows module consists of various windows that form an application, for instance a Panel, a Dialog, a Frame, or a Scrolled Window.
The Graphics Device Interface (GDI) is a set of classes used for drawing onto the widgets. This module contains classes for manipulation of Fonts, Colors, Brushes, Pens or Images.
The Core module consists of elementary classes that are used in development. These classes include the Object class, which is the mother of all classes, Sizers, which are used for widget layout, Events, basic geometry classes like Point and Rectangle.
The Misc module contains of various other classes and module functions. These classes are used for logging, application configuration, system settings, working with display or joystick.
Controls module provides the common widgets found in graphical applications. For example a Button, a Toolbar, or a Notebook. Widgets are called controls under Windows OS.

Widgets are essential building blocks of a GUI application. Under Windows widgets are calles controls

软件工程学习

Sat, 16 Apr 2016 10:36:03 +0000

对这门课的希望：

能够通过学习正确的软件开发流程，并应用的实际构建过程中，以减少对时间的浪费，并保证软件的质量。
能够掌握软件开发每个流程的一些工具。学会使用工具很重要。

没有实际目标，目的的学习，都是耍流氓。学和不学差不多。

Centos6 rrdtool环境配置

Sat, 09 Apr 2016 12:53:09 +0000

首先是rrdtool这个工具的介绍： rrd比较好的介绍以及 rrdtool的python实例

其次，怎样才能把rrdtool生成的图弄得漂亮一些呢，默认的图太丑太不fashion了。

CentOS上安装rrdtool

正常情况下，当然是用yum安装:

yum install rrdtool rrdtool-devel

然后

pip install rrdtool

由于网管系统是基于Python2.7开发的，centos6.5默认的python版本是2.6.6，手动升级到python2.7之后，再安装rrdtool的python支持（pip install rrdtool), 在python使用，就会报错。

>>> import rrdtool
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
ImportError: /usr/local/lib/python2.7/site-packages/rrdtoolmodule.so: undefined symbol: rrd_flushcached

解决方案是：用rrdtool源码重新编译安装rrdtool（而不是通过yum源去安装rpm包）。

#由于rrdtool官网有时候会连不上，而且centos默认的rrdtool版本是1.3.8，所有我就自建下载地址
wget http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.3.8.tar.gz
tar zxvf rrdtool-1.3.8.tar.gz
cd rrdtool-1.3.8
yum install -y libxml pango*
./configure --prefix=/usr/local
make
make install

# 安装rrdtool-python
pip install rrdtool

安装后如果遇到下面这个问题：

>>> import rrdtool
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: librrd.so.4: cannot open shared object file: No such file or directory
>>>

解决办法是将rrdtool库做软链接到/usr/lib

ln -s /usr/local/lib/librrd* /usr/lib
ldconfig

安装rrdtool-php

环境：php版本5.3.3，rrdtool版本1.3.8

wget https://pecl.php.net/get/rrd-1.1.3.tgz
tar xvf rrd-1.1.3.tgz
cd rrd-1.1.3
phpize # 是用来扩展php扩展模块的，通过phpize可以建立php的外挂模块
./configure
make
make install

在/etc/php.d/里添加rrd.ini，仿照其他的ini文件，填上内容。重启httpd服务，完事。哦，不对，php -m看一下rrd模块加载进去没，如果有rrd则完事。

附录：php的rrdtool教程

flask学习笔记