git partial add

Git 是一款極為強大的工具，雖然說過於強大的功能有時會讓人感到卻步，我也是一項功能一項功能慢慢學，不會的時候就抓著會的同學問，好不容易才變得比較會一些。
最近新學會的功能是git的partial add功能，在這裡做個簡單的介紹：

使用partial add 的功能，可以讓我們每次只commit一部分的東西上去，假設我在某程式開發了讀取、寫入兩樣功能，比較好的做法是讀取部分和寫入部分可以分開commit。有一部分原因應該是這樣比較分得清楚，如果之後要從這個commit中取出修改內容，或是再修改時都更清楚一點，雖然說筆者到現在也沒有做過這樣的事，不過養成一個好習慣也是好事。

 －－
要partial commit，第一步是先partial add：
假設今天我對一個main.c的檔案，新加上兩個function foo1, foo2，這時候使用git add -p main.c，git顯示出main.c裡面有差異的部分，這時候可選選項：

 y,n,q,a,d,/,s,e,?
 y/n: 加入/不加入這個區段
 q/a: 不加入/加入整個檔案
d: 不加入這個區段，跟之後所有的區段；我得承認不確定它跟q的差別...
/: 尋找regular expression；啊老實說我也沒用過OAO
 j/k: 跳到後/前一個undecided 區段
 J/K: 跳到後/前一個區段
 s: 分開這個區段
 e: 手爆編輯這個區段
 一般來說，git會把相近的修改區間放到同一個區段裡面，下(s)plit指令，git會用原檔案中「未修改的部分」把修改區間切開，例如圖中fun1-fun3是同一個區間，下s的話fun1, fun2會被切成一個區間，fun3切成另一個區間，但s並不會切開fun1和fun2。
如果fun1, fun2要分開commit的話，就要用(e)dit，跳出編輯器介面。

新加入的修改會有'+'在行首，不加入的話刪掉即可，vim: dddddddddd。
刪除的則是'-'在行首，不加入的話把'-'替換成' '，這個用vim的ctrl+v很容易就可以做到。
筆者試過一次在這個狀態下去修改原始碼，git會叫說patch產生錯誤，大概是不能這麼做，只能把你加上去的內。容刪掉，或是刪掉的內容mark成' '來復原刪除。

 －－

commit時，直接git commit 就可以把add過(正式名字應該是staged)的內容commit上去。
這時不要使用git commit main.c，這會將檔案內容全部staged然後commit 上去，有一次筆者先partial add後下了commit file，再下git status就發現這個檔案已經全部stage進去了，沒什麼修改可stage…。
另外一個要注意的是用partial add的話，在回復的時候一定要非常小心，例如在上例中我們add了fun1 這時候原始碼的狀況是：
main() → 上一個commit
fun1() → staged
fun2() → unstaged
注意到fun2是unstaged，如果你亂改到什麼想要回復，而下：
checkout -- main.c
回復到上一個狀態，fun2的原始碼（該說它從來沒被記錄下來）也會整個被消掉。

ADS Export to Origin converter

最近在準備一些學校報告用的投影片，在學長主持的小咪報告之後：
學長：「你這幾頁的圖，如果之後要放論文的話，就乾脆用Origin重畫」
好吧學長都這樣說了，就來畫畫Origin的圖wwww
不過秉持著用開源軟體的精神，還是找了一下，結果就在[1]的作敏學長的blog裡面找到qtiplot這個開源繪圖軟體，跟Origin的功能幾乎差不多。

1. 問題簡述：

這裡遇到一個有點機車的問題：
平常我們在ADS這套軟體畫好圖之後，如果用ADS再export成txt file，就會變成類似下面的格式：

 freq S(1,1)
1e9 -1E1
2e9 -1E1
3e9 -1E1
4e9 -1E1

freq S(2,1)
1e9 1E1
2e9 1E1
3e9 1E1
4e9 1E1

註：隨便選個數字表示一下。 但如果要用Origin匯入文字檔的話，理當是這個格式比較好：

freq S(1,1) S(2,1)
1e9 -1E1 1E1
2e9 -1E1 1E1
3e9 -1E1 1E1
4e9 -1E1 1E1

俗話說得好：科技始終始於惰性，與其用Excel打開檔案然後一欄一欄複製貼上，不如寫個script來解決 =b，另一方面還是要再次強調我的哲學：「work hard, after you know you are working smart」。

2. 解決方案：

最後還是用我們的老朋友python，實際譔寫時間約30分，超快der；會慢主要是在查zip的寫法；實際內容大概也只有zip比較有趣。
首先先把資料一行一行讀進來，寫入list裡面。讀檔結束就會有一堆list，分別存著freq裡所有的資料，然後是S(1,1), S(2,1)，我在讀檔時就先把這些list存到一個大list裡。
假設我的大list為data，data 的長相大概像這樣：

data = [[S(1,1)],[S(2,1),....]]

於是我們可以先展開data list為所有list，然後透過python 強大的zip函式，直接iterate所有的list。

For line in zip(*data):
outfile.write(“%s\n” %(“\t”.join(line)))

很快速的就完成檔案格式化寫出的工作。

3. windows版本：

在改windows版本的部分，則是把本來要吃參數的script改成吃使用者輸入的內容。
照著[3]的幫助，首先先安裝python和py2exe，利用py2exe把python script轉成exe檔。
先寫一個setup.py：

from distutils.core import setup
import py2exe

setup(console=['ADSToOrigin.py'])

然後在cmd用

python setup.py py2exe

就會自動產生dist這個資料夾，裡面會包括ADSToOrigin.exe，打開就會開console，像linux一樣正常使用。

 4. 原始碼公開： 這個script已經公開在我的github上：
https://github.com/lc85301/ADSToOrigin
歡迎大家給feedback或來pull request。

 5. 參考資料：
1. http://zuomin.blogspot.tw/2010/05/linux-origin.html
作敏學長：qtiplot介紹。
2. ptt python 版3115篇：python list iterate介紹。
3. http://logix4u.net/component/content/article/27-tutorials/44-how-to-create-windows-executable-exe-from-python-script
py2exe tutorial
4. python official site: http://www.python.org/
5. py2exe official site: http://www.py2exe.org/

地心引力Gravity(有電)

要我用一句話評這部電影，我會說：「這是一部比較接近太空的太空電影」

以太空為題材的電影很多：經典像是連歐巴馬都會弄混的Star Trek和Star Wars；加上怪生物的異形(啊…我內心一點也不把它們當太空電影)；算上動畫的Gundam好了；比較真實一點像這部地心引力，2001太空漫遊、Apollo 13，還有一部一堆老頭子修衛星的電影，我忘了叫什麼名字了。

－－

像Star Trek 和Star Wars這類的電影，是在拍太空中的地球故事，它們是靠太空的無垠，來發揮無限的想像力，地球上都是異性戀那外星人可不可以是同性戀，啊不對，能不能有犯錯就絕對死刑的民族？少了感情的種族會怎麼樣？如果我們可以隨意修改時間線？機器和肉體合成的集合體？具有無上神力的神族變成人類？
太空有無限的可能性、有無限的故事可以講。 至於真的太空長什麼樣子，其實不是很重要，它在拍地球的故事。

這裡我不想講異形，我除了它太空來的跟瀕臨絕種外一無概念。
至於Gundam雖然有太空、星艦也是無重力，但和真實的太空還是相去甚遠，巨大的鋼彈想動就動，完全無視真實的太空狀況；星艦的無重力胡搞一通，不真不假。

首先拍出真實太空的當屬2001太空漫遊，也成了很多太空片致敬的對象，例如飛到外太空的時候瞬間變成靜音的效果，在新版的Star Trek裡用了不少。

說完這麼多太空片，說回我們的主題Gravity？
這部片跟之前很多評論說的一樣，這完全不是大眾片：
你期待有什麼高潮？沒有=_=
俊男美女？沒有=_=，每個人都包在厚厚的太空衣下，女主角也不正
整片很安靜、很平靜，靜到令人不安……。

正如開頭字幕所說：太空沒有聲音介質、沒有空氣，沒有重力和地面，我們覺得行動很簡單，那是因為我們有地面和重力；這也是為什麼上面會說鋼彈都是亂搞，很多地方主角們移動莫名的自由，想動就動，想停就停，這個無重力只是效果，例如男主角可以飛撲到女主角身上接吻，不是內容。

這片講的是真正的太空，從上而下，你可以看見夜間尼羅河沿岸的燈火、中美洲細長的陸地、北極舞動的極光，宛在夢中。

但當女主角和太空梭脫離，只能無助的飄盪，分不清上下左右，止不住旋轉；就算想抓住國際太空站時停下自己也十分困難。
絕望的無助。
男主角(喬治克隆尼)為了不讓兩人一起飄走，切斷兩人間的連繫索，在太空中這無異自殺，就看見男主角愈飄愈遠、愈飄愈遠…然後不知何時通訊中斷。
孤寂的死亡。
在國際太空站上，當女主角試圖分離降落艙，破片群正在一塊塊擊碎國際太空站。先是一小塊破片飛過，破片漸多，有的打中太陽能電池板，然後大破片擊中主艙，炸出更多破片，化成一堆破片群；一個太空站就這樣無聲的消滅了。
無聲的破滅。
全片充滿著肅殺的氣息，靜到讓你透不過氣。

太空的美麗故然讓人屏息，太空的危險讓人敬畏。 想要體會一下，可以看看這部片，我自評是7分，贏在前所未見的創新；輸在過短、有些單線化的劇情。
但就先前有些負電的評論，我還是要說：如果你進電影院是要享受聲光效果、享受大場面的話，請不要進電影院，這部不對你的胃口。

寫了一個管理帳號的script

差不多去年這個時候，小弟魯蛇剛接任所上的linux工作站網路管理員。

本來以為是個輕鬆的職位，畢竟先代某陳姓大網管超～級～強～，工作站維護得這麼好，佈線設備也都沒什麼問題，我們應該也只要做點基本維護就好，結果工作其實還頗多(OAO)。

要幫所上的人申請新帳號；幾台伺服器還裝著mandriva 2009，久未更新，很多套件可能都過期了，需要用主流的CentOS或Debian來取代；有的工作站連yum都沒有，只能抓rpm，那時候試著要裝yum，結果遇到瘋狂的相依關係，最後只好放棄；最後還有工作用的軟體跟license server需要維護。

最近為了減輕一些工作，就寫了一個自動加入帳號的script，理論上用bash script應該就做得到，不過考量到其中有許多文字處理，數字比對的部分，最後還是用python的譔寫，雖然說nis主機也是debian 5的老主機，必須用python2.5來譔寫有一點troll，不過還是比用shell快一點。

ps：其實linux工作站使用人數比較少，理論上用vim手動加搞不好比較快，不過當作python練習XDD。

一、帳號記錄文件：

伺服器使用的帳號記錄是nis，內容跟/etc/passwd沒什麼兩樣，類似這樣： account:passwd:uid:gid:comment:homedirectory:shell

這沒什麼好講的，大部分的內容都是預設，比較不一樣的是我們uid, gid設定：為了管理方便，我們的gid是以1k為單位分給一位教授，對應可使用的1000個uid，例如某葉教授(咦)的gid為10000，那uid就從10000-10999，下一位教授就從gid, uid為11000開始。
註：這樣每個教授可以收1000位學生，就算每學期收個20個，也要收50年才行，應該頗夠用吧XD

二、程式規劃：

規畫程式的功能如下。
功能一，加入使用者：
1. 詢問使用者帳號名稱(account)
2. 列出目前可用的gid列表，要求管理者選擇。
3. 查詢目前表列的uid，取得下一個uid值。
4. 請管理者輸入comment。
5. 列出homedirectory資料夾選項。
6. 詢問使用者密碼。
功能二，刪除使用者：
這個比較簡單，把account comment掉就是了。
第二部分，實際操作：
1. 備份檔案，複製一份檔案，儲存為原檔名.日期。
2. 將要加入的內容寫入passwd檔中。
3. 呼叫ypinit -m更新資料庫。
4. 呼叫ypasswd修改密碼檔，這部分用pexpect達成。
5. 產生一份需要建立新資料夾的資料夾位置，到nfs使用。

三、實作：

上述功能看來有點多，其實寫起來滿快的，幾個小時吧。主要是python功能過於OP，大部分慢下來的地方都是我腦殘忘記該怎麼寫，或是為了使用python 2.5以致需要去查語法。
程式大部分是使用python 的list來硬幹，儲存需要寫入的字串，將需要增加的或刪除的資料新增到list之中。

大概沒什麼好講的，唯一值得一提的就是發現python 整合了expect的功能：pexpect，原本呼叫yppasswd的部分想要用expect來寫，但發現用pexpect比較方便，也可以把改密碼的工作交給python去執行，比分出一個expect script還要方便。
跟上一篇的expect講的差不多，pexpect同樣支援spawn, expect, send等基本語法
例如程式中需要設定新加入使用者的密碼：

for key,val in passwddict.iteritems():
    print("change passwd of user %s" % key)
    rootpass = “rootpassword”
    child = pexpect.spawn("yppasswd %s" % key)
    child.expect('password:')
    child.sendline(rootpass)
    child.expect('password:')
    child.sendline(val)
    child.expect('password:')
    child.sendline(val)
    child.expect(pexpect.EOF, timeout=None)

從存好的dictionary裡面取出一對帳號跟密碼，然後去設定passwd，同樣的缺點也是root密碼會曝光，權限要小心設。

PS:剛剛發現暑假過太頹廢，從八月中到現在都沒寫新文，看到同學們都在當助教惹，自己也要努力點才行。

使用Expect進行大量修改密碼

Expect 最近稍微研究了一下expect這個工具，簡單來說，它可以作為使用者對shell的代言人，本來需要大量使用者回應的工作，可以交由expect來處理，主要的資料是參考資料2，瀏覽書還是吸收技術最快的方法。
最簡單的工作，就是由expect來幫我們輸入密碼，例如我們要改帳號，都需要輸入舊密碼和兩次新密碼，如果有1000個帳號要修改時，等於要輸入3000次密碼，如果兩次新密碼打錯的話還會吃屎重來，真是讓人感到絕望…。
再更簡單一點就是管工作站時，要向其他電腦下命令，如果有10台電腦要執行一樣的命令，而且要用su執行？
結果書上還出現用expect來控制gdb的除錯程序，好像有一點猛…

－－

expect最基本的指令大概是： spawn, expect, send，有了這三個就能做不少事情惹。 例如我想從工作站上載東西下來：

#!/usr/bin/expect

set password “mypassword”

spawn scp account@workstation:/etc/hosts . 
match_max 1000
expect "*?assword: "
send "$password\r"
expect eof 

首先我們設定password變數，利用spawn叫shell執行scp指令，當scp要求輸入密碼時，由expect承接，scp輸出內容是account@workstation 's password: ，用*整個接下來；用send把內容傳給shell，就完成一個自動下載檔案的程式了。
唯一要注意的大概只有那個\r回車鍵，沒打那個就相當於打完password後沒按enter，你會看到程式停在螢幕上對你微笑，等你按enter。

上面只是個簡單的例子，回應很單純，不過稍微擴展一下，我們就可以完成一個自動改nis密碼的script

#!/usr/bin/expect

set rootpwd "wwww"
set newpwd [lindex $argv 1]

spawn yppasswd [lindex $argv 0]
expect "*?root password:"
send "$rootpwd\r"
expect "*?new password:"
send "$newpwd\r"
expect "*?new password:"
send "$newpwd\r"
expect eof

使用./script account newpasswd，即可自動修改密碼，只要事先把account跟newpasswd打好，一瞬間密碼就改完了，有幾千人都不用怕。雖一的缺點大概是要把root password明文寫在script裡面，這個script一定要保護好，用root擁有然後權限設成700吧。

參考資料：
1. expect man page
2. http://it-ebooks.info/book/2189/