用python讀入agilent (keysight) binary file

故事是這樣子的，最近拿到一些透過Agilent示波器（好啦你喜歡叫他Keysight也可以）讀到的資料，要對裡面的數字做分析，由於資料極大時他們會用自家的binary格式存檔案，要讀出資料分析就比較麻煩。
他們自家網站是有提供……程式來分析，可惜是用matlab寫的…
What The F.. Emmm, Ahhh, Ahhh, 沒事
總之我看到這個東西就不爽了，俗話說人活著好好的為什麼要用matlab。恁北想用python沒有怎麼辦，只好自幹啦。

其實整體來說滿簡單的，只是把matlab code 用python 寫一篇，python又比matlab 好寫很多。
比較值得提的只有一個，分析binary就不能不用python的struct，相關的內容可見：
http://yodalee.blogspot.tw/2014/03/python-structdex-file-parser.html

這次我再加上用namedtuple來處理，整體會變得很乾淨；例如它一個波型的header格式是這樣：

int32 headerSize
int16 bufferType
int16 bytesPerPoint
int32 bufferSize

那我就先定義好namedtuple跟struct的format string:

from collections import namedtuple
bufHeaderfmt = “ihhi”
bufHeaderSiz = struct.calcsize(bufHeaderfmt)
bufHeader = namedtuple(“bufHeader”, "headerSize bufferType bytesPerPoint bufferSize")

再來我們讀入檔案，直接寫到tuple裡，就可以用名字直接存取值，例如我們要跳過header：

bufHdr = bufHeader._make(struct.unpack(bufHeaderFmt, fd.read(bufHeaderSiz)))
fd.seek(bufHdr.bufferSize, 1)

是不是超簡潔的？一個晚上就寫完了=w=

人生苦短，請用python。

原matlab 網址
http://www.keysight.com/main/editorial.jspx?cc=TW&lc=cht&ckey=1185953&nid=-11143.0.00&id=1185953

原始碼在此，不過我覺得是沒什麼人會用啦orz
https://github.com/yodalee/agilentBin

Translate Qt translation file (.ts file) using Python and Google Translate

Pyliguist

A python script translates Qt ts file by google translate

Recently I'm working on project Qucs. This project only has a little group of developers.

The program got about 3000 entries need to be translated, which, however, no one wants to translate them. To translate them manually is a very hard, and time-consuming work. It makes me think of using Python to translate these text automatically.

Luckily, there do have an automatic tool: Python Goslate package.
It's very simple to use, just create a goslate object. Then you can call function translate to translate the text, like this:

>>>go="goslate.Goslate()
>>>go.translate(“worship”, “zh-tw”)
崇拜

I write a little script “PyLinguist” in Python, which use Python “xml” to parse Qt translation file. Then use Python package “Goslate” to translate the text.

It takes 30 seconds to translate 200 entries in test file, which is much faster than translate manually. Though there is some problem. For example it translate “Help” into “Save me” in Chinese, but generally it works.

The source code is here:
www.github.com/yodalee/PyLinguist

使用python 與Google Translate進行程式翻譯

最近Qucs Project有個德國佬加入，這個……一加入就做了不少苦力的工作，像換掉一些Qt3才支援的function，換個Qt4相對應的名字，他說他是用Xcode的取代功能寫的，老實說這個東西不是用sed就可以解決嗎(._.)，不過算了，有人幫忙總是好事。

他後來又貢獻了一個PR，內容是把整個程式的德文翻譯加了一千多個翻譯，根本巨量苦力；同時他又開了一個issue，想要把德文的翻譯給補完，我覺得這樣一個一個翻譯有點太累了，雖然Qt 有linguist幫忙，可是其實還是很累，遇到沒翻過的，還是要自行輸入。

當下靈機一動，想到之前看過有人用Google Translate來自動進行Gnu Po檔的繁簡轉換，那一樣我能不能用Google Translate進行Qt 的翻譯呢？

為了這個我寫了一個PyLinguist的script，輔助工具選用的是Python的package goslate：
使用方法很簡單，產生一個goslate的物件後，叫個function 即可：

go=goslate.Goslate()
go.translate("worship", "zh_tw")
'崇拜'

同樣的，qt的翻譯檔就是一個xml 檔，python要對付xml也是小菜一碟，用xml.etree.Element即可，每個要翻譯的文字會以這樣的格式記錄：

<message>
  <source>Hu&amp;e:</source>
  <translation type="unfinished"></translation>
</message>

Source是原始文字，Translation則是翻譯文，如果還沒翻譯，就會在translation tag加上type=”unfinished”的屬性。

整體程式流程大概是這樣：

讀檔，把整個xml 讀到一個xml tree 物件裡：

self.tree = ET.parse(XXX.ts)
root = self.tree.getroot()

開始翻譯，這裡我設定self.maplist這個dict物件，記錄所有翻過的內容，這樣只要以後再次出現就取用之前的結果，省下網路回應的時間；之所以要在translate的外面加上try, except，是我發現goslate在翻譯OK這個字時，不知為何會出現錯誤，為了讓程式跑下去只好出此下策；如果找到翻譯文，就替代掉之前的文字並拿掉unfinished的屬性。

for msg in root.iter('message'):
  source = msg.find('source').text
  isTranslated = not (msg.find('translation').attrib.get('type') == "unfinished")
  if not isTranslated:
    if source in self.maplist:
      msg.find('translation').text = self.maplist[source]
      del msg.find('translation').attrib['type']
    else:
      try:
        text = self.gs.translate(source, target_lang)
        msg.find('translation').text = text
        self.maplist[source] = text
        del msg.find('translation').attrib['type']
      except Exception:
        pass

最後把程式寫出去即可，也是一行搞定：

self.tree.write(filename, xml_declaration=True, encoding="UTF-8", method="html")

結果：

目前除了輸出時如xml 的DOCTYPE宣告會消失，大致上的功能是可接受的，翻譯800行約100到200個翻譯文的檔案，大約30秒就翻完了，這之中可能還有一些是google translate回應的時間，這已經比人工還要快了不少。

結論：

感恩python，讚嘆python
老話一句：working hard, after you know you are working smart，翻譯這種事多無聊，丟給google做就好啦。

原始碼：

本程式(毫無反應，其實就只是個腳本XDD)為自由軟體，原始碼公布在：
https://github.com/yodalee/PyLinguist

參考資料：

1. Goslate:
http://pythonhosted.org/goslate/
2. python xml
https://docs.python.org/2/library/xml.etree.elementtree.html