技术

见本站项目DV-2-XviD

0.6 版本解决了老版本只能同 XviD-1.1-beta2 协同工作的问题... 这个让人尴尬的 bug 拖到现在才解决实在是抱歉. 也因此觉得这个软件的可用性现在高了很多，这才敢放出来公开供人下载.

计划下面需要解决的问题依次是：
a. 文件大小/码流的精确控制
b. 对目标文件各项参数的配置
c. wxPython 相关问题

不过以上目标暂时要搁置了....

下面要集中精力, 早日完成我的手机同步程序。最近又免费弄了一部早期的 S60 机 (Nokia 3650), 正好又多一个测试设备.

很久很久以前，大概也有十好几年了。看 PC Magazine 里面的一篇专栏文章，说的是作者的小孩回外婆家玩，看到一台很久没有使用的 PC，于是问他老爹（也就是作者）能不能想办法让机器运行起来。作者本来以为这机器只是一台 286，结果居然是 386！ 而且还有 4M 内存！！于是换了一块新硬盘，装了一套 Windows 3.1 和 WordPerfect (都是厂商送来评测的)，于是小孩的假期就很快乐的和这台电脑为伴了..

接着作者充满感情的回忆到他父亲有一次给家里的旧车更换化油器的事情，然后感叹： 几十年前男人以自己修理汽车为荣，现在的男人则负责给家里的电脑升级（没错，有谁听说过女生帮自己男朋友修理电脑的？？），虽然时代在变，但男人干起这种手工活来还是很自豪的..

下面是我本周末的经历：老婆的妹妹刚刚毕业，分配到北京某事业单位，住集体宿舍。但宿舍内的上网条件很不好，因为宿舍楼位于军队大院，整栋楼只有一个人接入了 512K 的线路，然后同宿舍楼有另外三个屋子从那里接入，4个人均分网络费用。我这小姨子还没有男朋友，于是这"布线"的责任就义无反顾的落在了俺的身上。

我这个周六的任务就是去把同一层的一个接入点那里再引一根线到她们屋内。具体这活怎么弄的就不细说了，总之得益于在网络中心工作时的经验，虽然以前没怎么动手干活（最难忘的一次是在墙上钻眼，结果怎么也把不住钻），但没见过猪跑总吃过猪肉。宿舍楼内的环境和我事先预料的没有什么太大差异，工具也准备齐全，很顺利的就搞定了。

在该上级接入点的称赞俺办事利落的时候，就想起了 PC Magazine 上的这篇故事. 再联想起上周电梯里听两个程序员讨论做 RJ-45 头的对话。遂有感叹：时代在继续前进，我们男人不仅仅需要会更换硬盘，还需要能压头、布线、跑管.. 下一步偶就要学习怎么利用铁锅或漏勺来研发 wifi 增益天线了.

写到这里，想起当年我父亲大修我们家自行车的情景了. sigh.. 我们就这样在手工活里慢慢长大、成熟、老去

刚工作的时候，接触网管系统，就知道先进的系统都支持报警模式。最初很不明白，软件怎么去向人报警呢？后来韩爽姐姐和冰河哥哥教育我，这个东西可以接一个modem，然后向寻呼机发一条呼叫（估计只能支持自动台了）。立时做顿悟状，幻想某天晚上睡梦中被一条寻呼信息惊醒，然后直扑图书馆或化学楼的 5505

后来接触湖南的项目，局方有一变态的需求，要邮件系统的监控程序可以实现声光报警。我看了需求很诧异这个东西是怎么答应下来的，于是问 ray 同学，回答是计划调用 mpg123 之类的东西放首歌，至于光报警的实现方式，还没有太想好（后来看到的 MIT 学生自制的 Disco Dance Floor 到是一个不错的方案）。

上面说的是利用 PC 的声卡/音箱、串口来产生信息的方案，但是有谁考虑过怎样远程控制 PC 产生动能呢？？

请看 Engadget 的自动猫咪喂食器

已经写了一篇 blog 里面介绍了如何传入结构体指针的方法，而前不久发现了另外一种传入一整块 buffer 的方案，不用定义 Structure class，直接类似 malloc 那样的方法去执行，就是 create_string_buffer addressof string_at 系列函数，感觉更接近底层调用.

首先修正上篇文档里面的一个问题，就是 load 这个方法已经取消了（当时我使用的好像是 0.9.9.3 版的 ctypes），LoadLibrary 这个接口随着 ctypes 1.0 的发布并被集成进 python 2.5，应该是正式确定了名称。

其次注意的是根据源代码里面对函数不同的声明，还得选择采用 cdll 还是 windll 来实例化一个动态库，用 WINAPI 声明的函数需要用 windll.LoadLibrary(dll_file_path)。因为不同的声明导致参数传递的方法不一样，我自己就是费了好长时间的尝试，才搞清楚为什么总是报错"rocedure called with not enough arguments (xx bytes missing) or wrong calling convention"。ctypes 的手册里面还提到另外有 oledll, pydll 两种类型.

如果一个 dll 里面即有普通方法定义的函数，也有 WINAPI 定义的函数，而你只希望只 Load 一次动态库，那么就需要 WINFUNCTYPE 或者 CFUNCTYPE 这样的方法来指定不同的函数类型了。

大家都应该机器上安装 XviD 解码器了吧，:)
现在我们分别用两个不同的方法取出 XviD 编码器的缺省配置（C 源代码参考 xvidcore-x.y.z\vfw\src\driverproc.c）

上面的代码通过 cdll + WINFUNCTYPE 来写就是

最后要说的是通过 dumpbin.exe /exports dll_file_path，就可以查看一个 dll 里面有哪些函数是被 export 出来，可以给我们来调用的(我自己猜测) . dumpbin.exe 可以从 masm32 里面免费获得

update: 在上述第一个例子里面，传入的参数用 addressof 去做一次转换并不是必须的. 可能 ctypes 会在内部自动处理

下面是科普时间...

LAME
lame 号称是这个星球上 MP3 编码音质最佳的编码器，而且是 GPL 的.
在我的 DV-2-XviD 里面也是采用 lame.exe 来压缩 DV 的音频的。除了 lame .exe 这个命令行工具外，这里可以找到很多基于 lame 的程序。我现在使用的是 winLAME，它除了支持文件转换外，还可以 rip CD，包括去 freedb.org 上寻找 CD 信息，至少我刚从卓越买来的《Unplugged in New York》和《时光漫步》都能被正确识别出来

ffdshow 和 FFmpeg
FFmpeg是一款强大到有些变态的多媒体编码库。它是在 Linux 下开发的，核心是 libavcodec(就是win32下说的Codecs) 和 libavformat(用于文件格式的处理)，ffmpeg 只是其前端命令行程序。由于专利权问题（大部分影音编码都是有专利的），Linux 发行版本通常不会把 ffmpeg 作为发行缺省部分。
ffdshow 从其命名来看应该是脱胎于 ffmpeg，主要的解码库也用的是 libavcodec，可以说是 ffmpeg 的 DirectShow 版本。当然随着发展，它已经远远不限于 livavcodec 了，还增加了许多后处理的特性以增强低质量视频的播放效果。要说的是这些特性也多半来自 Mplayer——另一个 Linux 下开发的媒体播放器项目，其实 Linux 下多媒体处理还是很棒的。
BTW，从 Youtube 下载的 flv 格式的文件就是用 ffdshow 来enable相应的 decoder filter 就可以了.

AviSynth
AviSynth 简直可以用神奇来形容。首先解释一下 Frame Server 的概念，通常我们所谓的多媒体处理都是直接处理文件，处理网络媒体流的现在也很常见，那么 Frame Server 就可以说是生成"程序媒体流 or 来自程序的媒体流"的程序。再举一个例子，我们访问 http 服务器请求的只是一个 URL，但是这个 URL 里面可能囊括了图片、视频，现在还有 AJAX 程序... 最终组织成一个丰富多彩的页面；AviSynth 就是一种这样的服务器，它对外展示的只是一个 .avs 脚本，但这个脚本则可以把原视频文件做各种各样的处理，打开这个 .avs 文件得到的就是做过处理以后的视频流。
通常那些压缩 DVD 的人都要写 avs 脚本来去拉丝，修改分辨率，渲染一下比如加亮度.. 后，再调用 Codecs 来压缩 avs 流.
AviSynth 目前只能在 Win32 上工作，不过支持 Linux 的 AviSynth 3.0 正在开发中，3.0 还将包括一个 Gstreamer 插件.
另一个有关的消息是 AviSynth 似乎打算放弃维护自己的脚本引擎，而会改用 Python

VirtualDubMod 和 VirtualDub
由于专利问题，VirtualDub 一直拒绝直接支持 MPEG-2 文件的处理，但人们的需求是压缩 DVD，于是就有了一票修改版本们的出现，VirtualDubMod 便是其中的佼佼者，它除了支持 MPEG2 以外，还增加了支持 VBR MP3 等特性。
虽然 VirtualDub/VDubMod 号称是一个视频捕获和处理程序（包括视频编辑），但我一直都用的是它的命令行功能：和 avs 类似，写一段小的 vdub 脚本，然后交给 vdub 去执行。在我的 DV-2-XivD 程序里面，整套执行流程如下：
　1. 写一个 vdub 脚本，将 PCM/Wav 格式的音频从 DV avi 里面分离出来
　2. 调用 lame，将声音压缩成 mp3
　3. 写一个 vdub 脚本，将 DV avi 做 XviD 的 1-pass 压缩，生成 stat 文件
　4. 写一个 vdub 脚本，执行 2-pass 压缩，并且和 mp3 文件 合并到最后的 avi 文件里.

AutoGK 和 DVDdecrypter
上面介绍的全都是 GPL or LGPL 的软件，现在来介绍两个免费软件(freeware)
虽然已经有了很多工具，但把一张 DVD 制作成一张 700M 的 XviD/DivX 还是很麻烦的，于是就有了 Gordian Knot 这个软件包，但我实在搞不明白 Gordian Knot 这个名字是自嘲，还是标榜自己是亚历山大之剑那样的解决方案。
事实上 AutoGK 才是真正的亚历山大之剑，它和 DVDdecrypter(原站点 DVDDecrypter.com 已经在压力下关闭了)的配合可以说天衣无缝，很轻松就能把 DVD 压缩好。我家那些宝宝反复看的 DVD 全都是这么处理的，而且不再担心盘片被宝宝弄坏.
我的 DV-2-XviD 也是来源于 AutoGK，包括 vdub 脚本，我也是学着 autogk 的中间处理结果来生成的.

Celtic Druid
这个不是软件，而是一个网名。这个家伙最擅长的就是在 win32 下 build 从 cvs 里 checkout 出来的代码并发布，doom9 这样的论坛经常可以看到大家谈论 Celtic_Druid build，AutoGK 通常就用他编译的 XviD。
原始站点(celticdruid.no-ip.com/)被 GFW 了，不明白为什么.. 不过还是有很多 mirror 可以访问，很容易可以搜索到。他编译的包括：Media Player Classic、ffdshow、XviD、x264...

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
最后是广告时间...

DV-2-XviD
用 Python 写成，GPL
功能是合并多个 DV avi 文件，在画面底部增加拍摄时间码，压缩成 XviD.
目前已知的问题包括：
　1. 只能和 xvid-1.1-test2 一起工作 :(
　2. 压缩 XviD 的文件大小控制有问题
　3. wxPython 窗口在压缩过程中会失去响应

原来我的 DV 是压缩成 MPEG2/SVCD 保存的（而且是用的没有合法许可的软件），最近一年多以来，开始用 XviD 压缩，感觉不错。计划修补完上述缺陷后，再考虑是不是改成 MPEG4 AVC 方案，比如 x264，如果这样的话，这个项目的名字可能也需要改成 DV-2-MPEG4，或者 DVgk?

首先声明：本文的内容都是我从开发过程中总结出来的，以我的理解在尽可能短的篇幅里对 DV AVI 文件的分析作介绍。真要作开发还需要参考原始的文档。

AVI 文件总是以 12 个字节开始的，就是 'RIFF' + size + 'AVI '。这里 size 是一个 4 字节的整数，声明其后的字节数（包括'AVI '这4个字节数）

现在问题就出来了，这样的格式就是限定了 size 的最大取值只能是 4G，后来人们就扩展了 AVI 的结构——当分析到声明的字节数后，如果后面是扩展格式，那么就继续分析。

扩展部分类似 AVI 的格式，只不过从 'AVI ' 变成了 'AVIX'，而且可能有多个扩展部分。因此这一部分的分析代码就是：

由于 AVI 内部嵌套的数据块的格式也类似 4bytes info + size + data 这样的结构，因此 readChunk 被设计成一个递归函数，返回值为 0 或 -1，中途解析失败就返回 -1，根据此返回值退出嵌套调用。（回过头来看这样一段程序，递归调用分析的可读性很糟糕，主要是因为开始编程的时候对 Python 没有太多的认识所致）

可能是为了便于编程，各个数据块被设计成 4 字节对齐的，但 data 的大小未必是 4 的整数倍，从文件中读出来的 size 只是表示 data 的长度，有时候必须计算对齐。下面两行语句就是作这个的：

为了便于播放器去 seek 一个特定的位置，比如从文件的第 12 分 32 秒开始播放，需要一个索引方案可以快速定位到相应的数据。这就是 'idx1' chunk 里面定义的东东。但传统的定义里面偏移量最大只能为 4G，因此扩展格式里面增加了 super index，或者说 index 的 index，里面可以放 longlong 的 64 位整数来避免这种寻址困境，估计在我有生之年都不会有这么大个的数据文件问世。

readChunk 函数的主要功能就是生成一个 index 列表，然后从这个列表的最前面和最后面分别 seek 到相应的数据存储区域，找出时间码。如果发现 AVI 里面有 super index，就在 readChunk 返回后，再根据 super index 生成 index 列表。程序里面这个列表变量名为 offset

分析 DV 格式获取时间的函数是 readtime。DV 可能是每次记录 12000 字节数据（类似磁盘扇区的概念？？），因此在每 12000 字节数据里面都会存储一个时间码。我的当时参考的代码里面在每个 index 指向的数据块里循环了 15 次还是 10 次，但我发现我这里只能循环 12 次就碰到了数据的尽头，后来估计是 PAL/NTSC 的差异，也就没有继续追究下去。

计划把这一年多以来业余作 Python 相关开发的一些知识整理一下，这是第一篇。

迄今还记得第一次看到的 AVI 文件，在 windows 3.1 上，一个邮票大小的窗口里，一个人（男女实在看不清楚）在滑帆板。那是我们不知道从哪里弄来的一个软件包（当然现在知道是一个 VFW 驱动）里面附带的一个 sample，宣称装了这个东东后计算机就进入多媒体时代；随着后来 .dat/.mpg (VCD) 的流行，对比下 avi 给我的印象就成了落后，低质量的代名词。

进入 BT 时代后，突然就发现下载来的电影文件几乎都是 avi 文件，通常是 700MB，就拥有不输于 DVD 4G 容量的数据所包括的音视频质量。就有了这么一个疑问——AVI，它到底是个什么玩意儿。

专业的回答是这样的：AVI 是一种容器（container）格式。通常来说没有把音视频一起编码的方案（用大脚趾都能想到同时编码的效率一定不高），而是独立编码，然后打包在这样一个容器里面，做成一个单独的文件供人使用。播放的时候首先将容器里包含的不同的数据流分离出来（splitter），再交给不同的引擎（Codecs）去解码（decode），播放器还得根据容器包装的规则让视频音频能同步起来。我们现在使用的那些 avi 文件准确说是包括了 XviD/DivX 压缩的视频流和 AC-3 or MP3 音频流的 container .. 随 XP/2000 提供的缺省多媒体附件包括一个 avi 的 splitter，以及一个 mp3 的 decoder。只要再安装一个 XviD 的解码器和一个 AC-3 的解码器基本上就可以看所有的影片了。

事实上 rmvb 也是一个 container，无需 real 播放器，有一个 rmvb splitter 和合适的 codecs，就可以在任何支持 dshow 的播放器欣赏 rmvb 了；DVD 上的 .vob 就是另外一种容器，里面除了 MPEG-2 图象和 DTS/Dolby 音频外，还会包括 n 条字幕流。

言归正传，qyb 为什么要研究 AVI 格式呢？因为在 DV-2-XviD 这个软件的功能里面，有个需求就是从 DV 抓取的 AVI 文件里面，获取拍摄该视频当时的时间。我要作的事情一是把视频流从 AVI 里面分离出来，然后再从视频流里面获得保存在里面的时间戳。

网上很容易可以搜索到一篇关于 AVI 格式的文档（链接是一个 pdf 文件!），它组织的很好，是我一开始起步时的主要参考，但后来处理 >1G AVI 文件的时候感觉这篇文档描述并不清楚。最后还是依靠这篇完成了 avi 分析部分。

本期科普工作到这里结束，计划下一期简单汉化一下 AVI 相关文档... 可能更类似程序文档吧。

很久以前买的 SONY 摄像机 19E 突然坏掉，回放没有问题，但拍摄就全部变形成绿色的竖条纹，简直可以免去后期制作直接开拍午夜凶铃。这摄像机自从泰国归来后就一直没有拍过，我只好将其归罪于北京最近糟糕的天气。

坏了总是要修的，先前已经有过一次去维修的经历，当时说开机检测费就要 200。现在只能怀着忐忑不安的心情，再次杀往位于魏公村的索尼北京技术服务中心。

在经过漫长的排队后，客服 MM 看了摄像机的故障现象，说可能是 CCD 坏了，或者是什么其它的问题，如果是 CCD 坏的话可以免费更换，因为已知有一批 SONY 的老机器是有问题的；如果我可以等 20 分钟，就现场做检修，若确认是 CCD 问题，那么立刻就搞定，否则就等修好了再来取。然后很专业的卸下了我的电池，给我一张单子，上面注明维修机器的当前状态："带 UV 镜和镜头盖，机身有划痕..."，我签字确认以后就把机器包好送到了快修室。

索尼的快修室就在前台大厅的一侧，可以透过玻璃看到维修的全过程。于是紧张的看着维修人员很熟练的把我的 DV 大卸八块，焊下 CCD，然后再焊一个新的（或者也只能算良品），测试，哈，很快结论出来，果然是 CCD 故障，于是整套维修服务全部免费。

后来看我的维修单，收费情况是：配件费 105，维修费 220. 费用为索尼承担。在前台大厅还有一张今年5月出台的价目表，关于 DV 的费用是检测费 50，清洁、更换外围附件的人工费用是 250，维修的人工费用是 350；DC 相关的人工费用分别是 200/300。比较起去年维修 Nikon 4300 的经历，发现 SONY 的服务要透明优秀得多，怪不得柯美退出数码相机业务后，把自己的维修服务转包给索尼。从另一张说明上看，快修服务（针对 DC 和 DV）只提供到下午 3:00，确保当天就可以拿到修好后的产品；但我的摄像机去修的时候已经下午 5:00 了，可能是因为我的情况比较特殊吧，也不知道快修服务需要另加多少钱。

我是周六去的，我拿到的号是 177，等我走的时候已经有人排号到 200 了，4 个接待席在马不停蹄的工作。在我等待的1个多小时过程中，绝大部分是 SONY 电脑，其次是 DC、DV. 其它的我只看到一台电视和一台音响。仔细算算，感觉人们使用数码电子产品，维修率还是蛮惊人的.

说实话，本来我是有些鄙视 SONY 的 DC 产品的，可经过这么一次比较爽的维修过程后，感觉再买新 DC 也未必非 Canon/Nikon 不可。当然，从各种媒体上都能看到电子产品维修需要天价的维修费用，也包括索尼，说不定这次只是运气比较好而已.. 是不是以后 DC/DV 这类消费数码产品也会出现 DELL 那样的三年全保服务呢？

这个东东从最开始着手到现在好几个月了，昨天晚上总算差不多了。心中这个存在了几个月的疙瘩终于解掉了。

学习Mozilla/Firefox扩展的时候，需要看一篇很长的文档，频繁地上下翻动网页让我很不爽，想起以前看教程类的网页也出现过这种情况，于是想仿造Microsoft Word的页面拆分做一个实现此功能的Firefox的扩展。

这不是一个复杂的东东，实现最简单的功能的0.1版也在比较短的时间就做出来了，可是实现在拆分页面中跳转至锚点位置这酷酷功能的0.4版传到网上后，突然发现扩展中竟然存在影响Firefox正常使用的重大bug。研究后苦思不得其解，不得已从网上删掉了控制自动更新的rdf文件和扩展新版本且信心受到严重打击。由于对js不熟悉等等称不上理由的理由，bug一直没有修正。其间屡次鼓起勇气寻找解决问题的办法，总是不能达到目标。

每当想做个别的什么的时候，一想到这还有没完成的半成品，也没有心思做别的，告诉自己如有精力先把这个完成了吧。

这回又一次尝试解决问题，在哥哥的帮助下精确地定位了出现bug的地方，翻XUL的参考文档，偶有所得，目前来看应该算是修正了bug，有了一个可用的版本。

感谢Lewis Lv的文档以及帮助，其他参考：XULPlanet.com、MozillaZine Knowledge Base

不用我多说，看了这张图片就应该知道它是做什么用的了.

以前这类开源软件好像只有 Audacity (有 win32 下的安装包). 在 jokosher 论坛上有人批评 Audacity 对 MIDI 支持不够好..

总之，用 pyGTK 开发，采用 gstreamer 框架，这些都是我所喜欢的东东，所以 Linux 下玩音乐制作的朋友们，这里推荐一下. 哪天我也试试 remix 一个黄建翔解说 MP3. 嘿嘿