Wednesday, May 28, 2008

Writing a Transform Filter

This is a Visual C++ 6.0 appwizard. It will help to create default transform (or In-Place Transform) filter for video processing using DirectShow (part of Microsoft DirectX); It can be easily changed to do audio processing as well. To use the wizard, download the (DShowFilterWiz.awx and DShowFilterWiz.HLP) and copy them to C:\Program Files\Microsoft Visual Studio\Common\MSDev98\Template. You can select "DirectShow Filter AppWizard" when you new a project in VC 6.0. Specify the project name and click "ok" to generate the project.
http://www.ifp.uiuc.edu/~chenyq/research/Utils/DShowFilterWiz/DShowFilterWiz.html

Wednesday, May 14, 2008

ASIMO


日本本田公司的智慧型機器人ASIMO十三日化身樂團指揮,帶領底特律交響樂團演奏「Impossible Dream」,華裔大提琴演奏家馬友友也同台演出,見證首位機器人登上音樂殿堂的紀錄。ASIMO不僅能適應高低起伏的地形活動自如,更能接受人類簡單的 口頭指令。雖然ASIMO僅能以預先錄製的影帶學會指揮技巧,而無法與樂團成員互動,但已是機器人科技的一大進展。圖為馬友友於演奏結束後與ASIMO握 手,並俏皮地嘟起嘴巴假裝獻吻。(美聯社)

Monday, May 05, 2008

高速視覺技術及三指機械手介紹


大多數的智慧型機器人均具備有許多的環境感測技術,例如使用超音波或者雷射來進行障礙物偵測,使用微波或者
GPS 技術來進行定位以及利用視覺技術來分辨目標物等;隨著機器人產品的發展愈趨複雜,因此對於機器人互動技術的規格要求也愈來愈高。高速視覺技術已經被視為未 來應用在機器人上最主要的環境感測技術,透過高速視覺技術可以快速地協助機器人定出空間位置、瞭解周遭環境與物體以及即時監控環境當中之異常事件等。

在本期文章我們將深入介紹由日本東京大學石川正俊教授所領導的研究團隊,針對目前廣泛應用在服務用以及產業用機器人之高速視覺技術的研究成果與由HarmonicDrive所發展的輕量型高速三指機械手,以及兩者結合之應用實例。

何謂高速視覺?

  日本科學未來館當中展示了一組智慧型的機械手,該手臂搭配一雙眼睛就可以快速抓住任何丟向它的球或其他形狀之物體(如圖1)。普榮獲2007年機器人大獎賽冠軍的裝箱抓取機械手臂(如圖2),透過三支機械手臂可以快速的抓取於輸送帶中移動的任何商品,並精準地放置於包裝箱中。

此外,Fanuc以及Denson等傳統機械手臂生產大廠不約而同的在2007年日本機器人展當中推出可以附加於機械手臂上之高速視覺模組,使傳統機械手臂的應用因為加入的視覺技術而更有智慧,未來的機械手臂將可自行判斷物體形狀、大小以及外觀,然後自動的抓取物品,搬移到目標位置。

1 結合高速視覺模組之機械手(展示於日本科學未來館中)

2 抓取裝箱機械手臂

  高速視覺技術(High Speed Vision Technology)就是這一隻手(手臂)的眼睛,透過每一秒鐘高達1000張圖片的抓取與高速的運算分析,就可以快速的掌握到移動或者靜止的分散物體,分析它的移動路徑、形狀以及大小,進而判斷其立體空間座標而驅動運動機構去作抓取與搬運動作。

高速視覺介紹

  影像處理技術必須透過感光、影像傳輸、成像、合成等過程,並經由後端處理器進行影像壓縮與檔案後處理作業,除了資料的傳輸量大之外,還需要大量的處理器運算資源做影像處理。高速影像技術乃是利用FPGA(Field Programmable Gate Array)做為核心控制處理架構並結合高速傳輸介面,以及FPGA的高速運算能力,可重複規劃等數位訊號處理之優越性,配合動態影像的取得以及同步動態隨機存取記憶體(Synchronous Dynamic RamSDRAM)所發展而成。

  日本東京大學石川正俊教授針對機器人的環境感測技術進行許多研究,其中最重要的研究成果便是發展「高速視覺晶片」(High Speed Vision Chip),將影像感測模組與數位處理元件整合於一片積體電路當中,同時利用第二級FPGA處理器架構(Secondary FPGA)強化了原本單一晶片的運算限制,並提供平行計算演算法,使得多的處理器得以同時運算大幅提昇運算技術能力,也因此得以每一秒鐘擷取超過1000張影像之能力。

3 高速視覺晶片

4 高速視覺晶片架構

  傳統的影像處理速度一般都只有到30~100 frames/sec,處理速度雖不夠快,但用在一般3C產品上已經足夠;然而若要將視覺技術應用於機器人的感測上,若影像擷取速度不夠快的話,對於快速 移動的物體並無法及時偵測到,也無法瞭解到其移動路徑,會因而降低機器人對外在環境之反應力。石川教授的高速視覺晶片,因可以在每一秒鐘擷取高達1000 張影像(這樣的速度已經超越人類眼睛),因此透過影像與影像之間的分析與比對之後,便可即時掌握物體的移動、空間的辨識等。

機械手介紹

  本次所參觀之東京大學石川實驗室當中,在結合高速視覺技術部分應用到了許多由HarmonicDrive所開發的三指擬人機械手(如圖5)。該機械手每一手指具有兩個自由度,可以作兩個關節的彎曲,並且在手指與手指之間還有一個自由度可以作兩個手指的開合動作。

5 HarmonicDrive三指機械手

  HarmonicDrive在手指部分主要以兩種制動器做為關節驅動部分,包含RSF-38-100以及RSF-5A-50等,兩者分別使用1/100以及1/50的減速比提升其輸出扭力,末端最大出力為0.3Nm(牛頓米)。

6 Harmonic Drive手指模組機構示意圖

  HarmonicDrive三指機械手機構不論在轉速或扭力的表現上,已經超越目前業界水準,且整隻手的應用涵蓋範圍也很廣,包括物品夾持、簡易工具操作等,在正式的實驗當中,使用HarmonicDrive機構手已經可以做出以下動作:

  目前大部分的擬人機器人多採用人工肌肉來完成手部動作,其壽命有一定限制,且在速度以及扭力表現上均還無法達到與人相同之地步;因此,如HarmonicDrive所開發三指擬人機械手已經可以將傳統機械手的速度跟扭力拉升至與人相同,但在關節自由度的表現上,許多地方仍以同動方式為主,此外在指節末端關節處也無實現。因此,嚴格來說HarmonicDrive之三指機械手,仍無法與人類的手掌相比,因其對於更靈活之動作要求,目前是無法達到的。

  目前日本已有多所大學投入研發機械手計畫,包含本次在日本展覽當中看到由東京大學以線驅動方式開發之五指機械手;以及由產總研(AIST)所研發應用於HRP-3P之四指17個自由度之機械手,已經可以將機械手縮小到180mm,並達到15Nm之出力。

7 線驅動機械手

8 AIST全馬達驅動機械手

  除了日本外,各國在機械手的研發工作上一直都有成果,以下列出具代表性之研發成果:

DLR(德國宇航中心) II研發出四指擬人靈巧抓取的作業系統,每手指結構相同,各有4個關節和3自由度,另外在手掌內有一自由度,讓機器手能穩定的抓取和操作調整。DLR II機器手具有開關抽屜、操作設備以及使用工具等動作。

英國Shadow研發出24自由度五指的機器手,採用人工肌肉方式驅動,重量大約3.KgShadow機器手在指尖上裝有觸碰感測,允許在柔軟或脆弱的物體上使用。

日本Squse公司設計的機器手用21條人工肌肉牽動關節,能像人手一樣抓取物品及與人握手,它甚至能勝任包裝生雞蛋這樣的細緻工作。

高速視覺應用實例

  石川教授除了發展高速視覺技術之外,並利用此技術發展了相關應用技術,包含高速物體追蹤系統(High Speed Catching System)、目標物統計(Target Counting)、即時多目標物判斷(High Speed Based Moment Analysis of Numerous Object)、轉速測量(Rotation Measurement)、微細世界之視覺回饋系統(Microscopic Visual Feedback)等。

高速追蹤系統可以透過高速視覺技術來追蹤移動中之物體,並利用機械手將物體抓取到位。此外,利用機械手臂做棒球打擊等應用也屬於相同原理。

利用特徵分析與移動追蹤技術,可以在一個影像上分辨出多個目標物,並且同時偵測這些目標物之狀態改變。

利用高速視覺技術可以對移動中之物體做數量統計。譬如一盤流沙,以瀑布方式傾瀉而下經由高速視覺之判斷可以精準無誤地統計出該流沙有多少沙粒。

利用高速視覺技術針對一轉動之球面物品進行特徵分析,並藉由此特徵進一步分析出其轉速。

結合顯微鏡技術以及高速視覺技術,可以觀察到微細世界之狀態。

  石川教授所研發之高速影像處?系統的IC晶片,未?希望朝?快速及?有智慧性的方向研發,在應用上未來可朝向高速檢測儀器、生技醫?手術輔助、道?影像攝影、賽?終點判定、視覺介面、追蹤辨識系統等。

  此外,在產業應用上也已經有多款服務型與產業用機器人結合視覺技術,在2007日本機器人展當中已經有許多產業應用實例出現,包含有:

日本機械手臂大廠Fanuc於2007年正式推出結合視覺辨識模組之機械手臂,透過視覺技術,機械手臂可以在特定區域抓取散落之物品,而無須預先排定物品位置。並且可以透過視覺技術偵測物體形狀與大小以決定抓取方式,提供機械手臂更有彈性之應用。

Denson機械手臂結合三組CCD,可以呈現出多個目標物體之3D立體圖像,並回饋給機械手臂進行搬移。

日本生產技術株式會社利用視覺技術賦予機器人玩魔術方塊之技巧,該機器人可以透過視覺技術判斷目前方塊狀況,並進行推演然後透過兩隻機械手完成魔術方塊遊戲。

乒乓球機器人可以跟人一起打乒乓球。該款機器人利用視覺技術來追蹤乒乓球之移動路徑,然後在落點後將球回擊。

高速視覺之未來發展

  在本次的參訪當中,石川教授的高速視覺技術已經證明可以提供機器人或應用載具基本的環境感測功能,達到物體識別、移動追蹤、立體視覺等,且高速視覺技術在成本與速度上已經超越傳統的雷射掃描器,因此在近幾年吸引許多廠商投入研發。

  然而,視覺在感測的同時容易受到燈光之影響,而影響到判斷的精確度,進而造成誤判等嚴重疏失,而會有安全上之疑慮,未來必須倚賴更精密與更高速之變焦技術來解決此問題。

再 者,是否未來機器人僅需使用視覺技術即可取代目前所使用的所有感測技術,仍有許多爭議。一方面視覺技術在感測精度上會隨著距離而遞減,再者對於許多障礙物 的偵測,單靠視覺技術仍無法做出最正確的判斷,因此短時間內雖可見到視覺技術應用於機器人上,但仍須要結合其他感測技術如超音波、雷射等。

  此外,透過視覺技術來模擬生物的眼睛,亦為視覺技術發展的主軸,但在實際的產品上,仍無法達到非常理想的跨距,以Point Gray目前所推出的3D視覺模組系統(Stereo Vision),跨距至少要12cm才能夠做出3D立體成像,對於小型化的機器人商品因無法使用過寬的跨距,有關於跨距問題在未來仍必須在技術上突破。

9 Point Gray立體視覺模組

結語

  本期我們為各位介紹關於東京大學石川正俊教授所主持之高速視覺技術,並利用高速視覺技術所發展之相關應用。在近兩年當中,已經有愈來愈多的廠商結合視覺技術來強化本身原有產品之應用,尤以產業用機器人為大宗。隨著IC處理器製程技術更加進步之際,也將會推動視覺技術更往前邁進,並可將視覺技術結合其他感測技術後提供機器人產品更加敏銳之環境感測能力。

在下一期文章當中,將介紹日本產業技術總合研究所(AIST)的共通性雙足機器人開發平台HRP-3P與相關機器人之研發成果。


資料出處精密機械研發中心 董成偉

http://www.robotworld.org.tw/index.htm?pid=10&News_ID=1557