[Vision]視覺伺服系統 from NSI

一、研究動機與國內外研究現況許多人類的日常動作是以視覺(Vision)接受之訊息為基礎，因此，在不大量使用其他感測訊息或重新設計週遭環境的前提下，若要由機器人(Robot)來執行類似任務，機器人必需具有接收視覺訊息並依其訊息行動之能力，因為機器視覺(Machine vision)能模擬人類的視覺系統而容許其對環境進行非接觸性的測量，所以機器視覺是機器人系統中一項重要的感測器。對於必須與環境互動的系統而言，即時(Real-time)視覺是一種理想的回饋訊號來源。攝影機(Video camera)是一種被動的、非接觸性的、且非破壞性的感測器，它可以在相當大的空間範圍內進行量測、辨識及物件追蹤， 是極理想的感測方式。由於現今之電腦能快速處理視覺資料，以攝影機為感測器之迴授控制系統已實際可行，設計、分析並實現能運用由攝影機獲取之視覺資料並進而與環境互動的“視覺伺服系統”(Visual servoing system)無疑是一個相當具有挑戰性的研究主題，其在理論上和實際上的問題及相關技術的發展與應用已獲國內外學者專家普遍的重視。視覺伺服在機器人控制領域上是一個日漸成熟的研究方向，在控制任務(Control task)由視覺資訊適當定義下，可確保任務執行之精確度，不但不受機器人本身開迴路控制準確度影響，且可因視覺伺服迴授而提升系統穩定度。事實上，精確的攝影機校準(Calibration)已不再是必要的，加上即時影像處理相關硬體價格因多媒體(Multi-media)科技需求而大幅下跌，即時視覺伺服系統之研究與應用價值已備受矚目。實際上，視覺伺服之研究可追溯至1970 年代初期，而最近10 年特別受到重視，它是一個結合即時電腦視覺(Computer vision)、機器人及控制之創新科技領域。在1980 年代，Weiss 首先展開以影像為基礎之視覺伺服控制(image-basedvisual servoing; IBVS)的研究，有別於傳統以笛卡兒空間位置為基礎之視覺伺服(Cartesian-based/position based visual servoing; CBVS)。Feddema 於1989 年完成第一個IBVS 系統之實現。1990 年代初期，Wilson 運用Kalman 濾波器估測物體姿態並藉以改良CBVS 系統。而Corke 提出特徵預測及前饋控制技術達成穩定且高性能之特徵追蹤。在1998 年，Malis 及Chaumette 發展出第一個混合式視覺伺服系統架構，稱之為2.5D 視覺伺服，它以IBVS 控制直線運動之自由度，而運用epipolar geometry 估測所需之旋轉運動；結合了IBVS 及CBVS。由於視覺伺服之研究發展迅速，未來10 年內將可預見更具突破性的研發成果，目前視覺伺服已實際應用於許多領域：1. 製造業自動化應用方面：焊接線追蹤、加工物體抓取及定位、機件組裝2. 軍事應用方面：飛機空中加油、太空梭之自動接合(docking) 。3. 智慧型運輸系統應用方面：汽車導引、飛機自動降落、深海載具操控。4. 模擬人類行為應用方面：打乒乓球及曲棍球、倒單擺平衡控制、擊球及接球。重要參考文獻：
1. S. Hutchinson, G. D. Hager and P. Corke, “A tutorial on visual servo control,”IEEE Trans. on Robotics and Automation, vol. 12, pp. 651-670, Oct. 1996.
2. T. Drummond and R. Cipolla, “Real-time visual tracking of complex structures,”IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no.7,pp. 932-946, Jul. 2002.
3. N. P. Papanikolopoulos, P. K. Khosla and T. Kanade, “Visual tracking of amoving target by a camera mounted on a robot: a combination of vision andcontrol,” IEEE Trans. on Robotics and Automation, vol. 9, pp. 14-35, 1993.
4. E. Malis, F. Chaumette and S. Boudet, “2-1/2-d visual servoing,” IEEE Trans. onRobotics and Automation, vol. 15, pp. 238-250, Apr. 1999.
5. J. Stavnitzky and D. Capson, “Multiple camera model-based 3-D visual servo,”IEEE Trans. on Robotics and Automation, vol. 16, no. 6, pp. 732-739, Dec. 2000.
6. D. Xiao, K. Ghosh, N. Xi and T. J. Tarn, “Sensor-based hybrid position/forcecontrol of a robot manipulator in an uncalibrated environment,” IEEETransactions on Control Systems Technology, vol. 8, no. 4, pp. 635-645, Feb.2000
7. F. Tendick, J. Voichick, G. Tharp and L. Stark, “A supervisory telerobotic controlsystem using model-based vision feedback,” in Proc. IEEE Int’l Conf. onRobotics and Automation, pp. 2280-2285, 1991.
8. E. Dickmanns and F.R. Schell, “Autonomous landing of airplanes by dynamicmachine vision,” in Proc. IEEE Workshop on Applications of Computer Vision,pp. 172-179, IEEE Comput. Soc. Press, Nov. 1992.
二、研究方向及具體建議近年來，即時電腦視覺(Real-time computer vision)、視覺追蹤(Visual tracking)及視覺運動控制(Vision-based motion control)已逐漸成為重要的研究方向。雖然這些研究領域廣泛地涵括了視覺(Vision)、控制(Control)、機器人學(Robotics)和人工智慧(Artificial intelligence)，但他們有一個共同的趨勢，那就是整合性的發展視覺資訊的處理及控制理論。綜觀視覺伺服研究背景，未來發展方向分述如下：
1. 主動式即時視覺追蹤系統(Active visual tracking systems)視覺感測器產生影像空間量測訊號並輸入伺服控制系統，此視覺感測任務本身，在追蹤視覺特徵時，往往亦是一種控制任務，尤其在攝影機方位可即時控制狀況下，更須有效運用其主動功能以擴展視覺感測範圍。結合軟體影像處理技術並搭配適當硬體設備以擷取進而加速即時影像處理，是一有效即時追蹤系統必須改善的方向。實際上，因擷取而導致之時間延遲在即時控制系統的性能上有不可避免的影響，因此，以適當運動模型設計之預測器，有效補償此延遲益形重要。
2. 即時3D 視覺重建(Real-time 3D reconstruction)在實際應用視覺伺服的領域中，三度空間資訊的取得與否，往往影響系統功能的擴充性。此外，在雙眼或多眼視覺之即時控制系統中，影像特徵之對應性(Correspondence)必須有效解決，才能廣泛應用於立體視覺伺服系統。在以笛卡兒空間位置為基礎之視覺伺服控制系統(CBVS)中，若能有效重建3D 資訊，並以即時方式更新資訊，將可大幅改善系統效能，且可擴展其應用領域。
3. 視覺伺服系統架構與分析(Visual servoing system architecture)視覺伺服系統之架構，可朝視覺感測器之安排方式以及後續訊號的分析模式方向進行改良，如近年所發展之混合式視覺伺服系統，結合以影像為基礎之視覺伺服控制(IBCS)及以笛卡兒空間位置為基礎之視覺伺服控制系統(CBVS)之優點以提升系統效能，但仍有實際應用層面的問題及改善的空間。創新的視覺伺服系統架構勢必成為提升系統效能之關鍵。
4. 視覺任務編碼及伺服控制理論(Task encoding and visual servoing)
如何以可量測之視覺訊號確認三度空間控制任務之精確完成，是視覺伺服系統成功與否的首要條件。由於原始控制任務定義於無法直接精確量測之三度空間，重新定義控制任務於適當選定之空間，以確認原始控制任務在視覺感測器未校準的情況下仍可精確完成，勢在必行，此稱之為任務編碼。基於此任務編碼可進一步發展各種迴授控制器，運用控制器之穩健性，在視覺感測未精確校準甚或完全未校準下，精確達成控制目標。
5. 多攝影機視覺伺服系統(Multi-camera visual servoing)由於各種視覺感測器價格日趨便宜，以多攝影機為感測器之伺服系統已經實際可行。基本上，因重疊可視範圍而量測的多餘視覺資訊，可藉以提升系統的穩健性，而非重疊可視範圍系統則可有效擴展感測範圍。此種視覺伺服架構可應用於大尺寸(Large-scale)之視覺伺服任務，精確且迅速的自主完成以往須以眾多人力輔助之大型定位任務。
6. 視覺與其他感測器之混合控制(Multi-sensor-based hybrid control)單純以視覺為感測方式之系統，可有效完成之控制任務可能會受到限制，至於須執行複雜任務之系統，往往必須藉多種感測器以達成控制目標。雖然個別處理單一感測訊號並藉以執行相對應之任務往往可符合實際任務需求，但整合各種感測資訊進而以系統化的方式有效並精確完成整合控制任務，值得持續研究發展，以有效運用多種感測器於複雜環境中執行控制任務。
7. 智慧型保全及遠端監控系統(Tele-operated monitoring and security systems)藉由以影象為基礎之人機介面，使用者可設定控制目標，而由遠端受控體自主完成任務，此架構可有效應用於自動化倉儲管控系統及居家保全系統之監控，提升遠距監控之彈性與可靠度。亦可避免親臨危險的環境中操作， 如太空、深海及高輻射的環境。
8. 視覺伺服導航系統(Navigation based on visual servoing)視覺伺服可應用於各種不同的載具，如行駛於一般道路之車輛的導航、自動駕駛及自動防撞，飛機之自動起飛與降落，以及飛彈之導引及控制，不但在一般生活上可增添便利性及安全性，在軍事上，因不須發射電波而可避免被敵方偵測及干擾任務之執行。