基于Blackfin的圖像處理及其性能與CMOS傳感器中ISP的比較

2011-05-29

                                基于Blackfin的圖像處理及其性能與CMOS傳感器中ISP的比較

       在這里，傳統(tǒng)的處理器供應(yīng)商如ADI、TI、NXP等具有不可替代的競爭力。其中ADI公司專為滿足當(dāng)今嵌入式音視頻和通信應(yīng)用的計(jì)算要求及功耗約束條件而設(shè)計(jì)的新型嵌入式處理器Blackfin系列以其突出的性能表現(xiàn)而格外搶眼。

      圖像是人類獲取和交換信息的主要來源，因此，圖像處理的應(yīng)用領(lǐng)域必然涉及到人類生活和工作的方方面面。隨著人類活動(dòng)范圍的不斷擴(kuò)大，圖像處理的應(yīng)用領(lǐng)域也將隨之不斷擴(kuò)大。遍布航天航空、醫(yī)療設(shè)備、通信工程、軍事安防、文化藝術(shù)等眾多方面。近年來，隨著消費(fèi)類產(chǎn)品尤其是拍照手機(jī)、數(shù)碼相機(jī)、數(shù)碼攝像機(jī)等一系列數(shù)碼產(chǎn)品的問世，這些視頻設(shè)備中蘊(yùn)含的圖像信號處理功能也逐漸被人們所認(rèn)知和關(guān)注。而伴隨近年來數(shù)字電視、IP攝像機(jī)、網(wǎng)絡(luò)攝像頭以及監(jiān)控?cái)z像頭這類安防產(chǎn)品的迅速發(fā)展，更表明市場對智能監(jiān)控需求的不斷增長，這也是圖像信號處理技術(shù)不斷豐富和完善的過程。在這些圖像信號處理中，包括自動(dòng)對焦、自動(dòng)曝光、自動(dòng)白平衡以及顏色變換、背光補(bǔ)償?shù)榷际且恍┗镜膱D像處理算法。

      傳統(tǒng)的圖像信號處理是通過專用的圖像處理器完成的。而隨著CMOS技術(shù)的不斷發(fā)展，也出現(xiàn)了將圖像信號處理（ISP）內(nèi)置于CMOS圖像傳感器中的單芯片產(chǎn)品，這類傳感器產(chǎn)品可借助其內(nèi)部集成的功能模塊完成一些圖像信號處理的算法，包括自動(dòng)曝光、自動(dòng)白平衡、顏色變換等這些基本的算法。這類ASIC產(chǎn)品的出現(xiàn)曾一度頗具爭議，因?yàn)殡m然將ISP內(nèi)置于傳感器中具有降低功耗和節(jié)省占用面積的優(yōu)點(diǎn)，但單就手機(jī)應(yīng)用而言，從成本來講，將ISP集成在傳感器上的成本比ISP集成在移動(dòng)多媒體處理器或基帶上要高很多。隨著傳感器分辨率的提高，越來越多的傳感器將只整合輸出數(shù)字信號所必需的電路，而將圖像處理及壓縮等功能集成于移動(dòng)多媒體處理器或基帶中。而從成像質(zhì)量來看，在移動(dòng)多媒體處理器中集成功能強(qiáng)大的圖像處理功能效果更佳，而且此趨勢隨分辨率的提高會(huì)愈加明顯。所以業(yè)界一直有ISP與CMOS傳感器將背離集成的趨勢預(yù)言。但從近年來的CMOS傳感器供應(yīng)商推出的新產(chǎn)品線來看，這一預(yù)言未能兌現(xiàn)。因?yàn)槲覀兛吹?，不斷有一線的CMOS傳感器供應(yīng)商如Aptina、OmniVision推出新的內(nèi)置ISP的CMOS圖像傳感器單芯片產(chǎn)品，并在不斷完善其功能、擴(kuò)展其應(yīng)用領(lǐng)域。目前已推出的這類單芯片產(chǎn)品除擁有包括曝光控制、伽瑪校正、白平衡、色彩飽和度調(diào)節(jié)以及灰度控制等多種圖像處理功能外，還可提供出色的低照度性能，在夜視環(huán)境下還具有優(yōu)異的近紅外響應(yīng)性能，能為攝像頭制造商提供更完善的自動(dòng)白平衡和自動(dòng)曝光功能，圖像性能毫不遜色。一系列優(yōu)異性能使其已由初始的拍照手機(jī)、數(shù)碼相機(jī)、數(shù)碼攝像機(jī)應(yīng)用逐漸發(fā)展到網(wǎng)絡(luò)攝像頭、監(jiān)控?cái)z像頭等新興安防產(chǎn)品領(lǐng)域，其擴(kuò)張態(tài)勢仍在繼續(xù)，大有星火燎原之勢。

      應(yīng)該說在數(shù)碼相機(jī)等追求小巧輕薄的消費(fèi)類產(chǎn)品應(yīng)用中，內(nèi)置ISP的CMOS傳感器存在一定的競爭優(yōu)勢，低功耗和小面積的表現(xiàn)以及隨生產(chǎn)規(guī)模而不斷降低的成本使其成為眾多應(yīng)用廠商的寵兒。在這同時(shí)我們要看到，這種內(nèi)置ISP的CMOS傳感器方案目前還只能完成一些不太復(fù)雜的算法，而隨著智能化要求的不斷提高，消費(fèi)類產(chǎn)品，尤其是視頻監(jiān)控等安防產(chǎn)品都要求更高的視頻處理功能，也就要求更復(fù)雜的算法，而復(fù)雜的算法對主芯片的處理能力提出更高的要求。如傳統(tǒng)上許多監(jiān)控?cái)z像機(jī)基于像素分辨率為NTSC(352×240)或PAL(352×288)的準(zhǔn)普通媒體格式(CIF)，同時(shí)在壓縮格式方面主要采用了不太復(fù)雜的M-JPEG格式，從而對DSP處理性能要求不高。但是隨著視頻監(jiān)控市場的迅速發(fā)展，人們期待更高的圖像清晰度和更高的幀率。在分辨率方面，業(yè)界期待D1（704×576）或者更高的解析度；在編解碼方面，則期待采用復(fù)雜的MPEG-4壓縮格式。同時(shí)，隨著網(wǎng)絡(luò)互聯(lián)的發(fā)展，當(dāng)DVR、DVS或者IP攝像機(jī)作為網(wǎng)絡(luò)終端時(shí)，還需要考慮如何在傳輸過程中占用更少的帶寬，因此MPEG-4正在向壓縮比更高的H.264和AVS的編碼格式演進(jìn)。而這些更為先進(jìn)的視頻信號分辨率和壓縮格式則會(huì)大大提高對核心處理器中處理能力的需求。除了強(qiáng)大的處理能力之外，還需要處理器平臺(tái)提供足夠的靈活性。從目前來看，在壓縮格式方面雖然H.264受業(yè)界青睞，有望成為未來幾年的的主流。但是，由于M-JPEG、H.263、MPEG4和H.264等編解碼算法各有優(yōu)勢，再加上市場需求的多元化，這些標(biāo)準(zhǔn)將會(huì)在一段時(shí)間內(nèi)共存。要使方案具有競爭力，必須對盡可能多的標(biāo)準(zhǔn)給予支持。同時(shí)，媒體處理格式和算法也在不斷更新，當(dāng)更為先進(jìn)的算法出現(xiàn)時(shí)，工程師希望只需在原有解決方案基礎(chǔ)上進(jìn)行基于軟件的簡便的升級，而不是重新設(shè)計(jì)。同時(shí)，視頻監(jiān)控又有其對保密性等安全技術(shù)的特殊要求，無論是商業(yè)還是家庭應(yīng)用，設(shè)備本身都存在著被非法侵入和黑客攻擊的威脅，要充分保障設(shè)備的安全性對產(chǎn)品設(shè)計(jì)無疑是很大的挑戰(zhàn)。在這時(shí)，內(nèi)置ISP的單芯片CMOS傳感器產(chǎn)品就顯示出先天不足的缺點(diǎn)，因其尚不能完成如此復(fù)雜的功能，而要配備單獨(dú)的圖像處理器才能滿足要求。ASIC雖然具有成本優(yōu)勢，但是在應(yīng)對媒體格式、算法的改進(jìn)和升級方面則具有天生的弊端，在音視頻標(biāo)準(zhǔn)不斷演進(jìn)以及算法不斷改進(jìn)的視頻監(jiān)控市場，ASIC顯得遜色很多。