觸摸已被證明是對重要的靈巧操控的 機器人。最近，由于其低成本和豐富的信號，GelSight傳感器引起了基于學(xué)習(xí)的機器人的極大興趣。

基于學(xué)習(xí)的方法在GelSight傳感器上能很好地工作的原因是，它們可以輸出高分辨率的觸覺圖像，從中可以估算出通常對機器人控制至關(guān)重要的各種特征，例如物體的幾何形狀，表面紋理，法向力和剪切力 。觸覺圖像可以輸入到基于CNN的標(biāo)準(zhǔn)計算機視覺管道中，從而可以使用多種不同的基于學(xué)習(xí)的技術(shù)：在Calandra等人中。2017年，在Tian等人的文章中，對以自我監(jiān)督方式收集的GelSight數(shù)據(jù)進行了訓(xùn)練成功分類器的培訓(xùn)。2019 Visual Foresight，一種基于視頻預(yù)測的控制算法用于使機器人完全基于觸覺圖像來滾動模具，并且 Lambeta等。2020年，將基于模型的RL算法應(yīng)用于使用GelSight圖像進行的手動操作。

不幸的是，由于它的大尺寸以及僅在一側(cè)敏感，因此在實際的實際情況下應(yīng)用GelSight傳感器仍然具有挑戰(zhàn)性。在這里，我們介紹了一種基于GelSight的新型，更緊湊的觸覺傳感器設(shè)計，該設(shè)計可實現(xiàn)全向感測，即使傳感器 像人的手指一樣在各個側(cè)面都靈敏，并說明這如何為感覺運動學(xué)習(xí)開辟新的可能性。我們通過教一個機器人拾取電插頭并純粹根據(jù)觸覺反饋將其插入來證明這一點。

GelSight傳感器

標(biāo)準(zhǔn)的GelSight傳感器（如左下圖所示）使用現(xiàn)成的網(wǎng)絡(luò)攝像頭來捕獲硅膠凝膠皮膚變形的高分辨率圖像。凝膠皮膚的內(nèi)表面用彩色LED照明，為觸覺圖像提供足夠的照明。

GelSight樣式傳感器（左側(cè)）與OmniTact傳感器（右側(cè)）的比較

現(xiàn)有的GelSight設(shè)計是平坦的，敏感區(qū)域較小或僅提供低分辨率信號。例如，先前版本的GelSight傳感器可提供高分辨率（400x400像素）圖像，但又大又平坦，僅在一側(cè)提供靈敏度，而商用OptoForce 傳感器（最近被OnRobot停產(chǎn)）是彎曲的，但僅提供力讀數(shù)作為單個3維力矢量。

OmniTact傳感器

我們的OmniTact傳感器設(shè)計旨在解決這些限制。它以緊湊的外形在其曲面上提供了多方向和高分辨率感測。與GelSight相似，OmniTact使用嵌入到硅膠凝膠中的攝像頭來捕獲皮膚的變形，從而提供豐富的信號，從而可以推斷出諸如剪切力和法向力，物體姿態(tài)，幾何形狀和材料特性等多種特征。

OmniTact使用多個攝像頭，使其具有高分辨率和多方向功能。傳感器本身可以用作“手指”，并且可以集成到抓手或機械手中。它比以前的GelSight傳感器更緊湊，這可以通過利用內(nèi)窺鏡中通常使用的微型相機并將硅凝膠直接澆鑄到相機上來實現(xiàn)。