Zero-Shot Transfer of Force Map Estimation Across GelSight Mini Sensors
Zero-Shot Transfer of Force Map Estimation Across GelSight Mini Sensors
GelSight Mini 传感器间力图估计的零样本迁移
Abstract: Despite the rapid industrialization of the touch sensor manufacturing process, most of these sensors are still handmade in research laboratories. This complicates standardizing their performance, requiring the repetition of data collection and training models for each unit produced.
摘要： 尽管触觉传感器制造工艺已实现快速工业化，但大多数传感器仍是在研究实验室中手工制作的。这使得标准化其性能变得复杂，因为每个生产出的单元都需要重复进行数据采集和模型训练。
To address this problem, this paper presents a method that can generalize the estimation of 3D force maps across different GelSight Mini sensor units, regardless of the sensor version. Specifically, the method consists of two stages: a domain adaptation stage, in which the input tactile image is reconstructed as a general tactile image using a UniT-based model; and a stage for estimating 3D force maps employing a U-Net network.
为了解决这一问题，本文提出了一种能够跨不同 GelSight Mini 传感器单元泛化 3D 力图估计的方法，且不受传感器版本限制。具体而言，该方法包含两个阶段：一是域适应阶段，利用基于 UniT 的模型将输入的触觉图像重构为通用触觉图像；二是利用 U-Net 网络进行 3D 力图估计的阶段。
Our proposal achieves promising results in both steps, such as an SSIM of 0.9338 +- 0.0358 in the image reconstruction phase and an MAE_F of 1.1294 +- 1.5934(N) in the force estimation phase.
我们的方案在上述两个步骤中均取得了令人满意的结果，例如在图像重构阶段达到了 0.9338 ± 0.0358 的 SSIM（结构相似性），在力估计阶段达到了 1.1294 ± 1.5934 (N) 的 MAE_F（平均绝对误差）。
Paper Details:
- Authors: Julio Castaño Amoros, Pablo Gil
- Subject: Computer Vision and Pattern Recognition (cs.CV); Robotics (cs.RO)
- Date: 18 Aug 2026
- DOI: 10.48550/arXiv.2608.18240
论文详情：
- 作者： Julio Castaño Amoros, Pablo Gil
- 学科： 计算机视觉与模式识别 (cs.CV)；机器人学 (cs.RO)
- 日期： 2026年8月18日
- DOI： 10.48550/arXiv.2608.18240