运动障碍者是怎么用触摸屏的 [触屏系列Vol.2]

这是触屏系列的第二篇文章,我们接着聊无障碍的技术。

假如有一天你得了帕金森症(假如!),双手乱颤不听使唤,还可以快乐地和手机玩耍吗?

# 一句话总结

运动障碍有很多种类,目前也有对应无障碍的交互来帮助运动障碍者和触屏进行交互,例如语音,眼动,手掌触控等。

目录

  • 什么是运动障碍

  • 触摸屏出现之前

  • 触摸屏出现之后

  • 不需要触摸的交互

  • 硬核时刻:模板匹配

什么是运动障碍

帕金森是一种神经系统疾病,常见的症状为双手颤抖,僵硬,动作迟缓。在人机交互领域里,我们把肢体运动不协调的用户统称为运动障碍。因为一般大家会用手来操作各种设备,因此这里更多指的是手部运动障碍的用户。

一般来讲,手部运动障碍有两种原因造成:1. 临时性 2. 病理性。第一种比如运动太剧烈把手腕崴住了(狗头,或者搬砖的时候两手被占用腾不出空闲(以及双手打字以证清白的时候),由于手被临时占用或受伤,都没法正常地和触屏进行交互。另一种原因,是一些病症会影响到手部的运动,根据WebAIM [1] 的总结,大致有这么几种:

  • 脊髓受伤,比如外伤导致的瘫痪

  • 失去双手/手部不健全

  • 小儿麻痹,导致运动不协调

  • 肌肉营养不良,肌肉萎缩症

  • 帕金森

  • 关节炎

  • 脊柱裂等先天缺陷

说起手部运动障碍,我可是经验充足……本人曾经两次右手骨折,还有一次住院四肢无力……所以每个人都可能会遇到手不方便的时候。那么这些时候我们如何和设备进行交互呢?

触摸屏出现之前

在没有触摸屏的时候,大家一般用物理按键——比如键盘、鼠标——和机器进行交互。这两个设备都有其对应的无障碍设计。对于鼠标,很多肌肉萎缩或者运动不协调的用户没办法精确的移动双手,所以点击屏幕上的小目标会变得十分困难。

针对这个问题,许多奇形怪状的鼠标替代品就出现了(也许你还见过一两个)。比如轨迹球和摇杆:

轨迹球的使用方式就是滑动中间那个又大又圆的球,你可以用手指滑,也可以用整个手掌滑,甚至用你的手肘或者下巴滑。由于滚动的交互,轨迹球一般比鼠标好控制一些,不会产生“轻轻一碰就把光标移动很远”的现象,因此许多手部运动不灵活(甚至为了防止鼠标手)的用户都会用它来代替鼠标。摇杆鼠标也是类似的使用体验。

对于键盘,有专门的单手键盘,把所有的按键分配到更少的键位上:

触摸屏出现之后

触摸屏的出现,代表了智能手机的普及,科技的进步,但并不一定代表对运动障碍用户的便利。由于触屏点击需要(1)一个手指(2)准确点在屏幕上 (3)维持一定时间,很多运动障碍患者是做不到这三点的。例如小儿麻痹症的患者,由于不能控制单个手指,点击的时候经常会有多个手指甚至一个手掌都按在屏幕上:

再或者,帕金森患者由于缺乏对肌肉的控制,在点击屏幕的时候手会一直颤抖,无法停留在屏幕上(或者被屏幕识别成双击)。一个对运动障碍用户的研究显示 [4],不同的用户点击屏幕时被识别的区域千差万别:

是时候介绍我学长Martez的工作了!2016年,他凭着这篇工作[4] 获得了人机交互会议CHI的最佳论文:一个提高运动障碍用户点击准确率的设计。大概的思路是这样的(具体算法请移步到硬核时刻 ):对于一个运动障碍的用户,先让他对屏幕点一会儿,把这些点击都存起来。当用户产生新的点击时,和之前的点击数据进行匹配,找到最相似的那个,推断出点击的坐标。流程类似于配置指纹识别,先对着手机按来按去让手机了解你的指纹,之后解锁的时候,手机就会把手指的图像和之前存储的指纹进行匹配。

目前来看,对于运动障碍用户的无障碍触屏设计似乎还不多,更多的设计把焦点放在了“触摸”以外的交互上。

不需要触摸的交互

除了触摸以外,触屏还可以通过声音,或者眼睛来控制。譬如用语音告诉屏幕你想做什么——苹果公司在这方面依然是做的最好的。如果你想试一试的话,打开iOS的设置—辅助功能—语音控制(目前只支持英语……)。然后你就可以说一些命令,比如”回到桌面“,"打开微信",或者"左滑","返回”。

一个苹果对语音控制的宣传视频,看了之后你会有更直观的了解:

眼动是另一种交互的方式,对于嘴部肌肉萎缩无法说话的人,通过眼球运动也可以和屏幕中的元素交互。

还有人会用嘴巴叼住一杆笔来点屏幕,经济实用,就是有点费事:

硬核时刻:模板匹配

这里是硬核一点的知识,面向想要进一步了解的同学们:)

这里我们详细讲一下前文的工作:屏幕是如何通过收集数据来提高运动障碍用户的点击准确度的。首先,我们会让用户点击屏幕上的一个十字,在不同位置点击四次,然后屏幕收集到了四个点击的形状:

收集完毕后,如果用户再次点击屏幕,屏幕就会将新的点击和之前存储的四个点击形状进行模板匹配,找到形状上最相似的那一个。匹配的方式有很多,这里不进行详述。最后就用匹配到的目标点作为本次点击的目标位置。


很多时候我们会把科技的进步视为理所当然,在欣然接受创新带来的好处时忘记了很大一部分身有残疾的用户。无障碍的目的,就是要让具有不同能力的人都能相同地体验到科技带来的便利,无论是视障,听障,运动障碍,或者老龄化用户——而人机交互中的研究会让这个目标越来越接近现实。

文章引用: [1] Motor Disabilities https://webaim.org/articles/motor/motordisabilities [2] Telescoping Fingers in Rheumatoid Arthritis https://www.nejm.org/doi/full/10.1056/NEJMicm1905982 [3] Slide to unlock https://www.washington.edu/boundless/ischool-accessibility/ [4] Martez E. Mott, Radu-Daniel Vatavu, Shaun K. Kane, Jacob O. Wobbrock. 2016: Smart Touch: Improving Touch Accuracy forPeople with Motor Impairmentswith Template Matching

最后更新于