# 运动障碍者是怎么用触摸屏的 \[触屏系列Vol.2]

_这是触屏系列的第二篇文章，我们接着聊无障碍的技术。_

\


假如有一天你得了帕金森症（假如！），双手乱颤不听使唤，还可以快乐地和手机玩耍吗？

\# 一句话总结

运动障碍有很多种类，目前也有对应无障碍的交互来帮助运动障碍者和触屏进行交互，例如语音，眼动，手掌触控等。

\


目录

* _什么是运动障碍_
* _触摸屏出现之前_
* _触摸屏出现之后_
* _不需要触摸的交互_
* _硬核时刻：模板匹配_

\


### 什么是运动障碍

帕金森是一种神经系统疾病，常见的症状为双手颤抖，僵硬，动作迟缓。在人机交互领域里，我们把肢体运动不协调的用户统称为运动障碍。因为一般大家会用手来操作各种设备，因此这里更多指的是手部运动障碍的用户。

一般来讲，手部运动障碍有两种原因造成：1. 临时性 2. 病理性。第一种比如运动太剧烈把手腕崴住了（狗头，或者搬砖的时候两手被占用腾不出空闲（以及双手打字以证清白的时候），由于手被临时占用或受伤，都没法正常地和触屏进行交互。另一种原因，是一些病症会影响到手部的运动，根据WebAIM \[1] 的总结，大致有这么几种：

* _脊髓受伤，比如外伤导致的瘫痪_
* _失去双手/手部不健全_
* _小儿麻痹，导致运动不协调_
* _肌肉营养不良，肌肉萎缩症_
* _帕金森_
* _关节炎_
* _脊柱裂等先天缺陷_

\


<figure><img src="https://pic1.zhimg.com/80/v2-631e6d8bead28364790e4f84b0768fcc_1440w.webp" alt="" height="443" width="800"><figcaption><p>（手指关节炎的X光图片[2]，这种情况下拿起手机都很困难，更别说点屏幕了 ）</p></figcaption></figure>

说起手部运动障碍，我可是经验充足……本人曾经两次右手骨折，还有一次住院四肢无力……所以每个人都可能会遇到手不方便的时候。那么这些时候我们如何和设备进行交互呢？

\


### 触摸屏出现之前

在没有触摸屏的时候，大家一般用物理按键——比如键盘、鼠标——和机器进行交互。这两个设备都有其对应的无障碍设计。对于鼠标，很多肌肉萎缩或者运动不协调的用户没办法精确的移动双手，所以点击屏幕上的小目标会变得十分困难。

针对这个问题，许多奇形怪状的鼠标替代品就出现了（也许你还见过一两个）。比如轨迹球和摇杆：

<figure><img src="https://pic1.zhimg.com/80/v2-5157eb7aca09e33e57f9976abe8cffb4_1440w.webp" alt="" height="300" width="718"><figcaption><p>（轨迹球和摇杆鼠标）</p></figcaption></figure>

轨迹球的使用方式就是滑动中间那个又大又圆的球，你可以用手指滑，也可以用整个手掌滑，甚至用你的手肘或者下巴滑。由于滚动的交互，轨迹球一般比鼠标好控制一些，不会产生“轻轻一碰就把光标移动很远”的现象，因此许多手部运动不灵活（甚至为了防止鼠标手）的用户都会用它来代替鼠标。摇杆鼠标也是类似的使用体验。

对于键盘，有专门的单手键盘，把所有的按键分配到更少的键位上：

<figure><img src="https://pic2.zhimg.com/80/v2-d068f96e4f24c1d6581addd4f27d7d3d_1440w.webp" alt=""><figcaption><p>（比如这款键盘，按下Shift可以打绿色的字母，一只手就可以操作）</p></figcaption></figure>

\


#### 触摸屏出现之后

触摸屏的出现，代表了智能手机的普及，科技的进步，但并不一定代表对运动障碍用户的便利。由于触屏点击需要（1）一个手指（2）准确点在屏幕上 （3）维持一定时间，很多运动障碍患者是做不到这三点的。例如小儿麻痹症的患者，由于不能控制单个手指，点击的时候经常会有多个手指甚至一个手掌都按在屏幕上：

<figure><img src="https://pic4.zhimg.com/80/v2-e0a3c17ffd5057008332fd2fc14208bb_1440w.webp" alt=""><figcaption><p>（一位小儿麻痹用户点击的时候，会把多个手指一起放在屏幕上 [3]）</p></figcaption></figure>

\


再或者，帕金森患者由于缺乏对肌肉的控制，在点击屏幕的时候手会一直颤抖，无法停留在屏幕上（或者被屏幕识别成双击）。一个对运动障碍用户的研究显示 \[4]，不同的用户点击屏幕时被识别的区域千差万别：

<figure><img src="https://pic3.zhimg.com/80/v2-bc511649904afeb67c84158088e0e656_1440w.webp" alt="" height="317" width="428"><figcaption><p>(不同运动障碍用户点击屏幕的时候，和屏幕产生不同的接触形状，有人直接把整个手压了上去。十字代表他们想要点击的目标。如果按照我们以前介绍的触屏算法，屏幕基本上都会判断错误)</p></figcaption></figure>

\


是时候介绍我学长Martez的工作了！2016年，他凭着这篇工作\[4] 获得了人机交互会议CHI的最佳论文：一个提高运动障碍用户点击准确率的设计。大概的思路是这样的（具体算法请移步&#x5230;_&#x786C;核时刻_ )：对于一个运动障碍的用户，先让他对屏幕点一会儿，把这些点击都存起来。当用户产生新的点击时，和之前的点击数据进行匹配，找到最相似的那个，推断出点击的坐标。流程类似于配置指纹识别，先对着手机按来按去让手机了解你的指纹，之后解锁的时候，手机就会把手指的图像和之前存储的指纹进行匹配。

\


目前来看，对于运动障碍用户的无障碍触屏设计似乎还不多，更多的设计把焦点放在了“触摸”以外的交互上。

\


\
不需要触摸的交互

除了触摸以外，触屏还可以通过声音，或者眼睛来控制。譬如用语音告诉屏幕你想做什么——苹果公司在这方面依然是做的最好的。如果你想试一试的话，打开iOS的设置—辅助功能—语音控制（目前只支持英语……）。然后你就可以说一些命令，比如”回到桌面“，"打开微信"，或者"左滑"，"返回”。

<figure><img src="https://pic1.zhimg.com/80/v2-d6688e02574bfe9ae659e9e15cf54778_1440w.webp" alt=""><figcaption><p>(在主界面你也可以说“显示应用名称”或者“显示数字”让屏幕对每个可以点击的目标进行编号，然后说出编号就可以点击对应的应用)</p></figcaption></figure>

\


一个苹果对语音控制的宣传视频，看了之后你会有更直观的了解：

[【苹果官方广告】语音控制\_哔哩哔哩 (゜-゜)つロ 干杯\~-bilibili​www.bilibili.com/video/BV1yE411u7tj![](https://pic3.zhimg.com/v2-ff8f42547e4b7cfdc0ec2a572bbee73e_180x120.jpg)](https://link.zhihu.com/?target=https%3A//www.bilibili.com/video/BV1yE411u7tj)

\


眼动是另一种交互的方式，对于嘴部肌肉萎缩无法说话的人，通过眼球运动也可以和屏幕中的元素交互。

<figure><img src="https://pic1.zhimg.com/v2-4c65cb2a45f17ff594af060217e36c1c_b.jpg" alt="动图封面" width="760"><figcaption><p>（微软的眼动输入法，这种交互需要购买专门的眼动追踪仪，因此普及程度不是很高）</p></figcaption></figure>

\


还有人会用嘴巴叼住一杆笔来点屏幕，经济实用，就是有点费事：

<figure><img src="https://pic2.zhimg.com/80/v2-98e6ef9f6f34ee65de05efa27d06c5cd_1440w.webp" alt="" height="428" width="570"><figcaption><p>(这样一杆笔卖75刀，相比其他无障碍硬件设施已经很便宜了。图片来自Etsy.com)</p></figcaption></figure>

\


\


#### 硬核时刻：模板匹配

_这里是硬核一点的知识，面向想要进一步了解的同学们：）_

这里我们详细讲一下前文的工作：屏幕是如何通过收集数据来提高运动障碍用户的点击准确度的。首先，我们会让用户点击屏幕上的一个十字，在不同位置点击四次，然后屏幕收集到了四个点击的形状：

<figure><img src="https://pic3.zhimg.com/80/v2-cd97b444c594e0d9d79f89546bc42ab2_1440w.webp" alt="" height="295" width="738"><figcaption><p>（可以看到，第1，2，4次点击用户按下了两个手指，第三次按下了三个手指）</p></figcaption></figure>

\


收集完毕后，如果用户再次点击屏幕，屏幕就会将新的点击和之前存储的四个点击形状进行模板匹配，找到形状上最相似的那一个。匹配的方式有很多，这里不进行详述。最后就用匹配到的目标点作为本次点击的目标位置。

<figure><img src="https://pic2.zhimg.com/80/v2-58fd67a04a489524e45f3c4b41ed9461_1440w.webp" alt="" height="184" width="186"><figcaption><p>（当新的点击出现时（绿色形状），屏幕将之与存储的点击图像进行比对，发现最相似的图案是第一次点击，就把第一次点击时目标的位置当作本次点击的位置）</p></figcaption></figure>

***

\
很多时候我们会把科技的进步视为理所当然，在欣然接受创新带来的好处时忘记了很大一部分身有残疾的用户。无障碍的目的，就是要让具有不同能力的人都能相同地体验到科技带来的便利，无论是视障，听障，运动障碍，或者老龄化用户——而人机交互中的研究会让这个目标越来越接近现实。

\


> 文章引用：\
> \[1] Motor Disabilities [https://webaim.org/articles/motor/motordisabilities](https://link.zhihu.com/?target=https%3A//webaim.org/articles/motor/motordisabilities)\
> \[2] Telescoping Fingers in Rheumatoid Arthritis [https://www.nejm.org/doi/full/10.1056/NEJMicm1905982](https://link.zhihu.com/?target=https%3A//www.nejm.org/doi/full/10.1056/NEJMicm1905982)\
> \[3] Slide to unlock [https://www.washington.edu/boundless/ischool-accessibility/](https://link.zhihu.com/?target=https%3A//www.washington.edu/boundless/ischool-accessibility/)\
> \[4] Martez E. Mott, Radu-Daniel Vatavu, Shaun K. Kane, Jacob O. Wobbrock. 2016: Smart Touch: Improving Touch Accuracy forPeople with Motor Impairmentswith Template Matching
