苹果最近在研究啥?防跌倒检测专利深度分析,老大爷最爱的技术
知情郎·眼|
侃透天下专利事儿
苹果最近在干啥?出了啥新专利?
大家对巨头公司的研发动向比价关注,知情郎今天就聊聊苹果的新专利。
苹果一项名为“使用移动设备检测跌倒”近期曝光了,公布号CN113936422A,公布日是2022年1月14日。
在专利摘要中,苹果表示其设备可以基于移动设备传感器随时监测用户是否跌倒,如果在特定时间内没有移动,还会向紧急号码发起呼叫。
这项功能其实早已在国外应用,曾经还有夫妇表示其真的救人一命。
Apple Watch系列之前也为用户提供了一项“骑行摔倒检测”功能,用户若在骑行中摔倒且1分钟未动,这块手表也会呼叫紧急号码。
可以说,苹果在用户健康方面还是下了很多功夫的,有它的加持也使得Apple Watch非常适合送给家中长辈或运动人群。
01该专利针对人群?老年人、高危人群
具体看下“使用移动设备检测跌倒”苹果这一专利的技术实现细节。
总体看,该专利的目的,用移动设备(蜂窝电话、智能电话、平板电脑、可穿戴电子设备诸如智能手表等)来确定用户是否跌倒,然后再判断用户是否需要救助,若判断需要救助,就会自动向周围、特定号码联系人求救。
这专利实际针对的用户群体也很明确,容易因跌倒昏迷的老年人、以及运动撞击意外昏迷的人、高危环境作业工人等。
老年人就不说了,由于自身年龄以及疾病原因,踏空被撞摔倒昏迷的情形不要太多。
运动人群和高危作业工人,则属于常年运动撞击,保不齐哪次打篮球激烈身体对抗后就有隐伤,建筑工地等高危作业环境的工人,也容易会被各种重物意外撞到昏迷。
所以,苹果的这项专利实用性非常大,不花里胡哨。
这些年智能穿戴设备概念很火很多,外国货、国产货齐齐涌出,大家都说自己很智能!小米手表现在就在卖,也说自己很智能,至于效果,谁用谁知道!
看苹果的技术!
这专利要解决的技术难点就在于系统如何识并判定用户行为属于跌倒且需要救助。
走路踉跄、系鞋带、蹲下休息、屈膝揉腿、打球跑步撞到人等动作经常发生,有时候都很接近跌倒的动作范畴。
所以,如何让机器识别这些不同动作、并最终确定是用户跌倒受伤过重需要救助自动报警呢?
看完专利,知情郎感慨,挺复杂的。
这套技术需要的硬件设备,智能穿戴设备要有运动传感器,高度传感器、位置传感器等配件至少1个以上,包括加速度计、陀螺仪、测高计、气压计、无线收发器或全球导航卫星系统接收器。
下为专利内智能穿戴设备整体架构布局。
硬件配置一应俱全后,苹果工程师开始设计方案。
图为专利附图,也是基本流程,用于确定用户是否已经跌倒和/或可能需要帮助的示例系统100。系统100包括移动设备102、服务器计算机系统104、通信设备106和网络108。
假设一个场景,用户在行走时跌倒在地面。
在跌倒之后,用户可能无法自己重新站起和/或由于跌倒而遭受伤害。
因此,他可能需要帮助,诸如在从跌倒中站起和/或恢复时的身体帮助、治疗跌倒中所受损伤的医疗救助或其他帮助。
作为响应,系统100可将该情况自动通知其他人。
例如,移动设备102可生成通知并将通知传输至通信设备106(电话、手机、电脑等通信设备)中的一个或多个,以将该情况通知一个或多个用户112(例如,看护人、医生、医疗响应者、紧急联系人等),使得他们可采取行动。
但是,也可能是系统100可确定用户经受了外力,但尚未跌倒并且不需要帮助。
例如,用户110在体育活动期间可能已被接触(例如,在打篮球时被另一个人撞到),但未由于接触而跌倒,并且能够在没有其他人帮助的情况下恢复。因此,系统100可避免生成通知并将通知传输至其他人。
问题就来了,如何减少系统误判用户身体情况,毕竟系统是死的,全靠工程师优化系统算法,来提高死机器判断的准确度。
02
苹果专利构思步骤1
多维度搜集用户日常数据
苹果工程师大数据思维一流。
一开始就让硬件设备大规模收集用户的个人信息。
调用可基于先前收集的关于该用户的历史传感器数据、关于该用户的先前活动的历史信息、该用户的个人特性(例如,身体特性、年龄、人口统计等)和/或特定于用户的其他信息对特定用户进行这些确定。
步骤一,其实好理解,这个人的年龄程度、平日运动状况、是否有历史病状,会直接影响系统判定结果,一个骨质疏松、不运动的老年人,稍微被外力撞击跌倒,他要向外求救的概率肯定远大于一个平日健身运动的老年人。
苹果的数据搜集覆盖面也很广,样本涵盖:
进行体育活动时未跌倒的用户的样本群体收集的运动数据,以及从跌倒的用户的样本群体收集的运动数据的数据点。
进行体力活动时未跌倒的用户的样本群体收集的运动数据,以及指示从跌倒的用户的样本群体收集的运动数据的数据点。
它搜集的样本群体范畴很广,例如行走、跑步、骑自行车、打高尔夫、拳击、滑雪、打篮球或任何其他活动)。基于这些信息,苹果可针对每种不同类型的身体活动来确定特定特点或模式。
为什么搜集这些数据?
因为通过大规模的样本,可以统计模型或概率模型来进行判定用户跌倒的危险度,比如很多特定行为、特定姿态、特定倾斜角度等,用户跌倒受伤的可能性会高。反之,用户跌倒受伤的可能性可能更低。
03步骤2,捕捉跌倒轨迹与强度
步骤二,主要为了捕捉用户跌倒前后的各种物理信息,汇总信息后系统根据设定的算法进行判定。
如何捕捉跌倒前后的运动轨迹,从而判定跌倒的强度是否威胁到用户本身?
如图2A所示,当用户移动时,移动设备里的运动传感器会收集信息,以移动设备做个笛卡尔坐标系,x轴、y轴和z轴展开。
所得传感器数据可以时变加速度信号的形式呈现,加速度信号可包括x分量、y分量和z分量,这些是指移动设备102分别相对于移动设备的x轴、y轴和z轴经历的加速度。
每个分量也可被称为加速度信号的通道(例如,“x通道”、“y通道”和“z通道”)。
移动设备可分析加速度信号、并通过计算在概率上确定用户是否已经跌倒。
例如,如果用户已经跌倒,则移动设备可经历相对较强的撞击(例如,当用户的身体撞击地面时)。
也可以可基于移动设备经历的加速度的量值(例如,移动设备的速度的变化速率)、移动设备经历的抖动的量值(例如,移动设备的加速度的变化速率)以及移动设备经历的加速度的振荡行为来识别此类撞击。
处理器会使用加速度信号来确定这些参数中的每一个信息量。
最终,移动设备可分析汇总加速度信号,通过确定的算法以确定用户是否跌倒。
整个算法相对复杂,知情郎就不展开了。
简单描述就是,一个人是否会跌倒的冲撞力是可以被多维度测算的,当用户受到外力冲撞时,传感器就在通过跌倒的过程中将各类信息数据化,并传输给处理器测算评估是真摔、还是假摔,超过一定阈值后,确定为真摔!而不是只是身体被撞晃动了下。
当然,苹果工程师也考虑了人跌倒的自我保护方式。
即,人跌倒肯定会摆动手臂、调整姿态来规避跌倒的行为,有这种行为出现也侧面佐证了跌倒行为的实现。
所以传感器也会搜集摆动手臂的幅度、姿态角度来检测摆动运动,汇总数据来确认是否跌倒。
如使用加速度信号(例如,以识别重力方向或惯性z方向)和取向信号(例如,以确定设备相对于重力方向的取向)两者来确定。
图示例跌倒分类器的示意性表示
图示例跌倒传感器融合模块的示意性表示
04
步骤三 如何判定用户
表现出创伤迹象和/或运动损伤
苹果的工程师举了一些实践工作思路来确认用户跌倒后是否受伤。
参考性极大。
判断树
上图为判断树,用于确定用户已经跌倒并且可能需要帮助(在判断树中被指示为“跌倒”)或用户未跌倒,或已跌倒但不需要帮助(在判断树中被指示为“未跌倒”)。
如果用户经历了高撞击(例如,大于第一阈值),并且在撞击后表现出创伤迹象和/或运动损伤,则可确定用户已经跌倒并且可能需要帮助。又如,如果用户经历了中等撞击(例如,小于第一阈值,但大于小于第一阈值的第二阈值),在撞击之前正在执行某些活动(例如,行走、爬楼梯等),在撞击之前正在执行摆动或支撑运动,并且在撞击之后表现出创伤迹象和/或运动损伤,则可确定用户已经跌倒并且可能需要帮助。否则,可确定用户未跌倒,或已跌倒但不需要帮助。
虽然附图中示出了示例判断分支,但这些仅仅是例示性示例。在实践中,判断树的判断分支可以根据具体实施而变化。
在一些情况下,跌倒检测器可以是贝叶斯分类器。例如,可在给定一组特征的情况下计算跌倒的后验概率:
p(fall|f1,f2,f3,...)=p(f1|fall)p(f2|fall)p(f3|fall)...p(fall)/p(f1,f2,f3,...),其中f1,f2,f3,..是从加速度信号和取向信号计算的特征(例如,撞击量值、抖动、到第三过零点的时间、撞击前活动、支撑或摆动的存在和/或从样本群体确定的撞击后特征),并且p(fall)是跌倒的先验概率,其可基于来自样本群体的年龄、性别和/或其他生物识别信息确定。
类似地,不是跌倒的撞击的后验概率可被计算为:(ADL|f1,f2,f3...)=p(f1|ADL)p(f2|ADL)p(f3|ADL)...p(AL)/p(f1,f2,f3,...),其中ADL表示每日生活的活动,这些活动不包含用户跌倒的任何实例。比值p(fall|f1,f2,f3,...)/p(ADL|f1,f2,f3,...)大于阈值时,移动设备102可确定已经发生跌倒。在实践中,阈值可以根据具体实施而变化。
知情郎比较佩服的地方是,苹果的工程师做的可真细,具体还细分了为跌倒的具体原因,是被东西绊倒的还是自己滑倒、或者由于脱水而晕厥的跌倒情况。
要求系统通过跌倒的姿势、手臂摆动角度、身体倾斜度,来区分跌倒的原因。
不过这部分专利说明,在知情郎看来也未说明白苹果设备如何确认用户跌倒有受伤迹象,他仅仅就是通过跌倒姿势角度变化的幅度、跌倒时各方向的强度、以及对比日常用户样本数据在臆测。
实际,跌倒擦破点皮膝盖关节落地部位有点痛,再正常不过的事,这也算不上创伤的程度。
这个环节更多就是象征性的意思意思。
05
步骤四:
如何确定用户跌倒后需要救助
这是最难的步骤,也是最简单的步骤。
因为跌倒对人而言是常态, 不可能随便一个跌倒就需要呼叫紧急联系人,除非是跌倒受创较重、无法行走或者昏迷的人。
所以,对苹果工程师而言,这步是最核心的。
但从技术实现角度而言,这也是最简单的,因为跌倒人长时间不动肯定有问题了,自然要警报了。
看上面这附图,知情郎简单举2个例子,苹果是如何设定警报器遇险呼叫或者自动取消呼叫的工作原理。
针对那些跌倒后30秒过去用户没有移动情况的报警措施,大家也可以理解,要人跌倒30秒,传感器检测不到人任何移动迹象,很大几率这个人是昏迷或者创伤较重疼痛难以移动。
所以,苹果工程师的逻辑也就直接,一旦检测用户有摔倒的行为,且确认为摔倒不动30秒后,自动报警。
具体设备原理运作如下,
移动设备以“正常”状态1202开始。
在检测到跌倒标志(例如,传感器测量值和指示跌倒的其他信息的组合)时,移动设备转换至“可能跌倒”状态1204。
在检测到跌倒之后的停顿期TQ时,移动设备转换至“警示”状态1208b,警示用户检测到跌倒并通知用户可能向第三方(例如,紧急响应方)发送遇险呼叫。
移动设备转换至“等待”状态1206b并且等待用户可能的移动。如果在传输跌倒警示之后的“超时”时间段(例如,30秒)过去期间而未检测到用户移动,并且在该时间期间检测到连续的停顿期(例如,TLL=10秒),则移动设备转换至“SOS”状态1212并传输遇险呼叫。
然后移动设备返回至“正常”状态1202。
如何解决用户摔倒但很快恢复、无需警报的情况?
苹果设计师的思路也同样直接,设备检测用户摔倒后,在短时间内即可走步移动,即确认用户无恙,取消警报。
具体工作原理如下,移动设备以“正常”状态1202开始。在检测到跌倒标志时,移动设备转换至“可能跌倒”状态1204。
在跌倒之后检测到某些类型的移动(例如,走步移动、站立移动、高动态移动,或指示用户恢复的任何其他移动)时,移动设备转换至“等待”状态1206a。
在过去了25秒而未检测到停顿期TQ时,移动设备返回至“正常”状态1202。
然后移动设备返回至“正常”状态1202。
例如,如果用户已跌倒但表现出恢复的迹象,并且在跌倒之后继续移动很长时间。在这种情况下,移动设备可避免警示用户或自动为用户寻求帮助。
看完整个专利,知情郎也只是拿最核心的要点和步骤抽丝剥竹写写概要,遗漏的地方很多,且专利内含有大量的算法测算分析跌倒轨迹,挺有意思。
大概学数学、学统计学的朋友会拿去研究!
喜欢抄作业抄公式抄算法的智能手表公司直接公式借鉴就好了,人家做的很全面了。
?原文标题:苹果最近在研究啥?防跌倒检测专利深度分析,老大爷最爱的技术?
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论