xChar
·4 years ago

Hackathon- Lift Bot

Created: October 24, 2021 8:29 PM
Tags: 树莓派

痛点描述

公司搬家后,办公空间和周边环境都的到了很大的提升,唯一体验倒退的,是大楼的电梯。电梯调度算法太烂,每次等电梯都要等5-10分钟不等,每天每人可以花费将近20-30分钟等电梯,公司在海亮大概500人,30*500/60=250小时,每个月5500小时,等于每个月浪费550天工时。同时,访客到来时,也容易留下不好的印象。我时常想,如果能把这些时间节约下来,多好。

怎么解决

找个人,立在电梯口,有人要坐电梯,他就按一下,等电梯到了就通知要做电梯的人来。

使用这种方式,每个月依旧可以节约5280个小时,不过,这是不是有点太蠢了?

所以,我们使用计算机来代替我们做这些事

通过手机发送请求到树莓派,触发舵机按下电梯按钮,启动vision kit,使用深度学习进行计算机视觉识别电梯LED显示屏上的楼层信息,电梯快到时,发送通知去坐电梯。

硬件设备

主机

树莓派Zero W * 2

Untitled

视觉识别

Google Vision Kit * 1

Tensorflow深度学习主板、摄像头、按键、LED、蜂鸣器

Untitled 1

Untitled 2

机械驱动

WS-SG900舵机 * 1

Untitled 3

舵机驱动主板 * 1

Untitled 4

网络部分

两个树莓派各启动了一个flask的web服务,用于接收命令,及发出命令。

舵机所在树莓派

有一个接收按键命令的接口,对接了一个舵机驱动板,用于接收舵机执行命令,并驱动舵机。

计算机视觉所在的树莓派

提供了接收开始计算机视觉识别的接口,调用google的aiy vision主板对电梯的仪表盘进行识别,识别出楼梯向12楼上下3位的位置逼近时,调用飞书接口给对应人发送消息。

模型部分

使用了Google Tesorflow 移动版的mobilenet识别模型,用于进行监督学习分类。识别不同的楼层及上下楼情况。

数据收集

收集了不同楼层上下的图片,两百多张。去除mac的隐藏文件

打标签

分成30个不同的标签,up to 1, down to 1,每个楼层都分为这两类图片

缺陷

时间的关系,模型的参数还没调的很好,识别率还不到80%

结果

获得了2021年公司Hackthon的第一名,并获得一万元的奖金。

Todo

贴一个制作过程及效果的视频

执行表

Loading comments...