树莓派上利用Tensorflow实现小车的自动驾驶
先抛出大家最关心的——代码地址:
github传送门:https://github.com/Timthony/self_drive
码云传送门:https://gitee.com/tiantianhang/self_drive
基于树莓派的人工智能自动驾驶小车
# 整体流程
- 电机控制
- 摄像头调试
- 道路数据采集
- 搭建深度学习模型,参数调试
- 自动驾驶真实道路模拟
- 参数最终调试
使用方法:
- 先将树莓派小车硬件组装好
- 使用zth_car_control.py来控制小车的前后左右移动,配合zth_collect_data.py来人工操作,使小车在自己制作的跑道进行数据采集。(该过程在树莓派进行)
- 数据采集完成以后使用zth_process_img.py来对采集的数据进行处理,之前当前先完成一些数据清洗的工作。(电脑上执行)
- 使用神经网络模型对数据进行训练zth_train.py,得到训练好的模型。(电脑上执行)
- 在树莓派小车上使用zth_drive和训练好的模型,载入模型,即可实现在原先跑道的自动驾驶。(树莓派上执行)
注意:只需要使用上述提到的代码即可,别的都是一些初始版本或者正在增加的一些新模块。
# 注意事项:
- 赛道需要自己制作,很重要,决定了数据质量。(我是在地板上,贴的有色胶带,然后贴成了跑道的形状)。
- 赛道的宽度大约是车身的两倍。
- 大约采集了五六万张图像,然后筛选出三四万张。
- 摄像头角度问题
# 具体制作流程:
- 小车原始模型,某宝购买玩具车即可,比如:有电机,有自带电池盒(给电机供电)
- 树莓派,摄像头,蓄电电池组(用于树莓派供电)
- 使用一些螺栓,螺柱,亚克力板将树莓派,蓄电电池固定在小车上(具体方法,看手头的工具吧)
- 组装好以后,树莓派通过VNC连接电脑,登陆树莓派,在树莓派安装keras环境,以便***调用训练好的模型。
- 关于小车的控制(电机控制,摄像头采集数据),都在源文件,有注释,大致思路就是通过方向键AWSD来控制方向,使用了pygame的工具包。
- 通过电脑端的wasd方向键手动控制小车(已经VNC连接好)在制作好的赛道上进行图像采集,直线部分按w,左拐弯按a,右拐弯按d等,建议采集50000张以上。
(采集的图像命名要求为,0_xxxx,1_xxxx,其中首位字母就代表了你按下的是哪个键,比如图像是0开头,那么这张图像就是直行,按下的是w键,这些0,1,2,3,4 数字就相当于数据的标签值)
7. 将图片从树莓派拷贝下来,进行数据清洗,使用电脑端的深度学习环境进行模型训练,使用的模型可以自行定义。
8. 将训练好的模型文件.h5拷贝到树莓派,然后通过树莓派调用载入模型,即可处理实时的图像,并且根据图像预测出是0,1,2,3,4等数字,也就表示了树莓派该怎么移动,通过树莓派控制电机即可。
# 正在进行一些改进:
- 使用迁移学习进行fine-tuning是否可以提高精度
- 处理光照问题
- 处理数据类别不平衡的问题
欢迎交流讨论


更多资讯推荐
- 北京打造首个政策先行区:自动驾驶年内尝试真正无人
-
昨天,在北京经济技术开发区朝林广场,无人洗地机“蜗小白”引人关注。当日,经开区正式启动北京市智能网联汽车政策先行区。
北京日报客户端 · 21h前
- 北京6条高速逐步开放自动驾驶测试 逐步尝试安全员撤出
-
近日,市政府办公厅印发《北京市智能网联汽车政策先行区总体实施方案》。在13日上午的发布会上,经开区管委会副主任孔磊透露,政策先行区实施范围包括亦庄新城225平方公里规划范围及大兴国际机场,涵盖城市道路、快速路、高速路等多场景,6条高速、快速路将逐步开放自动驾驶测试。
佚名 · 2天前
- 滴滴自动驾驶发布全球首个5小时连续无接管路测视频
-
今天,滴滴自动驾驶发布全球首支自动驾驶连续5小时无接管视频。滴滴自动驾驶公司COO孟醒,邀请Udacity创始人兼董事长、谷歌无人驾驶项目创始人、被誉为“无人车之父”的Sebastian Thrun参与连线,一起讨论这支视频中的技术亮点。
新民晚报 · 2021-04-08 20:45:09
- 自动驾驶卡车提速,商业化落地还要多久?
-
自动驾驶技术在卡车等B端领域的应用正在提速。4月7日,滴滴自动驾驶子公司发布消息称,该公司计划开启新的自动驾驶卡车业务。硅谷自动驾驶初创公司Gatik和五十铃北美公司也在昨日表示,双方将共同打造自动送货卡车。而不久前,小马智行首次公布了卡车业务品牌“小马智卡”。
武子晔 · 2021-04-08 09:38:49
- 交通的“十字路口”:自动驾驶的未来会是什么样子?
-
科技发展日新月异,交通领域正迎来一个关键的“十字路口”。人类历史上一次发生如此之大变革还是在一百多年前,那时以内燃机为动力的汽车取代了马车。现如今,将人类推向十字路口的是自动驾驶汽车的发明。
读芯术 · 2021-04-03 12:40:05
- 自动驾驶汽车四个关键因素 2040年可达500亿美元规模
-
尽管现今许多厂商尝试将自动驾驶应用在物流、自动驾驶出租车和个人拥有的车辆上,但目前看起来,其仍旧处于初始发展阶段。
iothome · 2021-03-30 08:41:27
- 未来战争:装载AI的美国空军侦察机已经试飞……
-
2020年,美国第9侦察机联队的U-2高空侦查机(外号“Dragon Lady”)通过人工智能自动驾驶实现了飞行,而并非由传统的人工驾驶,这是未来人工智能和现代战争的一个重要里程碑。
读芯术 · 2021-03-23 10:12:51
- 破解停车难题的三大高招,你都知道吗?
-
近年来,城市停车问题日益凸显,停车乱、停车难时有发生,给人们的出行与生活带来诸多不便。有时候,想驾车去某个地方,却常常因为没有停车位而就此作罢。
林中易木 · 2021-03-15 13:30:06