百度360必应搜狗淘宝本站头条
分布式事务框架grpc框架shiro框架java日志框架框架图
当前位置：网站首页 > 技术文章 > 正文

技术解析|DSP架构应对鸟瞰图的算法

ccwgpt 2024-10-22 10:15 38 浏览 0 评论

芝能智芯出品


数字信号处理器近年来在智能驾驶中发挥了重要作用，尤其是在视觉处理方面。摄像头的使用激增，车辆对复杂视觉应用的处理能力需求不断提升。


为满足这些需求，DSP的架构需要具备高效性、低功耗和易编程性。围绕“鸟瞰图”（BEV，Bird's Eye View）功能，来介绍一些基础知识。



Part 1

BEV功能简介



汽车视觉系统中，鸟瞰图功能通过组合来自四个鱼眼摄像头（分别安装在车辆前、后、左、右）的图像，生成360度的全方位视图。这种功能不仅能帮助驾驶员消除盲点，提升停车精度，为智能驾驶提供了关键的视觉支持。


为了确保图像处理的精度与实时性，DSP需要处理大量数据，并执行复杂的几何校正和图像拼接任务。


● BEV系统的运行依赖于两个主要模式：校准模式和运行时模式。


在校准模式下，车辆会停在已知图案（例如棋盘格）上，通过鱼眼镜头获取图像，生成顶部的单应性矩阵（homography matrix），该矩阵用于将多个摄像头视角合成为无缝的全景图。校准完成后，车辆可以进入运行模式，在实际行驶中持续应用该校准结果。



车辆在行驶中由于震动、道路不平或其他外部因素可能会导致摄像头位置发生轻微偏移，从而影响原本的校准结果。


为此，DSP提供了在线几何校正功能，通过实时调整单应性矩阵，确保车辆在运行时依然能够生成高质量的鸟瞰图。



Part 2

图像处理流程



BEV功能的实现需要多层次的视觉处理步骤，依次包括：


● 鱼眼镜头去畸变：鱼眼镜头的图像存在显著的几何畸变，OpenCV库中的等距投影模型用于校正这一问题。通过将图像映射到球面坐标系，消除畸变，生成未失真的图像。


● 单应性校正：单应性矩阵是图像拼接的核心，用于将不同摄像头的视角转换为一个统一的平面。通过检测和匹配多个图像中的关键点，生成相应的单应性校正矩阵，确保多视角的图像能够无缝拼接。


● FAST9关键点检测与ORB描述符计算：在图像中找到显著的关键点（例如角点），是实现精确拼接的关键。BEV功能采用FAST9算法来检测关键点，并利用ORB（定向二进制鲁棒独立特征）描述符对这些关键点进行编码，以确保图像特征的稳定性和匹配准确度。


● 光束法平差与捆绑调整：在拼接不同摄像头的图像时，重叠区域可能会出现视觉伪影（如边缘模糊、轮廓线不匹配等）。光束法平差通过优化所有重叠区域的关键点匹配，消除这些伪影，确保输出图像的一致性和精度。


通过鸟瞰图，驾驶员可以清晰地看到车辆四周的环境，避免盲点中潜在的碰撞风险，尤其在狭小空间中停车时尤为有用。


在自动驾驶和驾驶辅助系统中，实时处理和分析车辆四周的环境信息是确保安全驾驶的核心。


BEV能够辅助系统识别行人、障碍物以及其他车辆，提升驾驶决策的准确性。对于大型货车、客车等重型车辆，鸟瞰图提供了更加广阔的视角，有助于安全驾驶和复杂场景下的操作。


随着自动驾驶技术的发展，车辆对视觉处理能力的要求会越来越高，随着更多传感器的集成和数据处理需求的提升，DSP的架构需要进一步优化，以支持更复杂的场景感知和决策系统，AI算法与DSP的结合将进一步提升智能驾驶系统的智能化水平，使车辆能够更准确地理解和适应周围环境。


小结


鸟瞰图实际应用中的一些基础知识可以参考文末的文章。


参考文献：White Paper Bird’s Eye View on Tensilica Vision DSPs

相关推荐

VUE3前端开发入门系列教程二:使用iView框架辅助开发

1、安装iView新框架，支持VUE3npminstallview-ui-plus2、编辑src/main.js，添加以下内容，导入js和css到项目importViewUIPlusfrom...

万能前端框架uni app初探03:底部导航开发

前言本节我们使用uniapp的底部导航功能，点击不同tab会显示不同页面，这个功能在实际项目开发中几乎是必备的。一、基础知识1.tabBar如果应用是一个多tab应用，可以通过tabBar配...

Rust Web 开发框架，前端你可以选择哪个?

Rust构建一切。在如今流行的语言中，Rust可谓是将构建和高效作为自己优美的身姿在大众视野中脱颖而出。它是一门赋予每个人构建可靠且高效软件能力的语言。它有什么特性呢？高性能。Rust速度惊人且内...

连载:前端开发中纠结的Javascript框架(上)

如今，前端开发有着许许多多的框架和库。其中一些好用，一些却不尽人意。通常我们会习惯性运用某一概念，模块或句法。事实上，并没有什么万能工具。这篇文章是关于未来框架的发展趋势——那就是没有框架！我从以下几...

前端开发框架的演进架构:提升用户体验和开发效率

前端开发框架是现代Web应用开发的重要工具，它不仅可以帮助开发者构建复杂的用户界面，还能够提升用户体验和开发效率。随着Web技术的不断发展，前端开发框架也在不断演进，为开发者提供了更丰富、更高效的工具...

Google应用Mesh-TensorFlow框架，让CNN也能处理超高分辨率图像

为了要处理超高分辨率医疗图像数据，Google开发了一种空间数据分区（SpatialPartition）技术，在不牺牲图像分辨率的条件下，分析超高分辨率图像。Google使用Mesh-TensorF...

大模型安全挑战加剧:框架层漏洞成新靶心

近日，360数字安全集团发布了一份关于大模型安全漏洞的报告，揭示了当前大模型及围绕其构建的框架和应用中存在的严重安全问题。报告显示，360近期研究发现了近40个大模型相关的安全漏洞，其中既包括二进制内...

Keras 3.0正式发布:可用于TensorFlow、JAX和PyTorch

机器之心报道编辑：陈萍经过5个月的更新迭代，Keras3.0终于来了。「大新闻：我们刚刚发布了Keras3.0版本！」Keras之父FrancoisChollet在X上激动的...

TensorFlow和Keras入门必读教程（tensorflow与keras版本对应）

导读：本文对TensorFlow的框架和基本示例进行简要介绍。作者：本杰明·普朗什（BenjaminPlanche）艾略特·安德烈斯（EliotAndres）来源：华章科技01TensorFlo...

谷歌官方回应“TensorFlow遭弃”:还在投资开发，将与JAX并肩作战

鱼羊发自凹非寺量子位|公众号QbitAI终于，谷歌出面回应“TensorFlow遭弃”传闻：我们将继续致力于将TensorFlow打造为一流机器学习平台，与JAX并肩推动机器学习研究。这段时...

2025 年的PHP :现代 Web 开发的强大引擎

程序员还在吐槽PHP过时？2025年的PHP8.4直接封神了。看看最近更新的属性钩子、强类型系统，加上Laravel这些框架，老语言早就脱胎换骨。十年前说PHP弱类型容易崩代码的，现在脸疼不？联合类...

前端内卷终结者?htmx如何让开发者告别200行JS只做一个按钮

当你用React写一个点赞按钮需要引入3个状态管理库、编写80行JSX和120行钩子函数时，htmx只需要一行HTML：<buttonhx-post="/like"hx-sw...

NativePHP桌面版V1.0正式发布（元气桌面电脑版下载）

导读：各位小伙伴，使用PHP构建桌面级系统的利器，NativePHP来了。概述NativePHP是一个用于使用PHP构建桌面应用的框架。它允许PHP开发人员使用熟悉的工具和技术创建跨平台的原生应用...

PHP Laravel框架底层机制（php基本框架）

当然可以，Laravel是最受欢迎的PHP框架之一，以优雅的语法和丰富的生态而闻名。尽管开发体验非常“高端”，它的底层其实是由一系列结构清晰、职责分明的组件构成的。下面我从整体架构、核心流程、...

PHP框架之Laravel框架教程:2. 控制器、路由、视图简单介绍

2.控制器、路由、视图简单介绍我们先建立控制器，目录是：app/Http/Controllers，新建控制器Ding.php，代码如下：Ding.php:<?phpnamespaceA...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表