RK3588平台上的Android视频采集步骤详解

RK3588-hdmiin

这个项目采用瑞芯微的rk3588作为主控芯片，运行Linux操作系统。mipi摄像头采集图像数据后将数据传输给rk3588。随后会开启2个线程，其中1个线程将摄像头采集的图像数据进行编码，这里可以参考我的上一篇博客。随后将编码后的h264数据放入队列中。另一个线程从队列中取出数据，交给ffmpeg处理。ffmpeg会将这些h264数据流打上时间戳，然后通过srt网络通信发送到ubuntu的srt服务器上，windows上的ffplay会从srt服务器上拉流，最后解码并在屏幕上显示出来。

在使用opencv的VideoCapture获取网络摄像头视频时，一直在open时返回false。原因在与opencv编译过程中没有ffmpeg。rk3588使用ffmpeg实现硬件解码。

RK3588 HDMIIN HDMI转MIPI-CSI LT6911UXC/LT6911UXE 调试指导

hdmi-in Camera最大支持3个。

配置 PWM 主要有以下三大步骤：配置 PWM DTS 节点、配置 PWM 内核驱动、控制 PWM 设备。

（GMII采用8位接口数据，工作时钟125MHz，因此传输速率可达1000Mbps，虽然RGMII信号线减半，但TXC/RXC时钟仍为125Mhz，为了达到1000Mbit的传输速率，因为RGMII 在时钟上升沿，下降沿都采集数据）PHY在发送数据的时候,收到MAC过来的数据(对PHY来说,没有帧的概念,对它来说,都是数据）然后把并行数据转化为串行流数据,再按照物理层的编码规则把数据编码,再变为模拟信号把数据送出去，收数据时的流程反之。当时钟频率为2.5MHz时，对应速率为10Mb/s。

在RK3568平台上，我们可以利用Android操作系统的特性和RK3568芯片的硬件加速功能来实现高效的视频编码。本文将详细介绍RK3568平台上视频编码的工作原理，并提供相应的源代码示例。其次，我们需要获取RK3568平台的开发板或设备，并确保其与开发环境连接正常。，我们可以高效地进行视频编码，并将编码后的数据写入输出文件。希望本文能够帮助您理解RK3568平台上视频编码的基本原理，并为您的开本原理，并为您的开发工作提供参考。数据传入编码器进行编码，然后从编码器的输出缓存中获取编码后的数据。

v4l2 视频采集流程程序 /******************v4l2.c******************/ #include #include #include #include #include #include #ifdef ANDROID_ENV #define LOG LOGV #else #define LOG // #endif

1. 打开设备文件 int fd; fd = open("/dev/video0",O_RDWR | O_NOBLOCK,0); 通常来说，驱动应该支持read/write和mmap两种传递帧数据的方式，但是较多情况下，采用的是mmap方式，如果应用通过read/write来和驱动进行数据交互，则在打开设备的时候设置为阻塞模式或者非阻塞模式，都可以，但是如果是应用是使用mmap

更多内容可以B站搜迅为RK3588开发板。

V4L2 (Video4Linux2) 是 Linux 内核中的一个框架，提供了一套用于视频设备驱动程序开发的 API。它是一个开放的、通用的、模块化的视频设备驱动程序框架，允许 Linux 操作系统和应用程序与各种视频设备（如摄像头、视频采集卡等）进行交互。V4L2 提供了一个通用的 API，使应用程序能够访问和控制视频设备，包括获取设备信息、设置设备参数、采集视频数据、控制设备状态等。V4L2 还提供了一个统一的视频数据格式，允许应用程序在处理视频数据时无需考虑设备的具体格式。

hdmi-in Camera方式支持NV24格式。

📢RKMedia是RK提供的一种多媒体处理方案，可实现音视频捕获、音视频输出、音视频编解码等功能。

RK3588 RK628D调试HDMI-IN

上一篇我们讲解了如何编写基于V4L2的应用程序编写，本文主要讲解内核中V4L2架构，以及一些最重要的结构体、注册函数。厂家在实现自己的摄像头控制器驱动时，总体上都遵循这个架构来实现，但是不同厂家、不同型号的SoC，具体的驱动实现仍然会有一些差别。读者可以通过本文了解各个结构体与对应的摄像头模块、SoC上控制器模块、以及他们之间接口关系，并能够了解这些硬件模块与V4L2架构之间关系。下一张我们基于瑞芯微rk3568来详细讲解具体V4L2的实现。

Rockchip_基于 DRM 框架的 HDMI 开发指南