TensorFlow视频帧与静态图像

Question

我在TensorFlow中遇到一个奇怪的问题，我怀疑有一个简单的解决方案。我正在处理视频数据。为了创建训练数据，我曾经ffmpeg将视频帧提取到PNG文件中，然后使用LabelImg创建了边界框数据集。经过训练的网络可以在这些PNG文件上正常工作。但是，如果我使用OpenCV打开视频并将视频中的帧馈送到网络，则根本不起作用。我使用像这样的OpenCV VideoCapture类：video = cv2.VideoCapture(path_to_video)status, frame = video.read()output_dict = run_inference_for_single_image(frame, detection_graph)请注意，这run_inference_for_single_image是TensorFlow库提供的功能，该功能用于对打开并转换为numpy数组的PNG文件进行检测。我得到了一些检测结果，但是准确性几乎降低到了零。相反，如果我将同一帧另存为PNG文件并将该文件馈入网络，则它将按预期工作。我需要更改什么以避免将视频帧另存为PNG文件的步骤？

Answer 1

OpenCV具有以BGR格式加载彩色图像的怪异行为。您可以使用

im = cv2.cvtColor(im, cv2.COLOR_BGR2RGB)

将它们转换为RGB，然后再将其馈送到您的网络中。