3月31日（周四） 电巢直播《从硬件走向人工智能-机器视觉基础》

电巢直播

  J3 d% b" H  h; O6 S) Q  f
) ?% g7 h6 s) e7 l

直播主题：《从硬件走向人工智能-机器视觉基础》

直播时间：3月31日 晚20：00

直播老师：原华为、中兴光通信大项目研发专家-王伟博士

1、直播内容

    机器视觉是AI技术的主要研究和应用领域，不仅广泛应用于自动驾驶、智能制造和航空航天等高大尚领域，同样应用于你身边的身份确认、安全监控和物品识别，其影响已经渗透到我们生活的各个角落。如果您是一位传统的硬件工程师，又觉得AI技术离你太远，不知如何入手，似乎遥不可及，这门课就是为您准备的。我本人也是硬件工程师出身，以我的亲身经历，从零基础开始学起，第一步先学习FPGA机器视觉所需要的图像入门知识和工具。我们这里学习的目的不是为了在图像领域内进行理论创新，只是为了应用技术，所以我尽量讲求实用，不追求理论深度。如果我讲的一遍听不懂，可以多听几遍，或者用的时候知道在哪里找就行了，也欢迎入群交流（QQ群号：435717099），力求给大家一个全面的视频图像背景知识，为机器视觉的学习和应用打下基础。

    所有例程除开头一段引用的视频外，其余全部为本人在PC和赛灵思开发板上亲手所做，直播内容涉及环境搭建、理论介绍和实操讲解。

  |7 J: r- F. `' h) y7 V! k* H$ F

2、讲师介绍

王伟博士

• 华为光通信资深研发工程师、中兴光通信SDH大项目研发经理
• 国家深圳轨道交通实验室技术总监、美资Oplink通讯公司研发总监、特发信息公司研发总工、美资Lumentum公司（原JDSU）高级研发经理、
• 中国高科技产业化研究会智能信息处理产业化分会理事
• 二十余年一流大企业一线研发和管理经验
• 近三年所带学生竞赛队伍均晋级国家级决赛
  
  ! v) J& S8 x, h4 H
  

3、直播要点

  1、 机器视觉的广泛应用

    农作物成熟度检测

    行为异常检测

2、我们在FPGA上实现的类似项目

    竞赛项目车辆人物语义分割

    左下角为FPGA Ultra96开发板，开发板直连显示器，不需要连PC机，此系统为独立系统，使用的是enet模型。

    竞赛项目车辆识别与跟踪

    同样在Ultra96上实现的车辆跟踪，使用的是yolov2模型。

  FPGA用硬件实现AI算法，处理速度更快，在战场上更容易实现快人一步，在自动驾驶和飞行上反应更为及时，实现农业的科学化种植和人们的行为合规检测等等。

    3、多种FPGA VITIS和AI软件安装方式，包括最新的Window子系统Ubuntu安装方式

• 两种方式：传统虚拟机和新式Window子系统Ubuntu方式安装FPGA软件VITIS、Vivado、Petalinux、        Docker、VITIS AI
• 格式转换和播放工具ffmpeg、ffplay安装
• 虚拟机Ubuntu和GStreamer安装
• Ultra96和KV260开发板环境安装
  
  3 Q- w( |3 @) _# G% G
  ( U. S3 d8 t$ z0 R

    4、图像基础知识入门

• 什么是原始图像的RGB、YUV编码？
• 图像是如何组成的？什么是MB、SLICE和NAL？
• 什么是V4l2摄像头视频采集框架？有什么用？
• 视频为什么要编码？图像是怎么压缩的？
• 什么是帧内预测和帧间预测？
• 常用的IDR、I、P、B帧是什么？
• 主流H264、H265视频压缩技术是如何实现的？
• 视频是怎么传输的？怎么实现超低延迟传输？
  
  
  6 T4 Z4 j8 W7 s2 B

    视频播放选nv12参数时  

   视频播放选nv21参数时

5、媒体框架GStreamer管道介绍与演示

• GStreamer管道与插件介绍
• PC上的GStreamer应用与演示，如格式转换、屏幕录制、文件存贮
• FPGA GStreamer参数与作用
• FPGA GStreamer管道实现的多种功能，如AI识别、码流和识别区控制。
• 视频编码的重要概念和PC、FPGA管道的区别。
  
  
  

    蓝框ROI识别区QP值高  

  蓝框ROI识别区QP值低

4、适合对象

• 电子专业、信息专业、自动化专业、计算机专业大学生和研究生
• 电子类工程师、嵌入式软硬件工程师与FPGA从业者
  
  
  

3 F3 D. y6 v8 K% I

直播主题：《从硬件走向人工智能-机器视觉基础》

直播时间：3月31日 晚20：00

直播老师：原华为、中兴光通信大项目研发专家-王伟博士

回帖提出相关技术问题，老师将在直播中进行答疑!!!

rergr

期待老师人工智能领域的精彩讲解