1、多目立体机器视觉传感器及其应用MULTIVIEW STEREO MACHINE VISION SENSOR AND ITS APPLICATIONS2021XX 博士、主任 Ting Wang,PhD,Director训练与黑盒问题训练与黑盒问题我们的方法：多目立体机器视觉传感器我们的方法：多目立体机器视觉传感器 基于双眼仿生匹配 构建光学非欧立体空间 通过数学和物理方法 降低对计算资源的需求行李与计算资源行李与计算资源是否能降低设备成本是否能减少计算资源的需求是否能还原行李箱本来的用途是否有不需要训练的其他方法完成 5万多公里 ADAS道路实测成功应用于 雪、雾、雨、夜 等恶劣天气环境顺利实2、现目标 跟踪、捕捉、测距、定位，效果稳定并在 抗震动、防倾斜、加塞预警、全速域防撞；“袋鼠问题”、“减速带问题”、“不锈钢问题”、“铁丝网问题”、“电线问题”等方面取得突破性成果无需训练体积小巧计算迅捷成本低廉缘起ORIGIN弱视近视色盲独眼单目方案代表：Mob*eye,M*gna基于三角法的双目方案代表：Bos*h、中*慧眼视野窄（4062 度）感知近（3080 米）无色彩（RGB信号丢失）非高清（计算量大）不立体（深度信息弱）智能驾驶的行业的痛点INDUSTRIAL PAIN POINTS IN SMART DRIVING216534多目标多位点效率高反应快视野宽FOV90度距离远0米 13、50200米全色彩高清+亮度信号立体深度信息详尽我们的技术指标（仿生立体机器视觉传感器系统）02468视野FOV测距范围分辨率信号处理量反馈速度跟踪目标数量S（仿生立体）（仿生立体）B（双目三角）（双目三角）M（单单目）目）1.视野：90120度2.信号反馈速度快（17-33毫秒）3.高精度三维监控汽车前、后侧200米以内的空间立体影像。(小于30米亚分米级，30-80米亚米级，80-150米米级，150-200米十米级。)4.雨雪天、夜晚等能见度差的行驶条件下，不影响系统的检测、识别、跟踪。5.多目标障碍物跟踪、检测，目标多点空间标注6.全彩超高分辨率720P、1080P、4K我们的指标OU4、R SPECIFICATIONS倾斜问题颠簸震动变道加塞袋鼠问题技术优势TECHNICAL ADVANTAGES*720/30P 实时路测结果实验结果EXPERIMENTAL RESULTS日间行人雨天高速雨天后视雨夜高速逆光条件雪天，日间雪天，夜晚超大噪声抗干扰目标跟踪定位实验结果EXPERIMENTAL RESULTS竖直放置的不锈钢围栏*720/30P 实时路测结果实验结果EXPERIMENTAL RESULTS铁丝网实时检测围栏纵深实时检测实验结果EXPERIMENTAL RESULTS减速带检测*720/30P 实时路测结果电线实时检测可发现100-200米外的一根电线(无人机适用)5、实验结果EXPERIMENTAL RESULTS减速带检测中科院：达到国际先进水平CAS:INTERNATIONAL ADVANCED LEVEL荣誉HONOR全速域主动防撞变道插车警示后视三维立体监控语音人机交互（智能陪驾）多障碍物实时跟踪障碍物空间相位实时标注障碍物三维距离多点实时标注夜视三维场景立体还原增强现实导航AR NAVI车辆检测VD车道偏移报警LDW车道保持系统车距检测及警告HMW前车防撞预警系统FCWS 碰撞避免或预碰撞系统行人检测PED行人保护系统夜视系统立体机器视觉传感器主机电路板功能与产品FUNCTION AND PRODUCT自动门立体机器视觉传感器及其传感方法（2026、011159434.8）一种多目立体机器视觉预警汽车变道夹塞系统和方法（201710848008.7）一种多目立体机器视觉汽车全速域主动防撞系统和方法（201710848009.1）多目立体机器视觉的汽车前车跟随车距控制系统和方法（201710848578.6）一种多目立体图像信号传输方法和系统（201710742784.9）一种基于多目图像传感器的信号处理方法及系统（201710742781.5）一种手势识别电动轮椅操控的方法（201510846850.8）已申请7项发明专利信息技术 人工智能 机器学习模型及系统的质量要素和测试方法（T/CESA 10362019）信息技术 人工智能 面向机7、器学习的系统框架和功能要求（T/CESA 10372019）信息技术 人工智能 智能助理能力等级评估（T/CESA 10382019）信息技术 人工智能 面向机器学习的数据标注规程（T/CESA 10402019）参与中国电子工业标准化技术协会4项团体标准制定知识产权INTELLECTUAL PROPERTY发明专利（申请 6项）实用新型专利（申请 5项）外观设计专利（申请 2项）计算机软件著作权（申请 3项）专有技术（KNOW-HOW 36项）正在进行的工作应用APPLICATIONS基于仿生立体机器视觉传感器的手势识别汽车驾驶手势识别传感器手势识别控制车辆车窗、音响、空调等设备。可以应用于8、智能轮椅、智能汽车、智能家居、智能吊装等场景，是一种新型的智能控制方式，有效距离可以从厘米级到十米级不等。手势识别控制轮椅基于手势识别的非接触式电梯呼梯系统疫情期间常用呼梯方式s1,t1s2,t2应用APPLICATIONS自动门仿生立体机器视觉传感器可对通过自动门的人员进行多目标人脸识别监测和记录，同时完成安防、考勤和人流监测。系统可以有效避免现有红外传感器门前静止和平行走过两种情况下误开门的状况，有效节能，降低损耗。监控区1判断区2执行区3俯视型多目高空抛物监测传感器双目传感器通过多次探测，获知下落物体与传感器的距离和时间差，求得物体开始下落的大致位置。物体识别率达90%以上。具有不怕强光9、不涉及隐私等问题的特点。抛物抛物应用APPLICATIONS3D实拍裸眼3D展厅13D立体影视媒体国际化专业运营团队。2 企划、创作、拍摄、剪辑、发布全流程体系质量标准。33D广告、影视、3D立体、裸眼3D全媒体兼容解决方案。4自主知识产权涵盖3D影视制作合成等各个制作环节。5以内容为核心，以传播为导向，满足客户个性化需求。3D影视宣传片裸眼3D影视广告相册3D影视广告创作优势 涵盖3D、UHD（超高清）影视内容的策划、编导、拍摄、制作、剪辑、调色、3D立体合成、立体格式输出。用用用用3D3D3D3D讲好中国故事讲好中国故事讲好中国故事讲好中国故事中心业务涵盖3D 实拍设备制造、3D内容创作10、3D内容播放展示全产业链，助力5G新发展裸眼裸眼裸眼裸眼3D3D3D3D展厅视频展板展厅视频展板展厅视频展板展厅视频展板喜喜喜喜迎建党迎建党迎建党迎建党100100100100年！年！年！年！企业裸眼3D宣传片抗击疫情ANTI-COVID19纳米级3D成像技术采用立体视觉算法，基于光学显微镜、电子显微镜、透射显微镜、扫描显微镜和冷冻显微镜等设备，对材料、细菌、病毒等微观物体进行3D成像，以观察其立体结构特征，为研究人员提供视觉立体感知的微观实景图像，精度达50纳米级。透射电子显微镜 纳米金属材料的3D立体对图（纳米级）桐乡市新型冠状病毒感染肺炎应急防治科技计划项目：一种新冠病毒（2019-n11、CoV）快速诊断方法及其纳米尺度立体影像数据库系统（202001011）40万国家社科基金（国家应急管理体系建设研究专项，20万元）：重大突发公共卫生事件中舆情应对预案机制研究（20VYJ037）团队成员TEAM MEMBERXX浙江XX研究院认知与智能研究中心副主任、上海外国语大学客座教授；立体视觉技术专家、曾参与设计全球第一台3D电影摄像机，并在联合利华、福特汽车、三星电子、美国辉门集团等500强工作过。主要负责：项目的统筹，技术方案论证、系统设计、多目立体图像合成信号处理，多目立体图像传感器设计。XX英国利物浦大学计算机博士、清华大学智能技术与系统国家重点实验室博士后、高级工程师；现为浙12、江XX研究院认知与智能研究中心主任、上海外国语大学硕导、科技部中国火炬创业导师、中国科技新闻学会大数据专委会副主任。曾发表论文40余篇，承担多个国家级项目。主要负责：智能机器视觉算法和人工智能机器学习算法的开发与系统搭建，领导程序开发团队。XX浙江大学光电系本、硕、博；高级工程师、瑞典皇家工学院博士后、华东师大精密光谱科学与技术国家重点实验室博士后；阿尔卡特朗讯资深光学工程师。长期从事光传感、光探测、光通讯技术的研发工作。主要负责：传感器光学系统研发，光电信号处理，光学结构设计，多光谱目标检测与跟踪等。负责人,软件光学硬件中心介绍Research Center浙江XX研究院海纳-认知与智能研究13、中心成立于2019年11月。中心依托于嘉兴市人才引进“创新嘉兴精英引领计划”孵化移植创业项目，在研究院的支持和指导下，于机器、人、社会等三个层面，以“认知与智能”为主要研究方向，从事仿生立体机器视觉传感认知技术、仿生智能信息处理技术、人文计算与社会治理的研发和产业化工作。中心立足需求，面向未来，围绕“认知与智能”，拓展相关技术在智慧城市、智慧交通、智能驾驶、智能检测、网络治理、科技传播、教育培训、影视传媒和健康医疗等领域的应用与发展。竭诚欢迎有志之士加盟合作，也期待与全球其他高校业界开展项目合作与联合研发。2017年 项目启动2018年入选 嘉兴市“星耀南湖”精英引领计划2019年成立 研究中心2020年获浙江省首届“青鸿鹄”大赛优胜奖，承担国家项目仿生立体机器视觉认知技术仿生智能信息处理技术人文计算与社会治理三大方向：多目立体机器视觉传感器及其应用Multiview Stereo Machine Vision Sensor and Its Applications2021THE ENDTHANK YOU