欢迎光临小豌豆知识网!
当前位置:首页 > 物理技术 > 光学> 显微镜、图像处理系统及图像处理方法独创技术66485字

显微镜、图像处理系统及图像处理方法

2020-12-14 23:18:53

显微镜、图像处理系统及图像处理方法

  技术领域

  本申请实施例涉及计算机技术领域,特别涉及一种显微镜、图像处理系统及图像处理方法。

  背景技术

  随着人工智能技术的广泛应用,目前已将人工智能技术应用于光学显微镜中,采用光学显微镜中设置的相机采集物品的图像,采用人工智能技术对采集的图像进行处理,得到物品的处理结果。其中,如何通过相机采集物品清晰的图像是处理过程中的关键。

  相关技术中,光学显微镜中仅设置有RGB(Red Green Blue,红绿蓝)相机,采用RGB相机采集物品的图像,但是采用RGB相机采集到的图像中包含的信息量较少,导致采用人工智能技术对图像进行处理时,得到的处理结果准确率较低。

  发明内容

  本申请实施例提供了一种显微镜、图像处理系统及图像处理方法,获取更多的信息量,提高处理结果准确率,所述技术方案如下:

  一方面,提供了一种显微镜,所述显微镜包括置物台、第一分束器、物镜、第一图像采集组件及第二图像采集组件;

  所述置物台位于所述物镜的第一方向;

  所述物镜位于所述第一分束器的第一方向,所述第一图像采集组件位于所述第一分束器的第二方向,所述第二图像采集组件位于所述第一分束器的第三方向,所述第二方向与所述第一方向相反;

  位于所述置物台上的物品表面产生的第一光信号,通过所述物镜传播至所述第一分束器;

  所述第一分束器,用于将所述第一光信号中的部分光信号进行透射,透射后的第二光信号传播至所述第一图像采集组件,所述第一图像采集组件,用于根据所述第二光信号生成所述物品的第一图像;

  所述第一分束器,还用于将所述第一光信号中的部分光信号进行反射,反射后的第三光信号传播至所述第二图像采集组件,所述第二图像采集组件,用于根据所述第三光信号生成所述物品的第二图像。

  在一种可能实现方式中,所述显微镜还包括目镜及观察筒,所述第一图像采集组件包括第二透镜及第一图像采集单元;

  所述目镜位于所述观察筒的一侧;

  所述观察筒位于所述第二透镜与所述第一图像采集单元之间;

  所述第二光信号通过所述观察筒传播至所述目镜。

  另一方面,提供了一种图像处理系统,所述显微镜系统包括显微镜及图像处理设备;所述显微镜包括置物台、第一分束器、物镜、第一图像采集组件及第二图像采集组件;

  所述置物台位于所述物镜的第一方向,所述物镜位于所述第一分束器的第一方向,所述第一图像采集组件位于所述第一分束器的第二方向,所述第二图像采集组件位于所述第一分束器的第三方向,所述第二方向与所述第一方向相反;

  所述图像处理设备与所述第一图像采集组件通信连接,所述图像处理设备与所述第二图像采集组件通信连接;

  位于所述置物台上的物品表面产生的第一光信号,通过所述物镜传播至所述第一分束器;

  所述第一分束器,用于接收所述第一光信号,将所述第一光信号中的部分光信号进行透射,透射后的第二光信号传播至所述第一图像采集组件;

  所述第一图像采集组件,用于根据所述第二光信号生成所述物品的第一图像,将所述第一图像发送给所述图像处理设备;

  所述第一分束器,还用于将所述第一光信号中的部分光信号进行反射,反射后的第三光信号传播至所述第二图像采集组件;

  所述第二图像采集组件,用于根据所述第三光信号生成所述物品的第二图像,将所述第二图像发送给所述图像处理设备;

  所述图像处理设备,用于对所述第一图像及所述第二图像进行处理,得到所述物品的处理结果。

  在一种可能实现方式中,所述图像投影组件包括图像投影单元及第一偏振片,所述第一图像采集组件包括第二偏振片,所述第一偏振片的偏振方向与所述第二偏振片的偏振方向相互垂直;

  所述第四光信号传播至所述第一偏振片;

  所述第一偏振片,用于过滤所述第四光信号中的部分光信号,将剩余的第六光信号传播至所述第一分束器;

  所述第一分束器,还用于将所述第六光信号中的部分光信号进行反射,反射后的第七光信号传播至所述第二偏振片,所述第二偏振片过滤所述第七光信号。

  在另一种可能实现方式中,所述图像投影组件包括图像投影单元及第一偏振片,所述第二图像采集组件包括第三偏振片,所述第一偏振片的偏振方向与所述第三偏振片的偏振方向相互垂直;

  所述第四光信号传播至所述第一偏振片;

  所述第一偏振片,用于过滤所述第四光信号中的部分光信号,将剩余的第六光信号传播至所述第一分束器;

  所述第一分束器,还用于将所述第六光信号中的部分光信号进行透射,透射后的第八光信号传播至所述第三偏振片,所述第三偏振片过滤所述第八光信号。

  在另一种可能实现方式中,所述图像投影组件包括图像投影单元及第一透镜;

  所述第四光信号通过所述第一透镜传播至所述第一分束器。

  在另一种可能实现方式中,所述第一图像采集组件包括第一图像采集单元及第二透镜,所述第二图像采集组件包括第二图像采集单元及第三透镜;

  所述第二光信号通过所述第二透镜传播至所述第一图像采集单元;

  所述第三光信号通过所述第三透镜传播至所述第二图像采集单元。

  在另一种可能实现方式中,所述显微镜还包括目镜及观察筒,所述第一图像采集组件包括第二透镜及第一图像采集单元;

  所述目镜位于所述观察筒的一侧;

  所述观察筒位于所述第二透镜与所述第一图像采集单元之间;

  所述第二光信号通过所述观察筒传播至所述目镜。

  在另一种可能实现方式中,所述第一图像采集组件包括红绿蓝RGB相机;

  所述第二图像采集组件包括:多光谱相机,或者,液晶可调滤光器及单色相机。

  另一方面,提供了一种图像处理方法,所述方法应用于显微镜;所述显微镜包括置物台、第一分束器、物镜、第一图像采集组件及第二图像采集组件;所述置物台位于所述物镜的第一方向;所述物镜位于所述第一分束器的第一方向,所述第一图像采集组件位于所述第一分束器的第二方向,所述第二图像采集组件位于所述第一分束器的第三方向,所述第二方向与所述第一方向相反;所述方法包括:

  位于所述置物台上的物品表面产生的第一光信号,通过所述物镜传播至所述第一分束器;

  所述第一分束器将所述第一光信号中的部分光信号进行透射,透射后的第二光信号传播至所述第一图像采集组件,所述第一图像采集组件根据所述第二光信号生成所述物品的第一图像;

  所述第一分束器将所述第一光信号中的部分光信号进行反射,反射后的第三光信号传播至所述第二图像采集组件,所述第二图像采集组件根据所述第三光信号生成所述物品的第二图像。

  在一种可能实现方式中,所述显微镜还包括图像投影组件及目镜,所述图像投影组件位于所述第一分束器的第四方向,所述第四方向与所述第三方向相反;所述方法还包括:

  所述第一图像采集组件将所述第一图像发送给图像处理设备,所述第二图像采集组件将所述第二图像发送给所述图像处理设备;

  所述图像投影组件接收所述图像处理设备对所述第一图像和所述第二图像进行处理得到的处理结果,将所述处理结果转换为对应的第四光信号,发射所述第四光信号;

  所述第四光信号传播至所述第一分束器;

  所述第一分束器将所述第二光信号与所述第四光信号进行融合,融合后的第五光信号传播至所述目镜。

  在另一种可能实现方式中,所述图像投影组件包括图像投影单元及第一偏振片,所述第一图像采集组件包括第二偏振片,所述第一偏振片的偏振方向与所述第二偏振片的偏振方向相互垂直;

  所述第四光信号传播至所述第一偏振片,所述第一偏振片过滤所述第四光信号中的部分光信号,将剩余的第六光信号传播至所述第一分束器;

  所述第一分束器将所述第六光信号中的部分光信号进行反射,反射后的第七光信号传播至所述第二偏振片,所述第二偏振片,用于过滤所述第七光信号。

  在另一种可能实现方式中,所述图像投影组件包括图像投影单元及第一偏振片,所述第二图像采集组件包括第三偏振片,所述第一偏振片的偏振方向与所述第三偏振片的偏振方向相互垂直;

  所述第四光信号传播至所述第一偏振片,所述第一偏振片过滤所述第四光信号中的部分光信号,将剩余的第六光信号传播至所述第一分束器;

  所述第一分束器将所述第六光信号中的部分光信号进行透射,透射后的第八光信号传播至所述第三偏振片,所述第三偏振片,用于过滤所述第八光信号。

  在另一种可能实现方式中,所述显微镜还包括第二分束器,所述第二分束器位于所述第一分束器的第二方向,所述第一图像采集组件位于所述第二分束器的第二方向,所述目镜位于所述第二分束器的第五方向;

  所述第五光信号传播至所述第二分束器;

  所述第二分束器对所述第五光信号进行分束,分束后的第九光信号传播至所述目镜。

  在另一种可能实现方式中,所述显微镜还包括第二分束器及目镜,所述第二分束器位于所述第一分束器的第二方向,所述第一图像采集组件位于所述第二分束器的第二方向,所述目镜位于所述第二分束器的第五方向;

  所述第二分束器对所述第二光信号进行分束,分束后的第十光信号传播至所述目镜。

  在另一种可能实现方式中,所述显微镜还包括目镜及观察筒,所述第一图像采集组件包括第二透镜及第一图像采集单元;

  所述目镜位于所述观察筒的一侧;

  所述观察筒位于所述第二透镜与所述第一图像采集单元之间;

  所述第二光信号通过所述观察筒传播至所述目镜。

  在另一种可能实现方式中,所述图像投影组件包括图像投影单元及第一透镜;

  所述第四光信号通过所述第一透镜传播至所述第一分束器。

  在另一种可能实现方式中,所述第一图像采集组件包括第一图像采集单元及第二透镜,所述第二图像采集组件包括第二图像采集单元及第三透镜;

  所述第二光信号通过所述第二透镜传播至所述第一图像采集单元;

  所述第三光信号通过所述第三透镜传播至所述第二图像采集单元。

  在另一种可能实现方式中,所述第一图像采集组件包括红绿蓝RGB相机;

  所述第二图像采集组件包括:多光谱相机,或者,液晶可调滤光器及单色相机。

  本申请实施例提供的技术方案带来的有益效果至少包括:

  本申请实施例提供的显微镜,第一分束器对光信号进行反射或透射,以保证光信号可以传播至第一图像采集组件及第二图像采集组件,使第一图像采集组件采集到物品的第一图像,使第二图像采集组件采集到物品的第二图像,由于第一图像和第二图像中包括的图像信息不同,因此可以获取更多的信息量。

  本申请实施例提供的图像处理系统,显微镜中的第一分束器对光信号进行反射或透射,以保证光信号可以传播至第一图像采集组件及第二图像采集组件,使第一图像采集组件采集到物品的第一图像,使第二图像采集组件采集到物品的第二图像,由于第一图像和第二图像中包括的图像信息不同,因此可以获取更多的信息量,图像处理设备对第一图像和第二图像进行处理时,可以依据更多的信息量,得到更加准确的处理结果,提高了处理结果的准确率。

  本申请实施例提供的方法,通过第一分束器对光信号进行反射或透射,以保证光信号可以传播至第一图像采集组件及第二图像采集组件,通过第一图像采集组件采集到物品的第一图像,通过第二图像采集组件采集到物品的第二图像,由于第一图像和第二图像中包括的图像信息不同,因此可以获取更多的信息量。

  附图说明

  为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

  图1是本申请实施例提供的一种显微镜的结构示意图;

  图2是本申请实施例提供的一种RGB相机采集的图像的示意图;

  图3是本申请实施例提供的一种RGB相机和多光谱相机采集的图像的示意图;

  图4是本申请实施例提供的另一种显微镜的结构示意图;

  图5是本申请实施例提供的另一种显微镜的结构示意图;

  图6是本申请实施例提供的一种图像处理系统的示意图;

  图7是本申请实施例提供的另一种图像处理系统的示意图;

  图8是本申请实施例提供的另一种图像处理系统的示意图;

  图9是本申请实施例提供的一种图像处理方法的流程图;

  图10是本申请实施例提供的一种终端的结构示意图;

  图11是本申请实施例提供的一种服务器的结构示意图。

  具体实施方式

  为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

  可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一光信号称为第二光信号,将第二光信号称为第一光信号,将第一图像称为第二图像,将第二图像称为第一图像。

  人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

  人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

  计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实(AugmentedReality,AR)、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。

  机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

  随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。

  本申请实施例提供的方案涉及人工智能的计算机视觉技术或机器学习等技术,通过如下实施例进行说明。

  图1是本申请实施例提供的一种显微镜的结构示意图。参见图1,该显微镜包括置物台11、第一分束器12、物镜13、第一图像采集组件14及第二图像采集组件15。

  置物台11位于物镜13的第一方向,物镜13位于第一分束器12的第一方向,第一图像采集组件14位于第一分束器12的第二方向,第二图像采集组件15位于第一分束器12的第三方向。

  其中,第一方向、第二方向和第三方向用于表示显微镜中的各个结构的位置,第二方向与第一方向是相反的两个方向,第三方向是第一方向和第二方向之间的任一方向,例如,第三方向与第一方向或第二方向之间的角度可以为90度、30度或其他度数。

  在图1所示的显微镜中,第一方向是指下方,第二方向是指上方,第三方向是指右侧,第四方向是指左侧,第五方向是指右上方。例如,第一分束器12的第一方向是指第一分束器12的下方,第一分束器12的第二方向是指第一分束器12的上方,物镜13的第一方向是指物镜13的下方。本申请实施例仅是以上述方式对各个方向进行定义,在另一实施例中,还可以采用其他方式对各个方向进行定义。

  置物台11用于放置待观察的物品,该物品可以是任一类型的物品,例如,物品可以为生物样品,该生物样品可以为肿瘤细胞或其他细胞等。

  在一种可能实现方式中,在置物台11的下方设置有照明光源,该照明光源为物品提供光照,以使置物台11上放置的物品表面产生充足的光信号,避免光照不足导致光信号较少,物品无法成像的问题。其中,照明光源可以为可见(visable)光波段的光源,也可以为波段更宽的光源,如包括部分紫外波段、全部可见光波段及部分红外波段的光源,还可以为其他光源,本申请实施例对此不做限制。

  第一分束器12用于将接收到的光信号分成多个部分,使多个部分的光信号分别向不同的方向进行传播,例如,对接收到的光信号进行透射或反射,得到透射后的光信号和反射后的光信号两部分。其中,第一分束器12可以是由两个三角形玻璃棱镜组成的,也可以是二向色镜像棱镜组成的,或者还可以是由其他棱镜组成的,本申请实施例对比不做限制。

  物镜13是由多个透镜组成的一个透镜组,用于将待观察的物品放大,根据需要,可以采用不同放大倍数的物镜。

  第一图像采集组件14和第二图像采集组件15用于采集物品的图像,第一图像采集组件14采集的第一图像和第二图像采集组件15采集的第二图像不同,第一图像和第二图像中包含的图像信息不完全相同。

  关于图像采集原理:

  本申请实施例中,图像采集组件采集图像的原理为:位于置物台11上的物品表面产生的第一光信号,通过物镜13传播至第一分束器12,第一分束器12将第一光信号中的部分光信号进行透射,透射后的第二光信号传播至第一图像采集组件14,第一图像采集组件14根据第二光信号生成物品的第一图像;第一分束器12将第一光信号中的部分光信号进行反射,反射后的第三光信号传播至第二图像采集组件15,第二图像采集组件15根据第三光信号生成物品的第二图像。

  其中,物品表面产生的第一光信号可以为物品表面反射得到的光信号,也可以是物品透射得到的光信号。

  可以将光信号传播过程中通过的路径称之为光路。即第一光信号沿第一光路传播至第一分束器12,第二光信号沿第二光路传播至第一图像采集组件14,第三光信号沿第三光路传播至第二图像采集组件15。其中,第一光路、第二光路和第三光路是根据显微镜中各个结构的位置确定的,第一光路和第二光路的方向相同,第三光路的方向与第一光路或第二光路的方向垂直。

  另外,第一分束器12中设置的分束镜的角度,可以根据第一图像采集组件14和第二图像采集组件15的位置进行设置,例如,以第一分束器12作为原点,第一图像采集组件14位于第一分束器12的第二方向,第二图像采集组件15位于第一分束器12的第三方向,该第三方向与第二方向之间的角度为90度,则可以设置分束镜的角度为45度,以使反射之后的光信号可以传播至第二图像采集组件15。

  在一种可能实现方式中,第一图像采集组件14包括RGB相机,即第一图像是由RGB相机采集的,RGB相机采集的图像中包括红色通道、绿色通道和蓝色通道的图像信息。其中,RGB相机可以是在单色相机上覆盖拜尔滤波片得到的。

  第二图像采集组件15包括多光谱相机,即第二图像是由多光谱相机采集的,多光谱相机采集的图像中包括多个通道的图像信息,其中,多个通道是指将可见光和不可见光对应的光信号分为了多个波段,每个波段对应一个通道。与RGB相机采集的图像中的图像信息相比较,多光谱相机采集的图像中的图像信息包括更多的波段,包括更多的图像信息。其中,多光谱相机可以是在单色相机上覆盖具有不同波长的窄带滤波片得到的。

  对于RGB相机的红色通道对应的波段来说,多光谱相机可以将该波段进一步进行划分,得到多个不同的波段,从而采集到多个不同的红色通道的图像信息。例如,RGB相机可以获取3个通道的波段的信息,而多光谱相机可以获取16个通道的波段的信息,或者还可以获取25个通道的波段的信息,或者还可以获取36个通道的波段的信息,本申请对此不做限制。

  例如,采用RGB相机采集的图像参见图2,RGB相机中的RGB图像传感器201采用红色、绿色和蓝色三个通道采集图像,分别得到红色通道、绿色通道、蓝色通道对应的单色图像202,将三个通道对应的单色图像进行叠加,得到第一图像。

  例如,采用多光谱相机采集的图像参见图3,多光谱相机中的多光谱图像传感器301采用16个通道采集图像,分别得到16个通道对应的单色图像302,将16个通道对应的单色图像进行叠加,得到第二图像。

  需要说明的一点是,上述实施例中,仅是以第一图像采集组件包括RGB相机为例进行说明,在另一实施例中,第一图像采集组件中可以包括其他类型的相机。

  需要说明的另一点是,上述实施例中,仅是以第二图像采集组件包括多光谱相机为例进行说明,在另一实施例中,第二图像采集组件中可以包括液晶可调滤光器(LiquidCrystal Tunable Filter,LCTF)及单色相机,其中,将LCTF设置到第二图像采集组件对应的光路中,通过电信号调制LCTF,实现在可见光波段到近红外(Near-infrared)波段提供快速连续可调的滤光功能,在某一时刻只能够使对应波段的光信号通过,从而得到不同通道的光信号,将光信号传播至单色相机,单色相机根据接收到的多个通道的光信号生成第二图像。

  或者第二图像采集组件可以包括高光谱相机,高光谱相机与多光谱相机相比较,对波段的划分更加精细,可以提供波段分辨率为1纳米数量级的数百个波段的信息;或者第二图像采集组件可以包括光束分离型的多光谱相机;或者第二图像采集组件可以采用基于法布里-珀罗干涉式光谱成像原理的技术;或者第二图像采集组件可以采用基于电动滤光片转盘的多光谱成像光路,本申请实施例对此不做限制。

  需要说明的另一点是,本申请实施例仅是以第一图像采集组件采集三通道图像,第二图像采集组件采集多通道图像为例进行说明,在另一实施例中,第一图像采集组件或第二图像采集组件还可以采集其他类型的图像,以获取更多的图像信息,本申请实施例对第一图像采集组件及第二图像采集组件采集的图像类型不做限制。

  本申请实施例中,由于多光谱相机可以获取更多波段对应的图像信息,但是多光谱相机与RGB相机相比较,多光谱相机的分辨率较低、信噪比较低,因此设置RGB相机和多光谱相机两种类型的相机,得到的物品的图像中可以具有高分辨率,高信噪比,并且还可以获取更多通道的光信号对应的信息,在不影响图像质量的情况下,可以获取更多的信息量。

  本申请实施例提供的显微镜,第一分束器对光信号进行反射或透射,以保证光信号可以传播至第一图像采集组件及第二图像采集组件,使第一图像采集组件采集到物品的第一图像,使第二图像采集组件采集到物品的第二图像,由于第一图像和第二图像中包括的图像信息不同,因此可以获取更多的信息量。

  图4是本申请实施例提供的另一种显微镜的结构示意图。参见图4,该显微镜包括置物台11、第一分束器12、物镜13、第一图像采集组件14、第二图像采集组件15、图像投影组件16及目镜17。

  本申请实施例中,置物台11、第一分束器12、物镜13、第一图像采集组件14、第二图像采集组件15的位置,以及生成第一图像和第二图像的实施方式与上述图1所示的实施例类似,在此不再赘述。

  其中,图像投影组件16位于第一分束器12的第四方向,第四方向与第三方向相反。

  关于增强现实成像原理:

  本申请实施例中,第一图像采集组件14将第一图像发送给图像处理设备,第二图像采集组件15将第二图像发送给图像处理设备;图像投影组件16接收图像处理设备对第一图像和第二图像进行处理得到的处理结果,将处理结果转换为对应的第四光信号,发射第四光信号;第四光信号传播至第一分束器12;第一分束器12将第二光信号与第四光信号进行融合,融合后的第五光信号传播至目镜17。

  其中,图像处理设备接收第一图像采集组件14发送的第一图像和第二图像采集组件15发送的第二图像,对第一图像和第二图像进行处理,得到物品的处理结果,再将处理结果发送给图像投影组件16。

  其中,第二光信号和第四光信号进行融合,即可将处理结果添加在物品图像中,使用户通过目镜17进行观察时,既可以观察到物品图像,也可以观察到处理结果,将增强现实技术应用于显微镜中,使用户在观察图像的过程中直接了解到处理结果,而不需要再通过其他设备了解处理结果,更加便捷。

  关于偏振片:

  本申请实施例中,第一图像采集组件14和第二图像采集组件15只需要采集置物台11上的物品表面产生的第一光信号成像之后的图像,而不需要采集图像投影组件16将处理结果转换得到的第四光信号成像之后的图像,因此,在第一图像采集组件14和第二图像采集组件15采集图像的过程中,需要将图像投影组件16发射的第四光信号过滤掉。

  在一种可能实现方式中,参见图5,图像投影组件16包括第一偏振片161及图像投影单元162,第一图像采集组件14包括第二偏振片141,第一偏振片161的偏振方向与第二偏振片141的偏振方向相互垂直,光信号通过偏振方向相互垂直的两个偏振片之后可以被过滤掉。

  则第四光信号传播至第一偏振片161,第一偏振片161过滤第四光信号中的部分光信号,将剩余的第六光信号传播至第一分束器12;第一分束器12将第六光信号中的部分光信号进行反射,反射后的第七光信号传播至第二偏振片141,第二偏振片141过滤第七光信号,从而使第四光信号无法传播至第一图像采集单元142,保证第一图像采集单元142仅根据第二光信号生成第一图像。

  其中,第四光信号包括沿多个方向振动的光信号,第一偏振片161可以过滤掉振动方向与第一偏振片161的偏振方向不同的光信号,使振动方向与第一偏振片161的偏振方向相同的第六光信号通过第一偏振片161,该第六光信号对应的反射后的第七光信号的振动方向也与第一偏振片161的偏振方向相同,则第七光信号的振动方向与第二偏振片141的偏振方向垂直,第二偏振片141可以过滤掉第七光信号。

  在一种可能实现方式中,参见图5,图像投影组件16包括第一偏振片161及图像投影单元162,第二图像采集组件15包括第三偏振片161,第一偏振片161的偏振方向与第三偏振片161的偏振方向相互垂直,光信号通过偏振方向相互垂直的两个偏振片之后可以被过滤掉。

  第四光信号传播至第一偏振片161,第一偏振片161过滤第四光信号中的部分光信号,将剩余的第六光信号传播至第一分束器12;第一分束器12将第六光信号中的部分光信号进行透射,透射后的第八光信号传播至第三偏振片161,第三偏振片161过滤第八光信号,从而使第四光信号无法传播至第二图像采集单元162,保证第二图像采集单元162仅根据第三光信号生成第二图像。

  其中,第一偏振片161可以使振动方向与第一偏振片161的偏振方向相同的第六光信号通过,该第六光信号对应的透射后的第八光信号的振动方向也与第一偏振片161的偏振方向相同,则第八光信号的振动方向与第三偏振片161的偏振方向垂直,第三偏振片161可以过滤掉第八光信号。

  在一种可能实现方式中,参见图5,图像投影组件16包括第一偏振片161及图像投影单元162,第一图像采集组件14包括第二偏振片141,第二图像采集组件15包括第三偏振片161,第一偏振片161的偏振方向与第二偏振片141的偏振方向相互垂直,第一偏振片161的偏振方向与第三偏振片161的偏振方向相互垂直,光信号通过偏振方向相互垂直的两个偏振片之后可以被过滤掉。过滤第七光信号和第八光信号的过程与上述可能实现方式类似,在此不再赘述。

  关于第二分束器:

  参见图5所示的显微镜,光信号通过第一分束器12传播至目镜17的过程中,由于第一图像采集组件14和目镜17位于不同的方向上,通过第一分束器12的光信号向第一图像采集组件14和目镜17传播的过程中,需要将光信号分成两部分,一部分传播至第一图像采集组件14,另一部分传播至目镜17。因此,可以设置第二分束器18,第二分束器18位于第一分束器12的第二方向,第一图像采集组件14位于第二分束器18的第二方向,目镜17位于第二分束器18的第五方向。

  在一种可能实现方式中,第五光信号传播至第二分束器18,第二分束器18对第五光信号进行分束,分束后的第九光信号传播至目镜17。其中,第二分束器18可以将第五光信号分为至少两部分。

  其中,第九光信号可以为第二分束器18将第五光信号中的部分光信号反射后得到的光信号,也可以为第二分束器18将第五光信号中的部分光信号透射后得到的光信号。

  可选地,基于上述设置偏振片的可能实现方式,第七光信号传播至第二分束器18,第二分束器18将第七光信号中的部分光信号进行反射,反射后得到的光信号传播至目镜17;第二分束器18将第七光信号中的部分光信号进行透射,透射后得到的光信号传播至第二偏振片141,第二偏振片141过滤透射后得到的光信号。

  可选地,基于上述设置偏振片的可能实现方式,第七光信号传播至第二分束器18,第二分束器18将第七光信号中的部分光信号进行透射,透射后得到的光信号传播至目镜17;第二分束器18将第七光信号中的部分光信号进行反射,反射后得到的光信号传播至第二偏振片141,第二偏振片141过滤反射后得到的光信号。

  在一种可能实现方式中,第二分束器18对第二光信号进行分束,分束后的第十光信号传播至目镜17,用户可以通过目镜观察到物品图像。

  可选地,第二分束器18将第二光信号中的部分光信号进行反射,反射后的第十光信号传播至目镜17,用户可以通过目镜观察到物品图像;第二分束器18将第二光信号中的部分光信号进行透射,透射后得到的光信号传播至第一图像采集组件14,第一图像采集组件14根据透射后得到的光信号生成第一图像。

  可选地,第二分束器18将第二光信号中的部分光信号进行透射,透射后的第十光信号传播至目镜17,用户可以通过目镜观察到物品图像;第二分束器18将第二光信号中的部分光信号进行反射,反射后得到的光信号传播至第一图像采集组件14,第一图像采集组件14根据透射后得到的光信号生成第一图像。

  另外,第二分束器18中设置的分束镜的角度,根据目镜17的位置设置。第一图像采集组件14位于的第二方向与分束镜的垂线之间的角度,与目镜17位于的第五方向与分束镜的垂线之间的角度相同。

  例如,以第二分束器18作为原点,第一图像采集组件14位于第二分束器18的第二方向,目镜17位于第二分束器18的第五方向,该第五方向与第二方向之间的角度为30度,则可以设置分束镜的角度为60度,以使反射之后的光信号可以传播至目镜17。

  关于透镜:

  本申请实施例中,根据光信号进行成像的过程中,需要通过透镜进行成像。

  在一种可能实现方式中,参见图5,图像投影组件16包括图像投影单元162及第一透镜163;第四光信号通过第一透镜163传播至第一分束器12。后续通过第一分束器12之后的传播过程与上述实施例中的传播过程类似,在此不再赘述。

  在一种可能实现方式中,参见图5,第一图像采集组件14包括第一图像采集单元142及第二透镜143,第二光信号通过第二透镜141传播至第一图像采集单元142;第二图像采集组件15包括第二图像采集单元162及第三透镜163;第三光信号通过第三透镜161传播至第二图像采集单元162。

  需要说明的是,本申请实施例仅是以包括第一透镜、第二透镜和第三透镜为例进行说明,在另一实施例中,显微镜还可以包括其他透镜,本申请实施例对包括的透镜的数量及位置不做限制。

  在一种可能实现方式中,参见图5,图像投影组件16包括图像投影单元162、第一偏振片161及第一透镜163,第一图像采集组件14包括第二偏振片141及第二透镜143,第一偏振片161的偏振方向与第二偏振片141的偏振方向相互垂直。

  图像投影单元162接收处理结果,将处理结果转换为第四光信号,第四光信号通过第一透镜163及第一偏振片161传播至第一分束器12;第一分束器12将接收到的第四光信号中的部分光信号进行反射,反射后的光信号通过第二透镜143传播至第二偏振片141,第二偏振片141过滤反射后的光信号。

  在一种可能实现方式中,参见图5,图像投影组件16包括图像投影单元162、第一偏振片161及第一透镜163,第二图像采集组件15包括第三偏振片161及第三透镜163,第一偏振片161的偏振方向与第三偏振片161的偏振方向相互垂直。

  图像投影单元162接收处理结果,将处理结果转换为第四光信号,第四光信号通过第一透镜163及第一偏振片161传播至第一分束器12,第一分束器12将接收到的第四光信号中的部分光信号进行透射,透射后的光信号通过第三透镜163传播至第三偏振片161,第三偏振片161过滤透射后的第二光信号。

  另外,在一种可能实现方式中,参见图5,显微镜还包括观察筒19,目镜17位于观察筒19的一侧,观察筒19位于第二透镜143与第一图像采集单元142之间,第二光信号通过观察筒19传播至目镜17。其中,观察筒19可以为多目观察筒,例如,三目观察筒、六目观察筒等。

  在一种可能实现方式中,显微镜还包括自动对焦器,参见图5,自动对焦器可以设置在第三透镜163与第三偏振片161之间,也可以设置在第三偏振片161与第二图像采集单元162之间。

  由于不同波长通过透镜时的折射率不同,多光谱成像的过程中会出现不同波长下成像聚焦面不一致的情况,从而导致某些波段的图像出现轻微的离焦。因此,在显微镜中的多光谱成像的光路中设置自动对焦器,对不同的波段进行自动对焦。其中,该自动对焦器可以为液态变焦镜头、电动马达控制的镜头或者其他自动对焦的器件。另外,由于多光谱相机的像素物理尺寸很大,会导致成像焦深比较长,因此在波长跨度较小的情况下,可以不设置自动对焦器。

  另外,显微镜中的各个结构中可以设置对应的接口,相邻的两个结构之间通过相互匹配的接口进行连接,从而得到完成的显微镜结构。

  需要说明的一点是,本申请实施例仅是以第一图像采集组件采集或第二图像采集组件采集一次图像为例进行说明,在另一实施例中,在同一物品的观察过程中,第一图像采集和第二图像采集组件可以多次采集图像,对应的,将每次采集的图像发送给图像处理设备,由图像处理设备进行处理,则图像投影组件接收图像处理设备发送的最新的处理结果,以保证用户观察到的处理结果与当前的物品图像是一致的。

  需要说明的另一点是,本申请实施例仅是以将目镜观察筒设置于第一图像采集组件中的第二透镜和第一图像采集单元之间为例进行说明,在另一实施例中,可以将目镜观察筒设置于第二图像采集组件中的第二透镜与第二图像采集单元之间,对应的,第二分束镜设置于第三透镜和第三偏振片之间。

  本申请实施例提供的显微镜,第一分束器对光信号进行反射或透射,以保证光信号可以传播至第一图像采集组件及第二图像采集组件,使第一图像采集组件采集到物品的第一图像,使第二图像采集组件采集到物品的第二图像,由于第一图像和第二图像中包括的图像信息不同,因此可以获取更多的信息量。

  并且,显微镜还包括图像投影组件的情况下,图像投影组件可以将第一图像和第二图像的处理结果对应的光信号与物品产生的光信号进行叠加,从而使用户可以直接通过显微镜观察到物品图像以及物品图像的处理结果,更加便捷,实现了增强现实技术与显微镜技术的结合。

  并且,通过第一偏振片和第二偏振片可以过滤掉向第一图像采集组件传播的处理结果转换得到的光信号,通过第一偏振片和第三偏振片可以过滤掉向第二图像采集组件传播的处理结果转换得到的光信号,避免处理结果转换得到的光信号对第一图像采集组件和第二图像采集组件采集的图像产生影响,保证第一图像采集组件和第二图像采集组件仅接收到物品表面产生的光信号。

  并且,对于染色不佳或者未染色的物品,由于多光谱相机可以将光信号分为更多的波段,因此多光谱相机采集到的图像中各个颜色的对比度较高,从而获取更多的图像细节,得到更多的图像信息。

  图6是本申请实施例提供的一种图像处理系统。参见图6,该图像处理系统包括显微镜601及图像处理设备602。其中,图像处理设备602用于对第一图像和第二图像进行处理。

  其中,显微镜601的结构与上述图1和图4所示的实施例中的显微镜601结构类似,在此不再赘述。

  本申请实施例中,显微镜601包括置物台、第一分束器、物镜、第一图像采集组件611及第二图像采集组件621;置物台位于物镜的第一方向,物镜位于第一分束器的第一方向,第一图像采集组件位于第一分束器的第二方向,第二图像采集组件位于第一分束器的第三方向,第二方向与第一方向相反。

  参见图7,图像处理设备602与第一图像采集组件611通信连接,图像处理设备602与第二图像采集组件621通信连接。其中,图像处理设备602与第一图像采集组件611之间以及图像处理设备602与第二图像采集组件621之间,可以通过有线或无线通信方式进行直接或间接地连接,例如,可以通过蓝牙、无线保真或其他方式进行连接。

  位于置物台上的物品表面产生的第一光信号,通过物镜传播至第一分束器;第一分束器,用于接收第一光信号,将第一光信号中的部分光信号进行透射,透射后的第二光信号传播至第一图像采集组件611;第一图像采集组件611,用于根据第二光信号生成物品的第一图像,将第一图像发送给图像处理设备602;第一分束器,还用于将第一光信号中的部分光信号进行反射,反射后的第三光信号传播至第二图像采集组件621;第二图像采集组件621,用于根据第三光信号生成物品的第二图像,将第二图像发送给图像处理设备602;图像处理设备602,用于对第一图像及第二图像进行处理,得到物品的处理结果。

  本申请实施例中,图像处理设备602得到图像的处理结果之后,将图像的处理结果返回给显微镜601,使用户直接通过显微镜观察到处理结果。

  在一种可能实现方式中,显微镜601还包括图像投影组件631及目镜,图像投影组件631位于第一分束器的第四方向,第四方向与第三方向相反。

  参见图8,图像处理设备602还与图像投影组件631通信连接。图像处理设备602与图像投影组件631之间,还可以通过有线或无线通信方式进行直接或间接地连接,例如,可以通过蓝牙、无线保真或其他方式进行连接。

  图像投影组件631,用于接收图像处理设备602发送的处理结果,将处理结果转换为对应的第四光信号,发射第四光信号;第四光信号传播至第一分束器;第一分束器,还用于将第二光信号与第四光信号进行融合,融合后的第五光信号传播至目镜。

  可选地,显微镜601还包括第二分束器,第二分束器位于第一分束器与第一图像采集组件631之间;第五光信号传播至第二分束器;第二分束器,用于将第五光信号中的部分光信号进行反射,反射后的第九光信号传播至目镜。

  关于图像处理设备:

  该图像处理设备602可以为终端或服务器。在一种可能实现方式中,该图像处理设备602为终端,终端可以为便携式、袖珍式、手持式等多种类型的终端,如智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。

  在另一种可能实现方式中,该图像处理设备602为服务器,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

  另外,终端和服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。

  本申请实施例中,图像处理设备602对第一图像和第二图像进行处理,得到物品的处理结果,将处理结果发送给图像投影组件631。

  在一种可能实现方式中,图像处理设备602分别对第一图像和第二图像进行处理,得到第一图像的处理结果和第二图像的处理结果,将第一图像的处理结果和第二图像的处理结果进行融合,得到物品的处理结果。

  在另一种可能实现方式中,图像处理设备602用于对第一图像及第二图像进行融合,得到物品的融合图像,对融合图像进行处理,得到处理结果。

  可选地,图像处理设备602用于根据融合图像,确定待添加的虚拟元素,将虚拟元素发送给图像投影组件631,图像投影组件631将虚拟元素转换为对应的光信号与物品表面产生的光信号进行融合,使用户观察到虚拟元素和物品图像。其中,虚拟元素可以为文本、箭头、轮廓图、热图等。

  例如,需要观察物品图像中的某一区域,但是人眼无法识别出该区域的位置,则可以对第一图像和第二图像进行处理,得到的处理结果为轮廓图,图像投影组件631将轮廓图转换为对应的光信号,该转换得到的光信号与物品表面产生的光信号进行融合,则用户可以观察到在物品图像包括轮廓线,该轮廓线标记出的区域即为需要观察的区域。

  在一种可能实现方式中,图像处理设备602分别对第一图像和第二图像进行图像增强处理,以降低图像噪声,提高图像的清晰度,从而提高第一图像和第二图像的质量,对增强处理后的第一图像和第二图像进行处理,得到处理结果,使得到的处理结果更加准确。

  在一种可能实现方式中,图像处理设备602调用图像处理模型对第一图像及第二图像进行处理,得到物品的处理结果。并且,根据应用场景的不同,该图像处理模型可以为多种类型的图像处理模型。

  可选地,图像处理模型可以为轮廓检测模型,图像处理设备602调用轮廓检测模型对第一图像和第二图像对应的融合图像进行处理,检测出融合图像中物品的轮廓,得到物品对应的轮廓线。

  可选地,图像处理模型可以为物品识别模型,图像处理设备602调用物品识别模型对第一图像和第二图像对应的融合图像进行处理,识别出融合图像中物品,并获取物品的类型、名称或其他信息。

  可选地,图像处理模型可以为细胞检测模型,用于检测细胞发生基因突变的概率,图像处理设备602调用细胞检测模型对第一图像和第二图像对应的融合图像进行处理,检测出细胞发生基因突变的概率。检测出概率之后,图像处理设备602可以根据概率的大小,在融合图像中采用不同的颜色标记每个区域发生基因突变的概率,得到物品对应的热图。

  可选地,图像处理设备602提取第一图像的图像特征和第二图像的图像特征,调用图像处理模型对第一图像的图像特征和第二图像的图像特征进行处理,得到物品的处理结果。

  另外,在一种可能实现方式中,图像处理设备具有显示功能,可以直接通过图像处理设备显示第一图像、第二图像以及处理结果,用户也可以通过图像处理设备观察处理结果。

  本申请实施例提供的图像处理系统可以应用于多种场景下。

  例如,应用于肿瘤区域检测场景下,图像处理设备根据接收到的第一图像和第二图像,调用肿瘤区域检测模型,对第一图像和第二图像进行处理,得到处理结果,该处理结果包括检测出的肿瘤区域,还可以包括除肿瘤区域之外的其他信息,将检测出的肿瘤区域发送给图像投影组件,采用图像投影组件得到肿瘤区域的投影,传播至目镜,使用户通过目镜可以观察到肿瘤区域。

  例如,应用于细胞检测场景下,图像处理设备根据接收到的第一图像和第二图像,调用细胞检测模型,对第一图像和第二图像进行处理,得到处理结果,该处理结果包括检测出的细胞数量、细胞位置等信息,将检测出的细胞数量发送给图像投影组件,采用图像投影组件得到细胞数量的投影,传播至目镜,使用户通过目镜可以观察到细胞数量。

  本申请实施例提供的图像处理系统,显微镜中的第一分束器对光信号进行反射或透射,以保证光信号可以传播至第一图像采集组件及第二图像采集组件,使第一图像采集组件采集到物品的第一图像,使第二图像采集组件采集到物品的第二图像,由于第一图像和第二图像中包括的图像信息不同,因此可以获取更多的信息量,图像处理设备对第一图像和第二图像进行处理时,可以依据更多的信息量,得到更加准确的处理结果,提高了处理结果的准确率。

  并且,图像处理设备可以将得到的虚拟元素发送给图像投影组件,图像投影组件将虚拟元素转换为对应的光信号与物品表面产生的光信号进行融合,将虚拟元素添加至物品图像中,使用户直接通过显微镜观察到虚拟元素和物品图像,更加便捷。

  图9是本申请实施例提供的一种图像处理方法的流程图,应用于显微镜,该显微镜为上述图1或图4所示的实施例中的显微镜,该方法包括:

  901、位于置物台上的物品表面产生的第一光信号,通过物镜传播至第一分束器。

  902、第一分束器将第一光信号中的部分光信号进行透射,透射后的第二光信号传播至第一图像采集组件,第一图像采集组件根据第二光信号生成物品的第一图像。

  903、第一分束器将第一光信号中的部分光信号进行反射,反射后的第三光信号传播至第二图像采集组件,第二图像采集组件根据第三光信号生成物品的第二图像。

  在一种可能实现方式中,第一图像采集组件将第一图像发送给图像处理设备,第二图像采集组件将第二图像发送给图像处理设备,图像投影组件接收图像处理设备对第一图像和第二图像进行处理得到的处理结果,将处理结果转换为对应的第四光信号,发射第四光信号,第四光信号传播至第一分束器,第一分束器将第二光信号与第四光信号进行融合,融合后的第五光信号传播至目镜。

  在另一种可能实现方式中,图像处理设备调用图像处理模型对第一图像及第二图像进行处理,得到物品的处理结果。并且,根据应用场景的不同,该图像处理模型可以为多种类型的图像处理模型。

  在另一种可能实现方式中,图像投影组件包括图像投影单元及第一偏振片,第一图像采集组件包括第二偏振片,第一偏振片的偏振方向与第二偏振片的偏振方向相互垂直;第四光信号传播至第一偏振片,第一偏振片过滤所述第四光信号中的部分光信号,将剩余的第六光信号传播至所述第一分束器;第一分束器将第六光信号中的部分光信号进行反射,反射后的第七光信号传播至第二偏振片,第二偏振片过滤第七光信号。

  在另一种可能实现方式中,所述图像投影组件包括图像投影单元及第一偏振片,所述第二图像采集组件包括第三偏振片,所述第一偏振片的偏振方向与所述第三偏振片的偏振方向相互垂直;所述第四光信号传播至所述第一偏振片,所述第一偏振片过滤所述第四光信号中的部分光信号,将剩余的第六光信号传播至所述第一分束器;所述第一分束器将所述第六光信号中的部分光信号进行透射,透射后的第八光信号传播至所述第三偏振片,所述第三偏振片过滤所述第八光信号。

  在另一种可能实现方式中,显微镜还包括第二分束器,第二分束器位于第一分束器的第二方向,第一图像采集组件位于第二分束器的第二方向,目镜位于第二分束器的第五方向;第五光信号传播至第二分束器;第二分束器对第五光信号进行分束,分束后的第九光信号传播至目镜。

  在另一种可能实现方式中,显微镜还包括第二分束器及目镜,第二分束器位于第一分束器的第二方向,第一图像采集组件位于第二分束器的第二方向,目镜位于第二分束器的第五方向;第二分束器对第二光信号进行分束,分束后的第十光信号传播至目镜。

  在另一种可能实现方式中,显微镜还包括目镜及观察筒,第一图像采集组件包括第二透镜及第一图像采集单元;目镜位于观察筒的一侧;观察筒位于第二透镜与第一图像采集单元之间;第二光信号通过观察筒传播至目镜。

  在另一种可能实现方式中,图像投影组件包括图像投影单元及第一透镜;第四光信号通过第一透镜传播至第一分束器。

  在另一种可能实现方式中,第一图像采集组件包括第一图像采集单元及第二透镜,第二图像采集组件包括第二图像采集单元及第三透镜;第二光信号通过第二透镜传播至第一图像采集单元;第三光信号通过第三透镜传播至第二图像采集单元。

  在另一种可能实现方式中,第一图像采集组件包括红绿蓝RGB相机;第二图像采集组件包括:多光谱相机,或者,液晶可调滤光器及单色相机。

  本申请实施例中,该图像处理设备可以为终端或服务器,图像处理设备对第一图像和第二图像进行处理,得到物品的处理结果,将处理结果发送给图像投影组件。

  在一种可能实现方式中,图像处理设备用于对第一图像及第二图像进行融合,得到物品的融合图像,对融合图像进行处理,得到处理结果。

  可选地,图像处理设备用于根据融合图像,确定待添加的虚拟元素,将虚拟元素发送给图像投影组件,图像投影组件将虚拟元素转换为对应的光信号与物品表面产生的光信号进行融合,使用户观察到虚拟元素和物品图像。其中,虚拟元素可以为文本、箭头、轮廓图、热图等。

  另外,在一种可能实现方式中,图像处理设备具有显示功能,可以直接通过图像处理设备显示第一图像、第二图像以及处理结果,用户也可以通过图像处理设备观察处理结果。

  本申请实施例中的图像处理设备及显微镜与上述图1、图4和图5所示的实施例中提供的图像处理设备及显微镜类似,在此不再赘述。

  本申请实施例提供的方法,通过第一分束器对光信号进行反射或透射,以保证光信号可以传播至第一图像采集组件及第二图像采集组件,通过第一图像采集组件采集到物品的第一图像,通过第二图像采集组件采集到物品的第二图像,由于第一图像和第二图像中包括的图像信息不同,因此可以获取更多的信息量。

  图10示出了本申请一个示例性实施例提供的终端1000的结构示意图。该终端1000用于执行上述实施例中图像处理设备执行的操作。

  通常,终端1000包括有:处理器1001和存储器1002。

  处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以在集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。

  存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所具有以实现本申请中方法实施例提供的图像处理方法。

  在一些实施例中,终端1000还可选包括有:外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地,外围设备包括:射频电路1004、显示屏1005和电源1006中的至少一种。

  外围设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

  射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。

  显示屏1005用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置终端1000的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在终端1000的不同表面或呈折叠设计;在再一些实施例中,显示屏1005可以是柔性显示屏,设置在终端1000的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

  电源1006用于为终端1000中的各个组件进行供电。电源1006可以是交流电、直流电、一次性电池或可充电电池。当电源1006包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

  本领域技术人员可以理解,图10中示出的结构并不构成对终端1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

  图11是本申请实施例提供的一种服务器的结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)1101和一个或一个以上的存储器1102,其中,存储器1102中存储有至少一条指令,该至少一条指令由处理器1101加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。

  服务器1100可以用于执行上述图像处理方法中图像处理设备所执行的步骤。

  本申请实施例还提供了一种图像处理设备,该图像处理设备包括处理器和存储器,存储器中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的图像处理方法中图像处理设备所执行的操作。

  本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的图像处理方法中图像处理设备所执行的操作。

  本申请实施例还提供了一种计算机程序,该计算机程序中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的图像处理方法中图像处理设备所执行的操作。

  本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

  以上仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

《显微镜、图像处理系统及图像处理方法.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式(或pdf格式)