返回首页 英文版
 

 

 

 

实验室Wiki
留言板
联系我们

您的位置 课题研究


      本导航系统主要运用Python和VTK开发环境,对神经外科手术进行实时的手术导航。通过初始阶段对病人三维影像的三维重建,可以从Axial,Coronal,Sagittal三个方向观察病人颅内的症状,提供医生诊断所需要的软件支持。为了便于医生的临床分析,该系统实现了切片的跳转功能使得医生可以精确定位到病症所在的几个切片。系统还提供了自动分割、多模多源图像融合、路径生成和预浏览、术中实时导航等功能。
       在手术计划阶段中,医生通过选择手术切入点和病灶形成手术路径,并显示出各点的三维坐标及切入点和病症间的空间距离。确定后可自动调整Oblique板使其与手术路径垂直并播放,即可以虚拟演示出医生通过此路径手术时可能碰到的脑内组织,从而起到帮助医生更好地设计手术路径之目的。  

 

    内窥镜下的虚拟手术训练系统主要用于手术前的训练过程以增大手术的熟悉程度。该系统引入了先进的力反馈设备并且结合了3D眼镜,使得在虚拟手术中达到了在视觉、触觉、听觉三个方面的高度仿真。

    目前系统实现了几个基本的手术训练场景。并在技术上解决了内窥镜的追踪,器官的形变以及切割缝合、血流模拟等问题。

       右图显示了一个真实的手术训练场景——手术训练仿真中的深度测试。上面两幅图是医生在内窥镜下面可以看到的内容,当手术器械的移动超过了器官的深度范围时,系统会发出提示;下面的两幅图片展示了腹腔的全局视图,帮助训练中的医生更好的了解目前手术的进展情况,在虚拟手术器械与腹腔壁碰撞时,同样会发出提示性息。   vs2

 

    内窥镜下的虚拟手术训练系统主要用于手术前的训练过程以增大手术的熟悉程度。该系统引入了先进的力反馈设备并且结合了3D眼镜,使得在虚拟手术中达到了在视觉、触觉、听觉三个方面的高度仿真。

    目前系统实现了几个基本的手术训练场景。并在技术上解决了内窥镜追踪,器官的形变以及切割缝合、血流模拟等问题。

       在手术计划阶段中,医生通过选择手术切入点和病灶形成手术路径,并显示出各点的三维坐标及切入点和病症间的空间距离。确定后可自动调整Oblique板使其与手术路径垂直并播放,即可以虚拟演示出医生通过此路径手术时可能碰到的脑内组织,从而起到帮助医生更好地设计手术路径之目的。  

 

    内窥镜下的虚拟手术训练系统中两个主要的功能部分:切割与缝合应用了许多关于虚拟现实的技术。

    在血管的切割与缝合仿真中我们采用了表面模型:因为我们认为血管只有一层很薄的血管壁。整个物理建模的过程采用的是我们一直在用的中心线弹簧模型,与后面研究的血流模拟相结合能够得到不错的仿真效果。

      右图显示了利用虚拟现实技术对肝脏数据进行建模,然后对虚拟的肝脏模型进行切割的过程。(图中的白色小球用于深度测试)在这个项目中,我们采用了有限状态机技术对四面体的切割进行仿真,这样能够最大限度的逼近切割的真实路径,但在切割的实时性上仍然有待改进,这也是我们正在研究的问题。  

 

    虚拟结肠镜系统(Virtural olonsystem)是当前计算机辅助诊断的一个研究热点。系统一般包括三大模块:三维重建及可视化、结肠分割以及虚拟导航。

    在我们构建的VC系统中,可视化部分分别从立体正交板,marchingcube表面和切片集三个角度展示了数据;分割部分提供了Region Growing,WaterShed Level Set 和 Fast Marching四种不同的分割方法,以适应不同的数据和要求;虚拟导航部分实现了一个全新的自动路径生成算法支持自动导航,用户也可手动控制内窥镜进行导航。

      上图展示了我们的虚拟结肠镜系统的整个面板,可以通过面板右侧的参数调节来改变结肠镜的显示方式。右图为一个我们通过系统分割出来的结肠模型。  

      现代的计算机辅助诊断技术具体而言就是利用计算机建立一定的数学模型,对医学图像影像进行特定的处理以达到提高诊断正确性或是达到帮助医学工作人员进行诊断目的的一种方法。在我国,肝癌无论是发病率还是死亡率都高居所有肿瘤类型的第二位。如果是肝癌患者处于癌症早期并且剩余肝脏是健康的,那么进行手术或者肝移植是其唯一的治愈机会,但由于肝癌患者在发病初期往往没有相应的症状和体征,因此,在明确诊断时常常已经属于中晚期,在治疗上十分棘手,于是早期非介入的肝病诊断对于肝部病变的治疗无疑有着重大的意义
 

     使用多期数据的肝脏计算机辅助诊断技术主要有以下几个部分组成:

  1. 首先是多起肝脏数据的提取,在多期数据中对于肝脏病变感兴趣区域(Region Of Interest, ROI)的抽取;
  2. 第二步是通过对抽取出来的ROI进行各种的特征提取算法以提取出可以很好描述ROI特质的分析特征;
  3. 第三步是使用提取出来的特征信息以训练各种人工智能分类器;
  4. 最后使用训练完成的分类器模型来对新的输入进行预测输出。
 

heart  
    常用的分割算法有:Level Set, Fast Marching, Narrow Band Level Set, Morphological Reconstruction, Watershed等等。还有,本实验室顾力栩教授在Fast Marching 和 Morphology 的基础上提出了一个有效的新型分割算法。基于以上分割算法,着重对各算法的时间,精确度以及适用范围进行评估。
   
     对分割算法的评估,常用的有相对差异度,相对重叠度,根均方误差,真阳性率,真阴性率,ROC曲线法等等。Terry Peter教授和顾力栩教授提出了一种新的分割评估法,其思想大概是:从三维图像中心向外以一定的角度发射射线,每条射线同标准分割结果与实际分割结果都有不同的交点,两个交点之间的距离为在这个点上的距离差,以这些距离差为基础建立评估体系。

    主要工作为各种分割算法特别是基于区域生长的算法的实现与比较。

对于ITK/VTK在Windows/Python平台下的配置、调用、扩展也积累了一定经验。用ITK/VTK平台对WaterShed 算法的加以实现,并且根据用户需求对任意分割区域进行提取,目前正在致力于该算法的加速、改良、评估


    Validation for image segmentation plays an important role in medical image processing. Point-mappings based validations process segmentation results by matching corresponding points on surfaces of the segmentation model and the standard model, then evaluate the matches locally and globally. I propose four algorithms of building point-mappings; and creatively applies perfect matching algorithm of weighed bipartite graph on it. Furthermore, detailed local and global evaluation methods are also presented. Experiments demonstrate that our validation method is competent to evaluate 2D or 3D segmentation scientifically, expeditiously and accurately.

 
相关资料下载:
相关资料下载: Simulator.exe  (516KB) 源代码: Validation.exe  (572KB)
实验数据下载:   data  (509KB) 视频展示: Demo (15.76MB)

    分水岭方法是在分割技术中常常被用到的方法,但是它常常会导致过分割的结果。为了避免过分割现象的出现,我们使用了一种新的基于多级沉浸分水岭的方法。这种方法有效地对分割阀值的选取进行了局部化,从而达到了不错的效果。

      从2007年开始,我们用这种方法对许多的模型进行了分割。比如说上图中的大脑,以及有图的脊椎与椎间盘,都是通过这种方式分割后然后进行的分别着色。

back
    可视化三维医学图像的多模配准,主要是针对CT-MR以及MR-PET等图像的非刚体配准。几乎不需要对图像作分割或任何预处理,可被广泛应用于CT/MR,PET/MR等多种配准工作。并且对配准后的图像结果进行有效的评估。

    

 

 该方法的主要步骤为:

  • 1. 基于法向量方法(NVI)的非刚体配准
  • 2. 根据互信息的快速非刚体配准
  • 3. 通过生物力学形变的非刚体配准对图片进行校正

  •  
     得到最终的结果如上图所示,用这种方法能够很好的对心室医学图片进行配准与校正。
     

    back
     
     

        基于GPU的三维模型绘制主要是通过GPU配合CPU进行表面绘制技术的改进,追求快速和高质量的3D图像的生成。用户可控制渲染的等职面值和颜色来突出感兴趣的部分。速度的提高通过使用GPU编程的方式进行。目前使用Geforce6800GT图形卡, 实现基于点表示的等职面提取绘制算法。用这种方法提高了绘制和渲染的效率以及真实感。

     

        体绘制改良算法是通过GPU的加速的手段来实现体绘制的,从而得到一种快速和高质量的3D图像的生成方式。用户可以通过修改渲染的颜色和透明度的参数来调节(如上图所示)查看模型中感兴趣的部分,调节后的结果见下图。

        速度的提高通过使用GPU并行编程的方式进行,目前使用Geforce8500GT的图形卡,同时使用了光线跟踪的体绘制方法,来提高模型的渲染真实感。


          近年来,人体器官软组织的三维建模更是计算机图形学的重要研究课题。而软组织建模是实时手术虚拟和人机交互的基础。Mass-Spring,质点弹簧算法,它将形变物体表面建模成质点弹簧网络,其计算量小,但是算法精度不高。Medial Representation,中心线描绘算法,这种新型算法通过中心线信息对表面进行重绘,从而模拟形变,常被用作图像的分割、配准。虽然它的实时性不是很理想,但是它重绘的思路在软组织建模中颇有价值。于是我们结合了简化了的中心线描绘模型与质点弹簧模型,即在物体主要受力形变区域采取质点弹簧模型,在其它区域采取中心线描绘模型。这样既保证了局部形变的实时性,同时也保证了全局形变的逼真性。  

          利用中心线的弹簧模型作为所有器官建模的物理基础。中心线弹簧模型是用需形变物体的skeleton作为中心线从而反映整个模型的弹性形变情况的方法。这种方法减少了在有限元计算上所需要的时间,满足了实时性的计算需求并且能够计算出一种在全局及局部位置都合理的形变结果。
          右图为将这种基于中心线弹簧模型的建模方式用于血管的建模后得到的模型样本。这个模型的构建过程中不仅仅包含一条中心线,还有根据中心线的表面重建算法。如果施加于血管之上的力大于某个特定值导致了中心线的形变的话,那么血管的表面模型也会根据中心线位置的改变而进行重建。  

    back

     


      copyright@2021 image guided surgery and therapy 联系我们
    沪交ICP备20210203