Skip to content

MICS在线学术讲座记录

直播间链接:👉B站直播间👈

MICS在线学术讲座:窦琪、班雨桐、徐大光

讲座时间:2026.4.21晚8点

观后内容回忆

主题:手术机器人

窦老师:手术机器人仿真软件开发(底层开发)、AI手术机器人模拟Task

市面上的软件满足不了手术机器人在计算机上的模拟实验,Dou等人开发了软件来解决这个问题。
手术机器人主要由三个机械臂构成,医生使用操作时只能同时操作两只机械臂,需要使用脚踏板去切换第三个机械臂操作模式,医生的操作难度和培训成本高。 提出第三个机械臂由AI控制,辅助医生完成手术,降低医生手术操作难度和培训成本。
Dou老师的展示了AI控制机械臂完成多种手术常见操作的任务,如提拉组织、夹起纱布等。

班老师:基于Mamba的手术长视频理解模型

Transformer模型的O(n2)时间复杂度使得在长达2、3小时手术视频数据爆炸。
基于SSM来理解手术每个阶段。
主要原理:分为手术阶段矩阵和手术分割矩阵(?忘的差不多了QWQ,到时候看回放)

徐老师:世界模型

如今大语言模型发展迅速,其一原因在互联网发达提供了大量用来训练大语言模型语料库。
但是要去训练AI通用机器人却没有那么多的视频素材支撑。
针对这一问题,提出世界模型,在同一通用机器人操作视频中,更改环境中的物体(如手术中多个医生hahaha,切菜时多放一些碗)、环境的光线(如机械臂倒影)生成更多视频素材,为大模型训练提供支撑。

Panel Discussion

数据集投稿难问题

医生对于可理解性的需求

世界模型生成素材可靠性问题

打标签问题

第一次写内容回忆,大概就只能写这么多,后续等回放视频发布,精读各位老师的内容分享再看看老师的论文,继续深入理解哈。

暂时没定好,这些粗浅的内容回忆在精读完之后要不要删,就先这样。

天塌了,这次讲座好像并没有回放QWQ,只能看各位老师的论文研究,以后的讲座准备自己录屏存档了。

手术机器人

先整理一下各位老师的Aminer主页(都能找到呢)👉窦琪👈👉班雨桐👈👉徐大光👈

然后找到讲座中所讲的论文,我会讲论文保存到Zotero里精读,下面是论文的链接🔗:

SurgΣ👉SurgΣ: A Spectrum of Large-Scale Multimodal Data and Foundation Models for Surgical Intelligence👈

Surg-R1👉Surg-R1: A Hierarchical Reasoning Foundation Model for Scalable and Interpretable Surgical Decision Support with Multi-Center Clinical Validation👈

基于SSM的手术长视频理解👉Holistic Surgical Phase Recognition with Hierarchical Input Dependent State Space Models👈

手术视频分割👉systematic evaluation and guidelines for segment anything model in surgical video analysis👈

世界模型👉SAW: Toward a Surgical Action World Model via Controllable and Scalable Video Generation👈

Last updated: