Climb 将已知与未知分离，以在科学数据中发现新知
在数据科学中，一个持续的挑战是分类熟悉模式并检测意外异常同时进行。🧩 当前的半监督聚类方法通常无法实现这一双重目标，因为它们假设引导信号代表了全部现实。这会导致施加严格限制，可能隐藏令人惊讶的发现，或者需要预先定义群组数量，从而限制发现真正新颖性的可能性。
一个解耦探索的框架
为了弥合这一差距，提出了CLiMB（CLustering in Multiphase Boundaries），一个明确分离利用先验知识与探索未知的框架。其架构避免了其他方法特有的刚性假设。
CLiMB 的两阶段操作：- 锚定阶段：使用带约束的分区建立并固定已知群组，从而最大限度利用预先可用信息。
- 探索阶段：对未分类数据应用基于密度的聚类技术，从而能够揭示任意和未知的拓扑结构，而无需强制预定义结构。
- 根本分离：这种利用与探索之间的顺序划分是其运作基础，并与其他方法区别开来。
如果你的聚类算法强迫数据适应已知盒子，或许它正在抑制下一个重大发现。
使用宇宙信息验证
该框架的有效性通过Gaia Data Release 3出版物中获取的真实RR Lyrae恒星数据得到证明。CLiMB 在恢复银河系已记录子结构时，实现了 0.829 的调整兰德指数和 90% 的覆盖率。🪐
验证的关键结果：- 明显优越性：其性能明显优于启发式方法和仅使用约束的方法，后者停滞在低于 0.20 的值。
- 验证的效率：敏感性分析确认其性能随着初始可用知识的增加而单调改善。
- 验证的发现：该框架成功隔离了三个动态特征（Shiva、Shakti 和银河盘）在无标签数据场中，证明了其进行科学发现的潜力。
对数据分析的启示
CLiMB 为分类与发现的双重问题提供了实用解决方案。通过解耦利用和探索阶段，它避免抑制意外模式，并允许数据边缘真正的新颖性浮现。其使用真实天文信息的验证突显了其在复杂科学场景中的实用性，其中并非一切都预定义。🔭