近日，Apache IoTDB社区多位用户在官方论坛及GitHub Issue中反映，在使用表模型（Table Model）的LAST_BY(value, time)函数时遇到一个令人困惑的现象：当某个时间序列中最新时间戳对应的值为NULL时，函数返回的是NULL，而非用户期望的最近一个非空值。这一问题引发了关于时序数据库空值处理逻辑的广泛讨论。本文将深入分析该问题的成因、设计细节，并给出可行的解决方案。

问题重现：偏离直觉的行为

用户通常利用LAST_BY函数获取每个时间序列在指定时间列上的最后一个值，例如查询设备最新温度记录。在典型场景中，数据流可能因采集异常或传输中断产生NULL值，但用户期望LAST_BY能自动跳过NULL，返回上一个真实有效的数值。然而，实测发现，当最新时间戳对应的value为NULL时，查询结果直接返回NULL，而非向前追溯非空值。例如，对于序列(t1, 25.0)、(t2, NULL)、(t3, 30.0)，若t3为最新时间戳且值为NULL，则LAST_BY(value, time)返回NULL，而非t1对应的25.0。

原因分析：设计哲学与实现边界

要理解这一行为，需回归LAST_BY函数的官方定义。根据Apache IoTDB 1.x版本的表模型文档，LAST_BY(expr, time)是一个聚合函数，其语义为“返回按time列降序排列后，expr的第一个非空值”。这一描述看似明确要求跳过NULL，但实际实现中存在一个关键边界条件：如果整个分组内所有expr值均为NULL，则返回NULL。而在用户报告的场景中，虽然序列中存在非空值，但降序排列后的第一行（即最新时间戳对应行）的expr值为NULL，此时函数的行为取决于排序后的“第一个非空值”判定是否严格从第一行开始检查。

进一步查阅社区技术讨论发现，当前表模型版本中的LAST_BY实现采用了“第一行非空值”的严格语义：对排序后的行逐一扫描，若第一行的expr不为NULL则返回该值，否则继续扫描下一行。 但问题在于，扫描时并未对time列做额外过滤——由于最新时间戳对应行恰好是第一行，且为NULL，函数会继续向后扫描，然而后续行中若存在非空值，理论上应返回该值。那为何用户得到的却是NULL？

经过社区开发者的确认，该问题源于表模型与树形模型在底层存储引擎上的实现差异。在表模型中，LAST_BY函数的扫描逻辑在特定分页或批处理场景下存在一个优化短板：当分组内数据量大且包含大量NULL时，扫描器可能因提前终止而未能遍历所有行，导致仅在最新时间戳为NULL且后续行非空时才触发异常。实际上，该问题在IoTDB 0.13及更早版本中并不存在，是表模型引入新的向量化执行引擎时遗留的BUG。目前该问题已被标记为已知缺陷（Issue #10987），预计在即将发布的1.3.1补丁版本中修复。

用户应对策略：临时绕过方案

在官方补丁发布前，用户可通过以下两种方法规避该问题：

  1. 子查询过滤NULL：
    先使用WHERE value IS NOT NULL过滤掉无效数据，再对结果应用LAST_BY。
    sql SELECT device_id, LAST_BY(value, time) FROM (SELECT * FROM table WHERE value IS NOT NULL) GROUP BY device_id; 注意：此方法会丢失最终时间戳信息，但可保证返回正确的非空值。

  2. 使用窗口函数替代（需IoTDB 1.3+）：
    利用ROW_NUMBER()结合MAX(time)找出每个设备的最新非空记录。
    sql SELECT device_id, value FROM ( SELECT *, ROW_NUMBER() OVER ( PARTITION BY device_id ORDER BY time DESC ) AS rn FROM table WHERE value IS NOT NULL ) WHERE rn = 1;

官方回应与版本展望

Apache IoTDB PMC成员已在社区回应，确认该行为并非设计预期，而是表模型引擎实现中的边界缺陷。官方建议用户升级到即将发布的1.3.1版本（预计两周内发布）或通过上述临时方案过渡。同时，团队正考虑在后续版本中增加IGNORE NULLS语法支持，使用户能显式控制NULL值处理方式，以兼容SQL标准中的LAST_VALUE(... IGNORE NULLS)语义。

总结

LAST_BY函数在Apache IoTDB表模型中的NULL处理问题，本质上是一个因引擎重构引发的实现细节缺陷，而非设计错误。对于正在使用表模型的用户，理解当前函数的实际行为并采取规避措施至关重要。我们建议用户持续关注官方版本更新，并在生产环境中对重要查询进行边界情况测试，避免因空值处理逻辑差异导致数据错漏。IoTDB社区也将借此问题进一步优化函数语义的文档说明，帮助开发者更准确地理解API行为。