apache / fluss

[lake] Record a file path storing log offsets in lake snapshot property (#2223)

yuxia Luo

yuxia Luo committed on Dec 31, 2025, 08:30 AM

Showing 42 changed files +1734 additions -1274 deletions

D fluss-common/src/main/java/org/apache/fluss/lake/committer/BucketOffset.java -72

M fluss-common/src/main/java/org/apache/fluss/lake/committer/LakeCommitter.java +6

M fluss-common/src/main/java/org/apache/fluss/utils/FlussPaths.java +3 -3

D fluss-common/src/main/java/org/apache/fluss/utils/json/BucketOffsetJsonSerde.java -62

A fluss-common/src/main/java/org/apache/fluss/utils/json/TableBucketOffsets.java +118

A fluss-common/src/main/java/org/apache/fluss/utils/json/TableBucketOffsetsJsonSerde.java +237

D fluss-common/src/test/java/org/apache/fluss/utils/json/BucketOffsetJsonSerdeTest.java -40

A fluss-common/src/test/java/org/apache/fluss/utils/json/TableBucketOffsetsJsonSerdeTest.java +108

D fluss-flink/fluss-flink-common/src/main/java/org/apache/fluss/flink/tiering/committer/FlussTableLakeSnapshot.java -73

M fluss-flink/fluss-flink-common/src/main/java/org/apache/fluss/flink/tiering/committer/FlussTableLakeSnapshotCommitter.java +184 -21

M fluss-flink/fluss-flink-common/src/main/java/org/apache/fluss/flink/tiering/committer/TieringCommitOperator.java +58 -98

M fluss-flink/fluss-flink-common/src/test/java/org/apache/fluss/flink/source/enumerator/FlinkSourceEnumeratorTest.java +1 -1

M fluss-flink/fluss-flink-common/src/test/java/org/apache/fluss/flink/tiering/TestingLakeTieringFactory.java +6 -9

M fluss-flink/fluss-flink-common/src/test/java/org/apache/fluss/flink/tiering/committer/FlussTableLakeSnapshotCommitterTest.java +95 -29

M fluss-flink/fluss-flink-common/src/test/java/org/apache/fluss/flink/tiering/committer/TieringCommitOperatorTest.java +53 -45

M fluss-lake/fluss-lake-iceberg/src/test/java/org/apache/fluss/lake/iceberg/testutils/FlinkIcebergTieringTestBase.java +15 -3

M fluss-lake/fluss-lake-iceberg/src/test/java/org/apache/fluss/lake/iceberg/tiering/IcebergTieringITCase.java +5 -24

M fluss-lake/fluss-lake-lance/src/test/java/org/apache/fluss/lake/lance/tiering/LanceTieringITCase.java +15 -16

M fluss-lake/fluss-lake-lance/src/test/java/org/apache/fluss/lake/lance/tiering/LanceTieringTest.java +4 -23

M fluss-lake/fluss-lake-paimon/src/main/java/org/apache/fluss/lake/paimon/tiering/PaimonLakeCommitter.java +2 -15

M fluss-lake/fluss-lake-paimon/src/test/java/org/apache/fluss/lake/paimon/testutils/FlinkPaimonTieringTestBase.java +15 -3

M fluss-lake/fluss-lake-paimon/src/test/java/org/apache/fluss/lake/paimon/tiering/PaimonTieringITCase.java +12 -67

M fluss-lake/fluss-lake-paimon/src/test/java/org/apache/fluss/lake/paimon/tiering/PaimonTieringTest.java +13 -37

M fluss-rpc/src/main/java/org/apache/fluss/rpc/gateway/CoordinatorGateway.java +28

M fluss-rpc/src/main/java/org/apache/fluss/rpc/protocol/ApiKeys.java +2 -1

M fluss-rpc/src/main/proto/FlussApi.proto +65 -18

M fluss-server/src/main/java/org/apache/fluss/server/coordinator/CoordinatorEventProcessor.java +77 -8

M fluss-server/src/main/java/org/apache/fluss/server/coordinator/CoordinatorService.java +62

M fluss-server/src/main/java/org/apache/fluss/server/coordinator/event/NotifyLakeTableOffsetEvent.java +5 -5

M fluss-server/src/main/java/org/apache/fluss/server/entity/CommitLakeTableSnapshotData.java +36 -10

M fluss-server/src/main/java/org/apache/fluss/server/utils/ServerRpcMessageUtils.java +53 -13

M fluss-server/src/main/java/org/apache/fluss/server/zk/ZooKeeperClient.java +1 -1

M fluss-server/src/main/java/org/apache/fluss/server/zk/data/lake/LakeTable.java +15 -5

M fluss-server/src/main/java/org/apache/fluss/server/zk/data/lake/LakeTableHelper.java +49 -59

M fluss-server/src/main/java/org/apache/fluss/server/zk/data/lake/LakeTableJsonSerde.java +50 -31

D fluss-server/src/main/java/org/apache/fluss/server/zk/data/lake/LakeTableSnapshotJsonSerde.java -312

A fluss-server/src/main/java/org/apache/fluss/server/zk/data/lake/LakeTableSnapshotLegacyJsonSerde.java +125

M fluss-server/src/test/java/org/apache/fluss/server/coordinator/TestCoordinatorGateway.java +8

D fluss-server/src/test/java/org/apache/fluss/server/zk/data/LakeTableSnapshotJsonSerdeTest.java -144

A fluss-server/src/test/java/org/apache/fluss/server/zk/data/LakeTableSnapshotLegacyJsonSerdeTest.java +107

M fluss-server/src/test/java/org/apache/fluss/server/zk/data/lake/LakeTableHelperTest.java +19 -16

M fluss-server/src/test/java/org/apache/fluss/server/zk/data/lake/LakeTableJsonSerdeTest.java +82 -10

Browse files at this commit →