milvus-io
/
milvus
mirror of https://github.com/milvus-io/milvus.git
1
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity

Add todo list to dataservice desgin doc (#5341) 

Signed-off-by: sunby <bingyi.sun@zilliz.com>
pull/5184/head
sunby 2021-05-21 15:57:15 +08:00 committed by GitHub
parent c1efa53779
commit 7c5b1ae5ca
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
1 changed files with 12 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

12
docs/design_docs/dataservice_recovery_design.md
View File

@ -53,3 +53,15 @@ DataNode如果由于网络原因与etcd断开，应该重启服务发现，DataS
DataService模块中，有些策略是可能频繁改变的，比如channel对DataNode的分配策略，可以是随机/顺序/平均/根据collection分散等等策略，比如检测到DataNode创建和下线，可能会不处理/balance/将下线节点的channel转移到其他节点等。比如segment allocation可能会根据文件大小/条数等来确定是否关闭。实现应该把这些策略相关抽出来，方便以后修改。
### TODO:
1. segment allocation信息持久化及恢复
2. cluster信息（datanode及channel信息）改动+持久化及恢复
3. channel与datanode分配策略实现（可选load balance）
4. stats/segment flush channel记录位置及重启时seek
5. 服务注册与发现，以及对应事件的处理逻辑
6. timetick channel的改动以及segment关闭逻辑改动
7. datanode上报的binlog信息持久化及恢复