请教一些使用场景相关问题

[wuyueandrew]

请问GAE和GIE的区别（场景，实现），他们的底层实现是否相同？

我的理解是GAE是一个大规模图数据的计算引擎，支持大量数据的全图操作。GIE是一个实时查询的图数据库，支持少量数据的低延时查询，请指正。

基于第一条我自己理解的假设，请问构建一个图数仓是否可行?

具体流程如下：

1. 原始数据通过数据回流工具同步到分布式文件系统。
2. GAE从分布式文件系统加载原始数据，计算。
3. GAE运行结果加载到GIE，业务系统可以通过gremlin并发，低延时查询数据。
4. 算法模型可以通过原始数据做机器学习。

假设图数仓方案可行，有些问题需要确认？

1. GAE的计算结果能否直接写入GIE引擎，这样省去把结果文件从文件系统写入到GIE的步骤，文档上看目前好像不行？
2. 如果GAE的任务是周期在运行的，那么一个GAE session的schema是不是可以持久化起来，就像传统数仓一样分离ddl和ETL脚本？

谢谢。

[siyuan0322]

GAE, GIE 区别

一个是图计算（图算法）引擎，一个是交互式分析（gremlin 查询）引擎，他们共享存储。

构建图数仓

1，2 步没有问题，3 中，a. GIE 能看到的图数据原始图数据一样; b. GAE 的运行结果目前支持作为属性 (property) 加回原图中。

GAE的计算结果能否直接写入GIE引擎

以上提到，支持将算法结果以属性的形式加回原图，举例如下, 将WCC的结果作为 group_id 的属性加回原图的 person Label 中。

g = load_modern_graph()
projected = g.project(vertices={'person': []}, edges={'knows': []})
ret = graphscope.wcc(projected)
g2 = g.add_column(ret, selector={'group': 'r'})

持久化

Session 其实是没有 Schema 的，一个 Session 可以载入多个图。 你的意思是，将载好的图存储到磁盘上可以将来使用？

[wuyueandrew]

先感谢耐心解答

GAE, GIE 区别

既然GAE和GIE是共享存储，那相当于在同一份数据上可以满足OLTP和OLAP场景了，这里没什么问题。

构建图数仓

基于前面讲的共享存储，我也能理解

a. GIE 能看到的图数据原始图数据一样;

关于

b. GAE 的运行结果目前支持作为属性 (property) 加回原图中。

后续是否会支持运行结果作为vertex/edge加回原图？

持久化

1.关于session这一块理解起来有点难度，一个session是不是代表k8s里的

1个graphscope-coordinator+3个gs-etcd-graphscope+n个gs-engine-graphscope

如果起一个新的session，还会新分配一组新的k8s pods？
2.如果一个GAE的结果数据要提供给几个GAE同时使用，那就涉及到落盘到OSS或者写入一个中间数据源，请问graphscope-store是不是就是为了解决这种情况提供的？
3.graphscope-store里的数据只能运行GIE么，有什么方法能和GAE打通？

暂时想到这么多问题，再次感谢耐心解答。

[siyuan0322]

后续是否会支持运行结果作为vertex/edge加回原图？

这个目前还没有规划，我感觉之后如果支持加点/边可能也是通过原始的加点边的API比较自然

如果起一个新的session，还会新分配一组新的k8s pods？

是的，可以理解 session 持有一组资源。

graphscope-store 相关

这个目前是一个持久存储的数据库类产品，目前的功能比较独立，我们是希望在不久的将来与图计算的产品（基于共享存储的这些）打通。