Dogfooding by dongze (ubuntu20 on arm)

[lidongze0629]

Task 1: 在本地试用 GraphScope

• 安装 GraphScope
• 载入 ogbn_mag 内置图
• Project ogbn_mag到一个简单图，选择点标签为 paper, 边标签为 cites, 属性都为空。
• 在简单图上运行一个 Kcore 算法, 并打印结果为 pandas.DataFrame
• 在 ogbn_mag图上启动交互引擎 （Interactive）
• 通过 gremlin 计算图有多少点，边
• 对于 ogbn_mag图，使用 learning 定义并执行一个 GCN 训练过程，可参考 CI 或文档中定义的过程
• 退出 GraphScope。

Task 2: 在本地开发调试 GraphScope (graphscope-dev:wheel image)

• 通过 vineyardd直接启动 vineyard
• 从源代码编译 Analytical Engine，找到编译出的binary grape_engine， 通过 grape_engine直接运行 analytical_engine，然后退出 grape_engine 进程
• 为 GAE 添加一条日志 ( analytical_engine/core/server/analytical_server.cc)，并重新编译，启动并找到新添加的日志
• 从源代码编译 Interactive Engine，找到编译出的 frontend-x-SNAPSHOT.jar和 gaia_executor,直接运行这个 jar 包和这个 gaia_executor，使 frontend 能够连接到 executor。
• 了解 Frontend 和 Executor 的代码位置和组织结构，为 GIE 的 Frontend (interactive_engine/frontend/src/main/java/com/alibaba/graphscope/frontend/Frontend.java) 和 executor (interactive_engine/executor/assembly/v6d/src/bin/gaia_executor.rs) 各添加一条日志，并重新编译，启动并找到新添加的日志
• 从源代码编译 Learning Engine, 找到 libgraphlearn_shared.so
• 使用 setup.py 安装 coordinator 和 client。 注意因依赖关系， client 安装要在 coordinator 之前
• 继续安装 GAE，GIE，和 GLE 到预设安装目录。（上一步只有编译。相当于 make 和 make install 的区别）
• 找到 Client， Coordinator， GAE，GIE 和 GLE 的安装位置目录
• 若一切正常，这时你能通过 python 拉起 graphscope。启动python，import graphscope 并载入一个内置 modern_graph 图，在图上启动图交互引擎，发送一个查所有点的语句。
• 退出 graphscope
  

Task 3: 运行本地测试

• 找到 CI 定义的位置和文件
• 找到单元测试的位置，参考在 CI 中是如何运行这些单元测试的步骤，并在本地运行CI上的本地测试 （如果没有，可开 Issue 加入运行）
• GAE 的单元测试
• GIE 的单元测试
• GLE 的单元测试
• 运行一组 Python 中的单元测试 test_min.py 。（Python 中的单元测试更像是集成测试，因为往往由多个引擎参与）
• 在 python/graphscope/tests/minitest下新增一个test 文件，在里面添加一个涉及多个引擎的测试，其中要包括载入一张 ogbn_mag 图，打印 Kcore 算法结果，通过 Gremlin 查询图的点边数量，执行 GCN 训练。
  

Task 4: 在 Kubernetes 上使用 GraphScope （Python SDK）

• 通过客户端在 K8S 环境下安装 Graphscope，建立一个 Session，通过 kubectl 查看拉起来的 Pod 和 Service （可通过 minikube/kind 在单机搭建 K8S 环境）
• 通过载图 API 载一个图 ogbn_mag
• 在图上运行一个 LPA 算法，并打印结果为 pandas.DataFrame
• 在图上启动交互引擎 （Interactive）
• 通过 gremlin 计算图有多少点，边
• 使用 learning 定义并执行一个 GCN 训练过程
• 关闭 Session

Task 5: 在 Kubernetes 上使用 GraphScope （Helm）

• 通过 Helm 安装 GraphScope，并载图，运行算法，Gremlin 和 Learning

Task 6: 独立部署

• 独立部署 GAE，并载图 modern_graph，运行 LPA 算法
• 独立部署 GIE，发送 gremlin 查询点边数量
  

Task 7: 打包镜像与了解 Kubernetes 上运行的基本概念

• 构建 GAE 的镜像
• 构建 GIE 的镜像 （包括 Frontend 和 Executor）
• 构建 GLE 的镜像
• 构建 Coordinator 的镜像
• 为 GAE 添加一条日志 ( analytical_engine/core/server/analytical_server.cc) 并重新构建镜像，在不使用 docker push的情况下，使用新的镜像启动并在日志中可以找到新添加的日志 （使用 registry 和 tag 来选择使用哪个镜像）
• 为 GIE 的 Frontend (interactive_engine/frontend/src/main/java/com/alibaba/graphscope/frontend/Frontend.java) 和 executor (interactive_engine/executor/assembly/v6d/src/bin/gaia_executor.rs) 各添加一条日志 并重新构建 Frontend 和 Executor 镜像，在不使用 docker push的情况下，使用新的镜像启动并可以找到新添加的日志
• 为 Coordinator 添加一个异常 (coordinator/gscoordinator/coordinator.py)，并重新构建 Coordinator 镜像。启动并找到异常的报错。（日志在控制台中或者在 Coordinator Pod 的日志中）
• 清除所有 GraphScope 的资源，包括镜像，容器。
  

Task 8: 运行 K8S 上的测试

• 找到在 Kubernetes 上运行的测试，找到在 CI 中是如何运行这些单元测试的
• 参考 CI 的步骤，运行 test_demo_scripts.py 中的 test_demo_distribute 测试
• 尝试添加一个在 Kubernetes 上运行的测试，并运行。其中要包括载入一张 ogbn_mag 图，打印 Kcore 算法结果，通过 Gremlin 查询图的点边数量，执行 GCN 训练。

---

Advance 部分

Task 9 : 打包为 Wheel 包

• 从源码构建 Python graphscope-client Wheels
• 从源码构建 Python graphscope wheels
• 安装构建出的 Wheel

Environment:

OS:

$ uname -a
Linux iZt4njawsw26o6edzkouljZ 5.4.0-135-generic #152-Ubuntu SMP Wed Nov 23 20:19:17 UTC 2022 aarch64 aarch64 aarch64 GNU/Linu

$ lsb_release -a
LSB Version:	core-11.1.0ubuntu2-noarch:security-11.1.0ubuntu2-noarch
Distributor ID:	Ubuntu
Description:	Ubuntu 20.04.5 LTS
Release:	20.04
Codename:	focal

[lidongze0629]

@acezen

[acezen]

Fix by pr apache/incubator-graphar#157

[lidongze0629]

Task1 - leaning

[sighingnow]

Try building vineyard with -DBUILD_VINEYARD_MALLOC=OFF.

[sighingnow]

Try building vineyard with -DBUILD_VINEYARD_MALLOC=OFF.

On Arm.

[sighingnow]

Fixed by

• Fixes the link libraries for vineyard graph-learn#261
• Bump up graph-learn submodule version #2716

[lidongze0629]

Task-1 learning segmentation fault.

[lidongze0629]

Support to build wheel package on Linux aarch64 platform:

• Support to build wheel package on Linux aarch64 platform #2723

[lidongze0629]

Finished Task 2

• Task 2 needs to install grpcio and grpcio_tools with no-binary options