generated from ProtossDragoon/vscode-py-template
-
Notifications
You must be signed in to change notification settings - Fork 0
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
- Loading branch information
Continuous Integration
committed
Jun 22, 2024
1 parent
1e23768
commit 687ab6b
Showing
2 changed files
with
27 additions
and
28 deletions.
There are no files selected for viewing
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -1,41 +1,40 @@ | ||
# 数据提取-加载-转换 | ||
# Autosink 项目的数据提取-加载-转换 | ||
|
||
[🇬🇧](README.md) | [🇰🇷](README.kr.md) | [🇨🇳](README.zh-CN.md) | ||
|
||
解析数据湖中的值并将其加载到内存中,然后可以运行数据标记器。将完成标记的数据存储到特征存储中。autosink-data-elt包括用于读取和写入数据湖中存储的json文件的实用程序类和定义的数据类型。当从树莓派提取的数据存储在数据湖中时,将数据加载并进行标记,以转换为特征存储中的形式,因此将其命名为ELT。 | ||
将数据湖中的值解析并加载到内存中,然后使数据标记器可以运行。autosink-data-elt 包含了用于很好地读取和写入数据湖中存储的 json 文件的实用类,以及定义了数据类型。当从树莓派提取的数据存储在数据湖中时,将数据加载并标记,然后将转换后的数据存储到特征存储中,因此将其命名为 ELT。 | ||
|
||
## 功能 | ||
|
||
- [ ] 解析数据湖中的值并将其加载到内存中,然后将数据标记器整理为易于读取的形式。 | ||
- [ ] 解析数据湖中的值并将其加载到内存中,然后整理为数据标记器方便读取的形式。 | ||
- [ ] 调用标记器。 | ||
- [ ] 将完成标记的数据存储到特征存储中。 | ||
- [ ] 将标记完成的数据存储到特征存储中。 | ||
|
||
# 环境 | ||
|
||
环境基于 MacOS、Linux。 | ||
环境基于 MacOS 和 Linux。 | ||
|
||
## `Makefile` | ||
|
||
`Makefile`具有以下功能。 | ||
`Makefile` 具有以下功能。 | ||
|
||
### `make lint` | ||
|
||
- 若要使用`.vscode`设置,请安装`pylint`扩展。 | ||
- 使用linter的默认设置覆盖`pyproject.toml`文件中指定的选项来lint代码。 | ||
- 要使用 `.vscode` 设置,请安装 `pylint` 扩展。 | ||
- 使用默认的 linter 设置,覆盖在 `pyproject.toml` 文件中指定的选项来进行代码检查。 | ||
|
||
### `make format` | ||
|
||
- 格式化程序使用google的`yapf`。 | ||
- 使用`pyproject.toml`文件中指定的选项覆盖`yapf`格式化程序的默认设置来格式化代码。 | ||
- 若要使用`.vscode`设置,请安装`yapf`扩展。 | ||
- 格式化程序使用 google 的 `yapf`。 | ||
- 使用 `pyproject.toml` 文件中指定的选项来覆盖 `yapf` 格式化程序的默认设置来格式化代码。 | ||
- 要使用 `.vscode` 设置,请安装 `yapf` 扩展。 | ||
|
||
### `make test` | ||
|
||
- 测试使用`unittest`。 | ||
- 支持`test_*.py`和`*_test.py`模式。 | ||
- 测试文件必须连接到包含测试的位置,并且必须有`__init__.py`。 | ||
- 使用 `unittest` 进行测试。 | ||
- 支持 `test_*.py` 和 `*_test.py` 模式。 | ||
- 测试文件必须连接到包含测试文件的位置,且连接到 `__init__.py`。 | ||
|
||
### `make publish` | ||
|
||
- 请按以下格式编写`~/.pypirc`文件。 | ||
|
||
- 请在 `~/. |