Jelly -- SoC platform for FPGA

概要

もともとMIPS互換のCPUコアを書き始めたのがきっかけですが、現状ではFPGAでSoCを実現する為のプラットフォームになりつつあります。 主に Xilinx のFPGAをターゲットにした、様々なコードを蓄積しており、主に Verilog 2001 と SystemVerilog で開発しております。

最近は、作者の発案したFPGA用のバイナリニューラルネットである LUT-Network の実行にも一部コードを流用しており、作者の中でも重要性が高まっております。

基本的には色々なものをごった煮で含んでいる状況ですが、参考になる部分だけ活用いただければと思います。

なお、現在少し詳細なドキュメントをこちらに準備中です。

MIPS-I 互換プロセッサ

/rtl/v1/mipsi/

以下にあります。

Verilogの勉強を始めた頃に Spartan-3 向けに試しに書いてみたプロセッサです。

ブロック図などはWebサイトの方にあります。

RISV-V 互換プロセッサ

/rtl/jfive

以下にあります。

サンプルは

• Ultra96V2 で 自作RISC-V(4段パイプライン)を試すサンプル
• Kria KV260 で 自作RISC-V(4段パイプライン)を試すサンプル
• Kria KV260 で 自作RISC-V(6段パイプライン)を試すサンプル

などになります。

FPGA化リアルタイムOS

/rtl/rtos 以下にあります。

FPGAで作成したRealTime-OSアクセラレータです。

今のところ ZynqMP の RPU(Cortex-R5) のアクセラレートのみですが、ITRON風味のRTOSスケジューリング補助回路となっています。

現状 Rust での開発を想定してサンプルを準備しております。

リアルタイムGPU

/rtl/v1/gpu 以下にあります。

フレームメモリを使わないフィルタ型の低遅延なリアルタイム描画を目指したものです。

動画はこちらです。

ライブラリ群

もはやこれが Jelly のメインかもです

• rtl/v2/library FIFOとかRAMとか様々なRTLのパーツ
• rtl/v2/bus AXIとかWISHBONEとかのバスブリッジ等のパーツ
• rtl/v2/math GPUとかで使うような算術パーツ
• rtl/v2/peripheral UARTとかI2CとかTIMERとかののパーツ
• rtl/v2/video DVIとかHDMIとかのビデオ処理
• rtl/v2/image 画像処理用パーツ(ニューラルネットの畳み込みでも利用)
• rtl/v2/model シミュレーション用の便利モデルいろいろ

いろいろなサンプルプロジェクト

以下、Jelly 内のサンプルプログラムの紹介です。

ZynqMP 共通

• projects/zynqmp/zynqmp_rpu/zynqmp_rpu_rust
  • ZynqMP の rpu を C++ と Rust で試すサンプル

Kria KV260

• projects/kv260/kv260_imx219

  • Kria KV260 で カメラ画像(IMX219) を動かすサンプル

• projects/kv260/kv260_rtos_sample

  • Kria KV260 で FPGA化した リアルタイムOS を試すサンプル

• projects/kv260/kv260_jfive_simple_controller

  • Kria KV260 で 自作RISC-V(4段パイプライン)を200MHzで試すサンプル

• projects/kv260/kv260_jfive_micro_controller

  • Kria KV260 で 自作RISC-V(6段パイプライン)を250MHzで試すサンプル

• projects/kv260/kv260_rtos

  • Kria KV260 で FPGA化した リアルタイムOS を試すサンプル
  • Interface 2023年10月号付録 FPGAマガジン No.1で記事にしております

• projects/kv260/kv260_imx219_mnist_seg

  • Kria KV260 で Raspberry V2 カメラ の 1000fps で MNIST のセメンティックセグメンテーションを行う
  • Interface 2024年10月号付録 FPGAマガジン No.3で記事にしております

• projects/kv260/kv260_sample

  • Kria KV260 で PL単独で LED チカチカ を試すサンプル

• projects/kv260/kv260_blinking_led_ps

  • Kria KV260 で PSから PL経由で LED チカチカ を試すサンプル

• projects/kv260/kv260_udmabuf_sample

  • Kria KV260 でudmabufを試すサンプル

• projects/kv260/kv260_devdrv_sample

  • Kria KV260 で 自作デバイスドライバを試すサンプル

Kria KR260

• projects/kr260/kr260_blinking_led
  • Kria KR260 で LED チカチカ を試すサンプル
• projects/kr260/kr260_udmabuf_sample
  • Kria KR260 でudmabufを試すサンプル
• projects/kr260/kr260_devdrv_sample
  • Kria KR260 で 自作デバイスドライバを試すサンプル

Ultra96 V2

• projects/ultra96v2/ultra96v2_udmabuf_sample
  • Ultra96V2 でudmabufを試すサンプル
• projects/ultra96v2/ultra96v2_display_port
  • Ultra96V2 で DisplayPortを試すサンプル
• projects/ultra96v2/ultra96v2_imx219_display_port
  • Ultra96V2 で カメラ画像(IMX219) をDisplayPortから表示
• projects/ultra96v2/ultra96v2_rtos
  • Ultra96V2 で FPGA化した リアルタイムOS を試すサンプル
• projects/ultra96v2/ultra96v2_jfive_sample
  • Ultra96V2 で 自作RISC-V(4段パイプライン)を試すサンプル
• projects/ultra96v2/ultra96v2_hls_test
  • Ultra96V2 で コマンドラインだけでHLSで書いたIPをVivadoに取り込んで合成するサンプル
• projects/ultra96v2/ultra96v2_imx219_hls_sample
  • Ultra96V2 で HLSでカメラ画像を処理してみるサンプル

Zybo Z7

• projects/zybo_z7/zybo_z7_udmabuf_sample
  • Zybo Z7 でudmabufを試すサンプル
• projects/zybo_z7/zybo_z7_imx219
  • Zybo Z7 で RaspberryPI Camera Module V2(Sony IMX219)
• projects/zybo_z7/zybo_z7_imx219_hdmi
  • Zybo Z7 で カメラ画像(IMX219) をHDMIコネクタから表示

Tang Nano 4k

• projects/tang_nano_4k/tang_nano_4k_blinking_led

  • Tang Nano 4k の LEDチカチカ

• projects/tang_nano_4k/tang_nano_4k_mnist

  • Tang Nano 4k の MNIST 認識 (LUT-Network)
  • Interface 2024年12月号付録 GOWING Vol.4で記事にしております

Tang Nano 9k

• projects/tang_nano_9k/tang_nano_9k_blinking_led

  • Tang Nano 9k の LEDチカチカ

• projects/tang_nano_9k/tang_nano_9k_blinking_led

  • Tang Nano 9k の HDMI(DVI)出力確認

あまりに ZynqMP ネタが増えてきたのでZynqMPを理解しようという記事を書いてみました。

ライセンス

license.txt にある通り、MIT ライセンスとして置いておきます。