diff --git a/docs/locale/ko/LC_MESSAGES/model_serving/model_serving.po b/docs/locale/ko/LC_MESSAGES/model_serving/model_serving.po index 9f96895..34d7ed2 100644 --- a/docs/locale/ko/LC_MESSAGES/model_serving/model_serving.po +++ b/docs/locale/ko/LC_MESSAGES/model_serving/model_serving.po @@ -8,7 +8,7 @@ msgid "" msgstr "" "Project-Id-Version: Backend.AI Web-UI User Guide 23.03\n" "Report-Msgid-Bugs-To: \n" -"POT-Creation-Date: 2024-09-24 00:03+0900\n" +"POT-Creation-Date: 2024-10-23 16:33+0900\n" "PO-Revision-Date: YEAR-MO-DA HO:MI+ZONE\n" "Last-Translator: FULL NAME \n" "Language-Team: LANGUAGE \n" @@ -382,26 +382,29 @@ msgstr "" msgid "" "After creating the folder, select the 'MODELS' tab in the Data & Folders " "page, click on the recently created model type folder icon to open the " -"folder explorer, and upload the model definition file." +"folder explorer, and upload the model definition file. For more " +"information on how to use the folder explorer, please refer :ref:`Explore" +" Folder` section." msgstr "" "폴더를 생성한 뒤, 데이터 & 폴더 페이지에서 'MODELS' 탭을 선택, 방금 생성한 모델 타입 폴더 아이콘을 클릭하여 폴더 " "탐색기를 엽니다. 이후 모델 정의 파일을 업로드 합니다. " +"폴더 탐색기에 대한 자세한 사용 방법은 :ref:`폴더 탐색기 ` 를 확인하세요." #: ../../model_serving/model_serving.rst:-1 msgid "Model definition file upload" msgstr "모델 정의 파일 생성하기" -#: ../../model_serving/model_serving.rst:198 +#: ../../model_serving/model_serving.rst:204 msgid "Creating/Validating Model Service" msgstr "모델 서비스 생성하기/유효성 검사하기" -#: ../../model_serving/model_serving.rst:200 +#: ../../model_serving/model_serving.rst:206 msgid "" "Once the model definition file is uploaded to the virtual folder of the " "model type, you are ready to create the model service." msgstr "모델 정의 파일까지 모델 타입의 가상 폴더에 모두 업로드하였다면, 본격적으로 모델 서비스를 생성할 준비가 된 것입니다." -#: ../../model_serving/model_serving.rst:203 +#: ../../model_serving/model_serving.rst:209 msgid "" "Click the 'Start Service' button on the Model Serving page. This will " "bring up a page where you can enter the required settings for creating " @@ -412,13 +415,13 @@ msgstr "모델 서빙 페이지에서 'Start Service' 버튼을 클릭하면, msgid "Service launcher" msgstr "" -#: ../../model_serving/model_serving.rst:212 +#: ../../model_serving/model_serving.rst:222 msgid "" "First, provide a service name. For detailed explanations of each item, " "please refer to the following:" msgstr "먼저, 서비스 이름을 입력합니다. 각 항목에 대한 자세한 설명은 아래 내용을 참고 하십시오." -#: ../../model_serving/model_serving.rst:214 +#: ../../model_serving/model_serving.rst:224 msgid "" "Open To Public: This option allows access to the model service without " "any separate token on the server where the service is to be hosted. By " @@ -427,13 +430,13 @@ msgstr "" "Open To Public: 모델 서비스 생성 후 서비스하고자 하는 서버에 별도의 토큰이 없이도 접근할 수 있도록 하는 옵션. " "기본적으로 비활성화 되어있음." -#: ../../model_serving/model_serving.rst:217 +#: ../../model_serving/model_serving.rst:227 msgid "" "Model Storage To Mount: This is model folder to mount, which contains " "model definition file inside the directory." msgstr "Model Storage To Mount: 모델 정의 파일이 들어있는 마운트 할 모델 폴더를 선택." -#: ../../model_serving/model_serving.rst:219 +#: ../../model_serving/model_serving.rst:229 msgid "" "Inference Runtime Variant: This categorizes the type of models into four:" " ``vLLM``, ``NVIDIA NIM``, ``Predefined Image Command``, ``Custom``." @@ -445,7 +448,7 @@ msgstr "" msgid "Runtime Variant" msgstr "" -#: ../../model_serving/model_serving.rst:226 +#: ../../model_serving/model_serving.rst:236 msgid "" "For example, if you choose ``vLLM`` or ``NVIDIA NIM`` or ``Predefined " "Image Command`` as a runtime variant of model service, there's no need to" @@ -461,7 +464,7 @@ msgstr "" "`_" " 포스팅을 확인하시기 바랍니다." -#: ../../model_serving/model_serving.rst:231 +#: ../../model_serving/model_serving.rst:241 msgid "" "Model Destination For Model Folder: This option allows aliasing path of " "model storage path to session corresponding to routing, which represents " @@ -470,7 +473,7 @@ msgstr "" "Model Destination For Model Folder: 서비스의 라우팅에 대응하는 세션에 마우트 될 모델 스토리지 경로를 " "앨리어싱 하는 옵션. 기본 값은 ``/models``." -#: ../../model_serving/model_serving.rst:234 +#: ../../model_serving/model_serving.rst:244 msgid "" "Model Definition File Path: You can also set model definition file as you" " uploaded in model storage path. The default value is ``model-" @@ -479,7 +482,7 @@ msgstr "" "Model Definition File Path: 모델 스토리지 경로에 있는 모델 정의 파일을 정하는 옵션으로, 기본 값은 " "``model-definition.yaml``." -#: ../../model_serving/model_serving.rst:236 +#: ../../model_serving/model_serving.rst:246 msgid "" "Additional Mounts: Likewise session, service provides additional mounts. " "Please make sure that only you can mount general/data usage mode folder, " @@ -488,7 +491,7 @@ msgstr "" "Additional Mounts: 세션과 마찬가지로, 서비스에 폴더를 추가로 마운트할 수 있음. 단, 모델 폴더는 추가 마운트가 " "불가능하고, 일반/데이터 사용 모드의 폴더만 마운트할 수 있음." -#: ../../model_serving/model_serving.rst:239 +#: ../../model_serving/model_serving.rst:249 msgid "" "Desired Routing Count: This setting serves as the basis for determining " "the number of routing sessions to maintain for the current service. If " @@ -500,13 +503,13 @@ msgstr "" "설정의 값을 변경하면, 매니저가 기존에 실행되고 있는 Replica 세션의 개수를 참조하여 새로운 Replica 세션을 생성하거나," " 실행중인 세션을 종료할 수 있음." -#: ../../model_serving/model_serving.rst:249 +#: ../../model_serving/model_serving.rst:259 msgid "" "Then select a resource group. The resource group is a collection of " "resources that can be allocated to the model service." msgstr "그리고, 이미지 환경과 자원 그룹을 선택합니다. 자원 그룹은 모델 서비스에 할당될 수 있는 자원의 집합입니다." -#: ../../model_serving/model_serving.rst:252 +#: ../../model_serving/model_serving.rst:262 msgid "" "Environment / Version: You can configure the execution environment for " "the dedicated server of the model service. Currently, even if the service" @@ -517,7 +520,7 @@ msgstr "" "Environment / Version: 모델 서비스에서 서비스 전용 서버의 실행 환경을 설정, 현재는 서비스 내 라우팅이 여러 " "개여도 단일 실행환경으로만 실행되도록 지원하고 있음. ( *추후 업데이트 예정* )" -#: ../../model_serving/model_serving.rst:257 +#: ../../model_serving/model_serving.rst:267 msgid "" "Resource Presets: Allows you to select the amount of resources to " "allocate from the model service. Resource contains CPU, RAM, and AI " @@ -526,13 +529,13 @@ msgstr "" "자원 프리셋: 모델 서비스에서 할당하고자 하는 자원량을 선택할 수 있음. 자원에는 CPU, RAM, 그리고 GPU로 알려져있는 AI" " 가속기가 해당." -#: ../../model_serving/model_serving.rst:264 +#: ../../model_serving/model_serving.rst:274 msgid "" "Single Node: When running a session, the managed node and worker nodes " "are placed on a single physical node or virtual machine." msgstr "Single Node: 세션을 실행할 때에 관리 노드와 워커 노드들이 하나의 물리 노드 또는 가상 머신에 배치되는 경우." -#: ../../model_serving/model_serving.rst:266 +#: ../../model_serving/model_serving.rst:276 msgid "" "Multi Node: When running a session, one managed node and one or more " "worker nodes are split across multiple physical nodes or virtual " @@ -541,7 +544,7 @@ msgstr "" "Multi Node: 세션을 실행할 때 하나의 관리 노드와 하나 이상의 워커 노드가 여러 물리 노드 또는 가상 머신에 나누어 " "배치되는 경우." -#: ../../model_serving/model_serving.rst:268 +#: ../../model_serving/model_serving.rst:278 msgid "" "Variable: In this section, you can set environment variable when starting" " a model service. It is useful when you trying to create a model service " @@ -551,7 +554,7 @@ msgstr "" "Variable: 이 섹션에서는, 모델 서비스를 시작할 때 설정되는 환경 변수를 설정할 수 있음. 런타임 배리언트를 사용해서 모델 " "서비스를 생성할 때 유용함. 몇몇 런타임 배리언트는 시작 전 환경 변수 설정이 필요함. " -#: ../../model_serving/model_serving.rst:272 +#: ../../model_serving/model_serving.rst:282 msgid "" "Before creating model service, Backend.AI supports validation feature to " "check whether execution is available or not(due to any errors during " @@ -566,7 +569,7 @@ msgstr "" "유효성 검사 이벤트를 확인하는 팝업창이 새로 뜨게 됩니다. 이 팝업 창에서, 여러분은 컨테이너 로그로 상태를 확인할 수 있습니다. " "결과 값이 ``Finished`` 로 뜨게 되면, 유효성 검사가 끝난 것을 의미합니다." -#: ../../model_serving/model_serving.rst:286 +#: ../../model_serving/model_serving.rst:296 msgid "" "The result ``Finished`` doesn't guarantee that the execution is " "successfully done. Instead, please check the container log." @@ -574,11 +577,11 @@ msgstr "" "``Finished`` 결과 값이 실행이 성공적으로 종료되었음을 의미하지는 않습니다. 그 대신, 컨테이너 로그를 반드시 확인하시기 " "바랍니다." -#: ../../model_serving/model_serving.rst:290 +#: ../../model_serving/model_serving.rst:300 msgid "**Handling Failed Model Service Creation**" msgstr "**모델 서비스 생성에 실패한 경우**" -#: ../../model_serving/model_serving.rst:292 +#: ../../model_serving/model_serving.rst:302 msgid "" "If the status of the model service remains ``UNHEALTHY``, it indicates " "that the model service cannot be executed properly." @@ -586,25 +589,25 @@ msgstr "" "만일 모델 서비스의 상태가 ``UNHEALTHY`` 로 되어 있는 경우, 모델 서비스를 정상적으로 실행할 수 없는 상태라고 볼 수 " "있습니다. " -#: ../../model_serving/model_serving.rst:295 +#: ../../model_serving/model_serving.rst:305 msgid "" "The common reasons for creation failure and their solutions are as " "follows:" msgstr "생성이 안 되는 이유 및 해결법은 대개 다음과 같습니다: " -#: ../../model_serving/model_serving.rst:298 +#: ../../model_serving/model_serving.rst:308 msgid "" "Insufficient allocated resources for the routing when creating the model " "service" msgstr "모델 서비스 생성 시 너무 적은 양의 자원을 라우팅에 할당한 경우" -#: ../../model_serving/model_serving.rst:301 +#: ../../model_serving/model_serving.rst:311 msgid "" "Solution: Terminate the problematic service and recreate it with an " "allocation of more sufficient resources than the previous settings." msgstr "해결법: 해당 서비스를 우선 종료하고, 이전 설정보다 많은, 충분한 양의 자원을 할당하도록 설정하여 서비스를 재생성합니다." -#: ../../model_serving/model_serving.rst:305 +#: ../../model_serving/model_serving.rst:315 msgid "Incorrect format of the model definition file (``model-definition.yml``)" msgstr "모델 정의 파일(``model-definition.yml``) 의 형식이 잘못된 경우" @@ -612,7 +615,7 @@ msgstr "모델 정의 파일(``model-definition.yml``) 의 형식이 잘못된 msgid "Serving route error" msgstr "" -#: ../../model_serving/model_serving.rst:312 +#: ../../model_serving/model_serving.rst:322 msgid "" "Solution: Verify :ref:`the format of the model definition file " "` and if any key-value pairs are incorrect, " @@ -629,11 +632,11 @@ msgstr "" msgid "Refresh button" msgstr "새로고침 버튼" -#: ../../model_serving/model_serving.rst:324 +#: ../../model_serving/model_serving.rst:334 msgid "Generating Tokens" msgstr "토큰 발급하기" -#: ../../model_serving/model_serving.rst:326 +#: ../../model_serving/model_serving.rst:336 msgid "" "Once the model service is successfully executed, the status will be set " "to ``HEALTHY``. In this case, you can click on the corresponding endpoint" @@ -655,7 +658,7 @@ msgstr "" msgid "Routing page" msgstr "" -#: ../../model_serving/model_serving.rst:340 +#: ../../model_serving/model_serving.rst:350 msgid "" "Click the 'Generate Token' button located to the right of the generated " "token list in the routing information. In the modal that appears for " @@ -668,7 +671,7 @@ msgstr "" msgid "Token generation dialog" msgstr "" -#: ../../model_serving/model_serving.rst:349 +#: ../../model_serving/model_serving.rst:359 msgid "" "The issued token will be added to the list of generated tokens. Click the" " 'copy' button in the token item to copy the token, and add it as the " @@ -681,35 +684,35 @@ msgstr "" msgid "Generated token copy" msgstr "토큰 발급하기" -#: ../../model_serving/model_serving.rst:357 +#: ../../model_serving/model_serving.rst:367 msgid "Key" msgstr "키" -#: ../../model_serving/model_serving.rst:357 +#: ../../model_serving/model_serving.rst:367 msgid "Value" msgstr "값" -#: ../../model_serving/model_serving.rst:359 +#: ../../model_serving/model_serving.rst:369 msgid "Content-Type" msgstr "Content-Type" -#: ../../model_serving/model_serving.rst:359 +#: ../../model_serving/model_serving.rst:369 msgid "application/json" msgstr "application/json" -#: ../../model_serving/model_serving.rst:360 +#: ../../model_serving/model_serving.rst:370 msgid "Authorization" msgstr "Authorization" -#: ../../model_serving/model_serving.rst:360 +#: ../../model_serving/model_serving.rst:370 msgid "BackendAI" msgstr "BackendAI" -#: ../../model_serving/model_serving.rst:364 +#: ../../model_serving/model_serving.rst:374 msgid "Accessing the Model Service Endpoint for End Users" msgstr "(엔드유저 전용) 모델 서비스에 대응하는 엔드포인트에 접속하여 서비스 확인하기" -#: ../../model_serving/model_serving.rst:366 +#: ../../model_serving/model_serving.rst:376 msgid "" "To complete the model serving, you need to share information with the " "actual end users so that they can access the server where the model " @@ -723,13 +726,13 @@ msgstr "" " 때 서비스 생성시 Open to Public 값이 활성화한 경우라면 라우팅 정보 페이지의 서비스 엔드포인트 값을 공유하면 됩니다." " 만일 비활성화 한 채로 서비스를 생성한 경우라면 서비스 엔드포인트 값과 앞서 생성한 토큰 값을 공유하면 됩니다." -#: ../../model_serving/model_serving.rst:374 +#: ../../model_serving/model_serving.rst:384 msgid "" "Here's the simple command using ``curl`` command whether to check sending" " any requests to model serving endpoint working properly or not." msgstr "``curl`` 명령어를 사용해서 모델 서빙 엔드포인트에 보내는 요청이 제대로 동작하는 지 아닌지 확인할 수 있습니다." -#: ../../model_serving/model_serving.rst:385 +#: ../../model_serving/model_serving.rst:395 msgid "" "By default, end users must be on a network that can access the endpoint. " "If the service was created in a closed network, only end users who have " @@ -738,24 +741,24 @@ msgstr "" "기본적으로 엔드 유저는 엔드포인트에 접근이 가능한 네트워크 망에 있어야 합니다. 만일 폐쇄망에서 서비스를 생성한 경우, 폐쇄망 내 " "접근이 가능한 엔드 유저만 접근이 가능합니다." -#: ../../model_serving/model_serving.rst:391 +#: ../../model_serving/model_serving.rst:401 msgid "Using the Large Language Model" msgstr "거대 언어 모델 (LLM) 사용하기" -#: ../../model_serving/model_serving.rst:393 +#: ../../model_serving/model_serving.rst:403 msgid "" "If you've created a Large Language Model (LLM) service, you can test the " "LLM in real-time. Simply click the 'LLM Chat Test' button located in the " "Service Endpoint column." msgstr "" -"LLM(Large Language Model) 모델 서비스를 생성했다면, 실시간으로 LLM을 사용해 볼 수 있습니다. " -"서비스 엔드포인트 열에 있는 'LLM 채팅 테스트' 버튼을 클릭하여 테스트를 수행할 수 있습니다. " +"LLM(Large Language Model) 모델 서비스를 생성했다면, 실시간으로 LLM을 사용해 볼 수 있습니다. 서비스 " +"엔드포인트 열에 있는 'LLM 채팅 테스트' 버튼을 클릭하여 테스트를 수행할 수 있습니다. " #: ../../model_serving/model_serving.rst:-1 msgid "LLM Chat Test" msgstr "LLM Chat Test" -#: ../../model_serving/model_serving.rst:401 +#: ../../model_serving/model_serving.rst:411 msgid "" "Then, a modal for chatting will appear as shown below. You can input the " "text you want to chat with the LLM model and click the 'Send' button or " @@ -768,7 +771,7 @@ msgstr "" msgid "LLM Chat Dialog" msgstr "" -#: ../../model_serving/model_serving.rst:409 +#: ../../model_serving/model_serving.rst:419 msgid "" "If you encounter issues connecting to the API, a custom modal will appear" " allowing you to manually specify model settings. To use the model, you " @@ -777,23 +780,25 @@ msgstr "" "API에 연결하는 데 문제가 발생하는 경우, 사용자 정의 모달이 나타나며 모델 설정을 수동으로 지정할 수 있습니다. 모델을 " "사용하려면 다음 정보가 필요합니다:" -#: ../../model_serving/model_serving.rst:412 +#: ../../model_serving/model_serving.rst:422 msgid "" "baseURL: Base URL of the server where the model is located. Make sure to " "include the version information. For instance, when utilizing the OpenAI " "API, you should enter https://api.openai.com/v1." msgstr "" -"baseURL: 모델이 위치한 서버의 기본 URL. 해당 URL에는 버전 정보가 포함되어 있어야 합니다. 예를 들어, OpenAI API를" -" 사용하는 경우, https://api.openai.com/v1 을 입력해야 합니다." +"baseURL: 모델이 위치한 서버의 기본 URL. 해당 URL에는 버전 정보가 포함되어 있어야 합니다. 예를 들어, OpenAI " +"API를 사용하는 경우, https://api.openai.com/v1 을 입력해야 합니다." -#: ../../model_serving/model_serving.rst:415 +#: ../../model_serving/model_serving.rst:425 msgid "" "Model ID: Unique identifier of the model. To specify the model you wish " "to use, you would provide its unique identifier. For instance, for GPT-4," " you would input 'gpt-4o'." -msgstr "Model ID: 사용하려는 모델의 고유 식별자. 모델을 지정하려면 고유 식별자를 제공해야 합니다. 예를 들어, GPT-4의 경우 gpt-4o를 입력합니다." +msgstr "" +"Model ID: 사용하려는 모델의 고유 식별자. 모델을 지정하려면 고유 식별자를 제공해야 합니다. 예를 들어, GPT-4의 경우 " +"gpt-4o를 입력합니다." -#: ../../model_serving/model_serving.rst:417 +#: ../../model_serving/model_serving.rst:427 msgid "" "Token (optional): An authentication key to access the model service. " "Tokens can be generated from various services, not just Backend.AI. The " @@ -804,7 +809,7 @@ msgid "" "how to generate tokens." msgstr "" "Token (선택사항): 모델 서비스에 접근하기 위한 인증 키. 토큰은 Backend.AI 뿐만 아니라 다양한 서비스에서 생성할 수" -" 있습니다. 토큰 생성 방법은 서비스에 따라 다를 수 있습니다. 자세한 내용은 해당 서비스의 안내를 참조하십시오. " +" 있습니다. 토큰 생성 방법은 서비스에 따라 다를 수 있습니다. 자세한 내용은 해당 서비스의 안내를 참조하십시오. " "Backend.AI에서 생성한 서비스를 사용하는 경우, 토큰 생성 방법은 :ref:`토큰 발급하기` 섹션을 참조하십시오." @@ -812,7 +817,7 @@ msgstr "" msgid "LLM Chat Dialog Custom" msgstr "" -#: ../../model_serving/model_serving.rst:428 +#: ../../model_serving/model_serving.rst:438 msgid "" "Click the 'More' button in the upper left corner to access additional " "features. Compare with other LLM models, delete chat history, and more. " @@ -827,11 +832,11 @@ msgstr "" msgid "LLM Chat Dialog extra features" msgstr "" -#: ../../model_serving/model_serving.rst:437 +#: ../../model_serving/model_serving.rst:447 msgid "Modifying Model Service" msgstr "모델 서비스 수정하기" -#: ../../model_serving/model_serving.rst:439 +#: ../../model_serving/model_serving.rst:449 msgid "" "Click on the wrench icon in the Control tab to open a modal where you can" " change the model service. The format is identical to the model service " @@ -848,11 +853,11 @@ msgstr "" msgid "Edit model service dialog" msgstr "모델 서비스" -#: ../../model_serving/model_serving.rst:450 +#: ../../model_serving/model_serving.rst:460 msgid "Terminating Model Service" msgstr "모델 서비스 종료하기" -#: ../../model_serving/model_serving.rst:452 +#: ../../model_serving/model_serving.rst:462 msgid "" "The model service periodically runs a scheduler to adjust the routing " "count to match the desired session count. However, this puts a burden on " diff --git a/docs/model_serving/edit-service-launcher.png b/docs/model_serving/edit-service-launcher.png index 24bafae..0a594f2 100644 Binary files a/docs/model_serving/edit-service-launcher.png and b/docs/model_serving/edit-service-launcher.png differ diff --git a/docs/model_serving/model-definition-file-upload.png b/docs/model_serving/model-definition-file-upload.png index 8d2e5fe..3cf802a 100644 Binary files a/docs/model_serving/model-definition-file-upload.png and b/docs/model_serving/model-definition-file-upload.png differ diff --git a/docs/model_serving/model-type-folder-creation.png b/docs/model_serving/model-type-folder-creation.png index 9029e89..0b82807 100644 Binary files a/docs/model_serving/model-type-folder-creation.png and b/docs/model_serving/model-type-folder-creation.png differ diff --git a/docs/model_serving/model-type-folder-list.png b/docs/model_serving/model-type-folder-list.png new file mode 100644 index 0000000..7b8b7df Binary files /dev/null and b/docs/model_serving/model-type-folder-list.png differ diff --git a/docs/model_serving/model_serving.rst b/docs/model_serving/model_serving.rst index ca87ae6..f095530 100644 --- a/docs/model_serving/model_serving.rst +++ b/docs/model_serving/model_serving.rst @@ -188,7 +188,13 @@ instructions on how to create a folder. After creating the folder, select the 'MODELS' tab in the Data & Folders page, click on the recently created model type folder icon to open the -folder explorer, and upload the model definition file. +folder explorer, and upload the model definition file. +For more information on how to use the folder explorer, +please refer :ref:`Explore Folder` section. + +.. image:: model-type-folder-list.png + :width: 100% + :align: center .. image:: model-definition-file-upload.png :align: center @@ -204,6 +210,10 @@ Click the 'Start Service' button on the Model Serving page. This will bring up a page where you can enter the required settings for creating the service. +.. image:: serving-list-page.png + :width: 100% + :align: center + .. image:: service-launcher1.png :width: 700 :align: center diff --git a/docs/model_serving/serving-list-page.png b/docs/model_serving/serving-list-page.png new file mode 100644 index 0000000..25871a3 Binary files /dev/null and b/docs/model_serving/serving-list-page.png differ