Float16.cloud รองรับ SeaLLM-7b-v2, Typhoon-7b และ OpenThaiGPT-13b เรียบร้อยแล้ว

Developer update 04/02/2024

หัวข้ออัพเดท ดังนี้

1. Model ใหม่
2. Input size และ Output size
3. Generate speed.
4. Streaming Mode.
5. Campaign 
6. Roadmap

‍

1. Model ใหม่

รองรับ Model สำหรับภาษาไทยเพิ่มขึ้น 3 Model

1. Typhoon-7b (Base-Model)
2. OpenThaiGPT-13b (Instruc-Model)
3. SeaLLM-7b-v2 (Chat-Model)

สำหรับ Base-Model จำเป็นต้องใช้งานผ่าน Few-shot เท่านั้น ไม่สามารถใช้งานในลักษณะของ Zero-shot หรือ Chat mod ได้

‍

2. Input size และ Output size

โดยแต่ละ Model มีขนาด Input และ Output ที่รองรับดังนี้

1. Typhoon-7b, Input 4,096 tokens and Output 4,096 tokens.
2. OpenThaiGPT-13b, Input 4,096 tokens and Output 4,096 tokens.
3. SeaLLM-7b-v2, Input 4,096 tokens and Output 4,096 tokens.

‍

3. Generate speed.

คลิปสำหรับเปรียบเทียบความเร็วของ Model แต่ละตัว 

https://youtu.be/lk3dt3N72hU

‍

1. SeaLLM-7b-v2, 90 Tokens per sec.
2. Typhoon-7b, 80 Tokens per sec.
3. OpenThaiGPT-13b, 50 Tokens per sec.

‍

4. Streaming Mode.

Streaming Mode เปิดให้ใช้งาน Float16 API และ LlamaIndex เรียบร้อยแล้ว

ซึ่งตอนนี้มี 2 API Endpoint ที่รองรับนั้นคือ 

1. https://api.float16.cloud/v1/chat/completions
2. https://api.float16.cloud/v1/llamaindex

สามารถดูตัวอย่างได้จาก Github 

https://github.com/vultureprime/Float16-example

‍

5. Campaign.

ยกเว้นการคิดค่าบริการ API ตั้งแต่วันที่ 1 กุมภาพันธ์ 2024 จนถึง 31 มีนาคม 2024 

เพื่อให้สามารถใช้งานได้อย่างราบรื่นและไม่ต้องกังวลเรื่องค่าใช้จ่าย

‍

6. Roadmap. 

Roadmap สำหรับเดือนกุมภาพันธ์ 204

• รองรับ Streaming Mode สำหรับ Langchain 
• Deploy Text2SQL-34b (Defog)
• LlamaIndex Youtube series สอนทุก Component ที่เกี่ยวข้อง และ Project สำหรับฝึกใช้งาน Llamaindex

‍