ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง#บทสอน / ภาคปฏิบัติ
1 เมษายน 2025วันอังคาร
  1. Vapi Blog20

    การขยายการรับลูกค้าเบื้องต้นด้วย Vapi Voice AI Agents: กรณีศึกษาของที่ปรึกษา

    Christian Ulstrup ที่ปรึกษาจาก GSD at Work ใช้ Vapi voice AI agents แทนการนัดสายค้นหาความต้องการแบบกำหนดเวลา ด้วยระบบรับข้อมูลเสียงแบบอะซิงโครนัสสำหรับเวิร์กช็อป AI Action Sessions ของเขา ผู้เข้าร่วมโทรเข้าสายโทรศัพท์ Vapi เฉพาะตามความสะดวก และทรานสคริปต์พร้อมสรุปที่สร้างโดย AI จะไหลเข้าสู่ Slack ผ่าน Zapier และถูกบันทึกใน HubSpot สำหรับลูกค้ารายล่าสุด 20 คนจากทั่วโลกมีส่วนร่วมในการค้นหาความต้องการรวมกว่า 3 ชั่วโมง และเซสชันได้รับคะแนน 5 จาก 5

24 กุมภาพันธ์ 2025วันจันทร์
  1. Modal Blog40

    คู่มือระดับสูงเกี่ยวกับการใช้ประโยชน์ GPU: การจัดสรร, เคอร์เนล และ Model FLOP/s utilization

    Modal เผยแพร่คู่มือที่แยกความแตกต่างของสามสิ่งที่มักถูกเรียกว่า "GPU utilization": GPU Allocation Utilization (สัดส่วน GPU-วินาทีที่รันโค้ดแอปพลิเคชันต่อ GPU-วินาทีที่จ่ายเงินไป), GPU Kernel Utilization (สัดส่วนเวลาที่รันโค้ดบน GPU) และ Model FLOP/s Utilization (สัดส่วนของแบนด์วิดท์การคำนวณตามทฤษฎีที่ถูกใช้) คู่มือนี้เน้นไปที่งาน inference ของโครงข่ายประสาทเทียม ซึ่ง Modal เรียกว่าเป็นศูนย์สร้างรายได้มากกว่าศูนย์ต้นทุน

10 ธันวาคม 2024วันอังคาร
  1. Modal Blog30

    LLM fine-tuning คืออะไร? คู่มือเทคนิคและเครื่องมือ

    Fine-tuning ปรับน้ำหนักของ LLM ที่ผ่านการฝึกมาแล้วให้เหมาะกับงานหรือโดเมนเฉพาะ ให้คุณภาพสูงกว่า prompt engineering ด้วยต้นทุนและ latency ที่ต่ำกว่า Llama 7B ที่ผ่าน fine-tuning สามารถประหยัดต้นทุนต่อ token ได้ประมาณ 50 เท่าเมื่อเทียบกับ GPT-3.5 โดยมีประสิทธิภาพใกล้เคียงกัน คู่มือนี้ครอบคลุมกรณีการใช้งาน เช่น structured output การรักษาสไตล์ และคำสั่งเฉพาะโดเมน พร้อมตัวเลือก包括 OpenAI, Predibase, Modal, Google Colab และ AWS SageMaker และเฟรมเวิร์ก HuggingFace transformers, TRL และ Axolotl

20 พฤศจิกายน 2024วันพุธ
  1. Modal Blog25

    OpenArt ขยายแพลตฟอร์มศิลปะ Gen AI ของตนบน GPU หลายร้อยตัวด้วย Modal ได้อย่างไร

    OpenArt déployé เวิร์กโฟลว์ ComfyUI ที่เป็นกรรมสิทธิ์ของตนบน Modal โดยลดเวลาการติดตั้งจากหลายชั่วโมงบน AWS และ GCP เหลือเพียงไม่กี่นาที และปรับขนาดอัตโนมัติถึงคอนเทนเนอร์ GPU หลายร้อยตัว ปัจจุบัน Modal ขับเคลื่อนเวิร์กโฟลว์กว่า 100 รายการบนแพลตฟอร์ม ซึ่งให้บริการผู้ใช้ที่ใช้งานอยู่รายเดือนมากกว่า 3 ล้านคน

24 กันยายน 2024วันอังคาร
  1. Modal Blog22

    การค้นหาแบบไฮบริดบน embedding จากภาพถ่ายดาวเทียมของแคลิฟอร์เนียด้วย Modal, MongoDB และ Clay

    แอปสาธิตทำการค้นหาแบบไฮบริดทั่วทั้งรัฐแคลิฟอร์เนียโดยใช้การประทับเวลา ข้อมูลพิกัดทางภูมิศาสตร์ และ embedding จากภาพถ่ายดาวเทียมจากโมเดลพื้นฐาน Clay v1 โดย Modal ทำหน้าที่จัดการคำขอรายวันไปยัง Sentinel API การจัดเก็บใน MongoDB Atlas และการประมวลผล embedding บน GPU A10 พร้อมฟรอนต์เอนด์ Alpine JS ขนาดเล็กที่ให้บริการผ่าน FastAPI

18 กันยายน 2024วันพุธ
  1. Modal Blog20

    Contextual AI ใช้ Modal GPUs ทำ CI แบบอัตโนมัติได้อย่างไร

    Contextual AI ได้ทำ continuous integration บน GPU ให้เป็นอัตโนมัติและทำงานแบบขนานบน Modal แทนการรันทดสอบด้วยมือบนโหนด GPU ภายในองค์กร โดย GitHub Action จะทริกเกอร์ Modal Function ที่ผูก GPU หลายตัวไว้ และการสร้างอิมเมจแบบแคชทำให้การทดสอบเริ่มได้ภายใน 30 วินาทีหลังส่งงาน Modal คิดค่าบริการตามการใช้งาน ดังนั้น 99% ของยอดที่เรียกเก็บคือเวลาในการรันทดสอบจริง

5 สิงหาคม 2024วันจันทร์
  1. Modal Blog62

    Modal ทำซ้ำ Large Language Monkeys: LLaMA 3.1 8B เทียบเท่า GPT-4o บน HumanEval ด้วยการค้นหา

    Charles Frye จาก Modal ได้ทำซ้ำข้ออ้างหลักของบทความ Large Language Monkeys บนชุดข้อมูลใหม่ แสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำช่วยยกระดับ LLaMA 3.1 8B จาก 66.4% pass@1 เป็น 90.5% pass@100 และ 95.1% pass@1000 บน HumanEval เทียบกับ GPT-4o ที่รายงานไว้ 90.2% pass@1 การรันใช้ vLLM บน Modal serverless GPUs และ Modal Sandboxes สำหรับการรันทดสอบแบบขนาน มีค่าใช้จ่ายต่ำกว่า $50 มาก และแสดงการขยายขนาดที่ราบรื่นและคาดเดาได้ในช่วงสามลำดับขนาด

    ทำไมเรื่องนี้สำคัญ: การทำซ้ำด้วยตนเองแสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำด้วยโมเดลเปิดขนาดเล็กสามารถเข้าใกล้ GPT-4o บน HumanEval ได้ โดยเสนอสูตรที่ konkret และต้นทุนต่ำในการแลกเปลี่ยนพลังประมวลผลกับความแม่นยำ

20 มิถุนายน 2024วันพฤหัสบดี
  1. Modal Blog25

    รันงาน GPU จาก Airflow ด้วย Modal

    ตอนนี้ Modal สามารถถูกเรียกใช้ได้โดยตรงจาก Airflow DAG ทำให้ทีมสามารถรันงาน AI/ML ที่ใช้ GPU โดยไม่ต้องตั้งค่า Celery หรือ Kubernetes executors คู่มือนี้ครอบคลุมการติดตั้ง Modal ในสภาพแวดล้อม Airflow การตั้งค่า MODAL_TOKEN_ID และ MODAL_TOKEN_SECRET และสองแนวทาง คือ การเรียกใช้ Modal Functions ที่ deploy แล้วผ่าน lookup หรือการสร้าง custom operator ที่รัน Python ใน Modal Sandboxes ขณะนี้แพ็กเกจ Modal Airflow provider อยู่ระหว่างการพัฒนา

6 มิถุนายน 2024วันพฤหัสบดี
  1. Modal Blog38

    Modal ใช้ลายเซ็น syscall จับนักขุดคริปโตได้อย่างไร

    Modal เพิ่มส่วนประกอบวิเคราะห์โปรแกรมขณะรันที่ชื่อ seccheck เข้าในรันไทม์คอนเทนเนอร์แบบเซิร์ฟเวอร์เลสของตน โดยตรวจจับและปิดการใช้งานฟังก์ชันที่ขุดคริปโตก่อนจะแบนผู้ใช้ที่กระทำผิด เพราะนักขุดเปลี่ยนเมทาดาทาได้แต่เปลี่ยนโปรแกรมไม่ได้ Modal จึงวิเคราะห์บันทึก syscall แทนซอร์สโค้ด ไบนารี หรืออิมเมจคอนเทนเนอร์ ระบบนี้หลีกเลี่ยงภาระจาก strace ที่อิง ptrace ซึ่งอาจทำให้โปรแกรมที่เรียก syscall หนัก ๆ ช้าลงเกิน 100 เท่า

23 พฤษภาคม 2024วันพฤหัสบดี
  1. Modal Blog22

    Hunch 如何利用 Modal Sandboxes 安全运行 AI 生成的代码

    Hunch 是一个空间画布，集成了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，它使用 Modal Sandboxes 在隔离的临时容器中安全执行 AI 生成的代码。该集成仅需几行 Python 代码，并支持 pip 安装、附加存储卷和自动扩缩容。Hunch 表示，这一设置让非程序员也能构建获取 API 数据或将结果发送到 Slack webhook 的工作流。

21 พฤษภาคม 2024วันอังคาร
  1. Modal Blog31

    การปรับแต่ง Stable Diffusion บน Heroicons เพื่อสร้างไลบรารีไอคอนที่ไม่มีที่สิ้นสุด

    Modal ได้ปรับแต่งโมเดล Stable Diffusion บนไลบรารี Heroicons ขนาดประมาณ 300 SVG เพื่อสร้างไอคอนเส้นขาวดำแบบใหม่ในสไตล์นั้น รวมถึงไอคอนสำหรับแนวคิดอย่าง barack-obama และ golden-retriever ไปป์ไลน์ทั้งหมด — การดาวน์โหลดโมเดลที่ผ่านการฝึกมาแล้ว การปรับแต่งเต็มรูปแบบด้วยสคริปต์ train_text_to_image.py ของ HuggingFace Diffusers และการให้บริการเว็บ UI แบบ Gradio — ทำงานบนแพลตฟอร์ม GPU แบบเซิร์ฟเวอร์เลสของ Modal บทความอธิบายขั้นตอนการเตรียมชุดข้อมูล (การแปลง SVG เป็น PNG, พื้นหลังสีขาว, ไฟล์ metadata.csv สำหรับคำอธิบายภาพ) และระบุว่าการปรับแต่งเต็มรูปแบบได้ผลดีที่สุด แม้ว่าอะแดปเตอร์แบบขนานสไตล์ LoRA ก็สามารถใช้ได้กับชุดข้อมูลขนาดเล็ก

26 เมษายน 2024วันศุกร์
  1. Modal Blog50

    การปรับแต่งโมเดล embedding แบบโอเพนซอร์สเพื่อเอาชนะ text-embedding-3-small ของ OpenAI

    โมเดล embedding แบบโอเพนซอร์สที่ผ่านการปรับแต่งสามารถเอาชนะ text-embedding-3-small ของ OpenAI ในด้านความแม่นยำด้วยต้นทุนที่ต่ำกว่าโดยใช้เพียงตัวอย่างจำนวนเล็กน้อย Modal ได้ทำการทดลองกับชุดข้อมูลคำถามซ้ำของ Quora เพื่อหาว่ากรณีการใช้งานตอบคำถามแบบง่าย ๆ ต้องใช้ข้อมูลสำหรับการปรับแต่งมากเพียงใด และอธิบายวิธีสร้างโมเดลดังกล่าวบนโครงสร้างพื้นฐานแบบเซิร์ฟเวอร์เลสของตน

26 มีนาคม 2024วันอังคาร
  1. Modal Blog22

    Ramp 如何在 Modal 上使用微调 LLM 实现收据处理自动化

    Ramp 使用 Modal 微调其 LLM，并构建了一个用于收据管理的文本到结构化 JSON 模型，将需要人工干预的收据减少了 34%，基础设施成本估计比 OpenAI 等主要 LLM 提供商便宜 79%。Modal 函数并行训练了许多候选模型，将权重持久化到 Modal volumes，并提供了一个参数化推理端点。一名工程师还将一个用于 25,000 张发票的 PII 剥离脚本移植到 Modal，在 256 个云 worker 上并行化，20 分钟完成，花费 100 美元，而不是在本地花费 3 天。

14 มีนาคม 2024วันพฤหัสบดี
  1. Modal Blog36

    modal-http ของ Modal: ให้บริการฟังก์ชันเว็บบนโครงสร้างพื้นฐานแบบเซิร์ฟเวอร์เลส

    Modal สร้าง modal-http ซึ่งเป็นสแต็ก HTTP และ WebSocket ที่ทำให้ฟังก์ชันเซิร์ฟเวอร์เลสของตนรับคำขอเว็บได้ โดยเพิ่งรองรับ WebSocket อย่างสมบูรณ์ ต่างจากข้อจำกัด 15 นาทีและ 50 MB ของ AWS Lambda คอนเทนเนอร์ของ Modal ใช้ได้ถึง 64 CPU, หน่วยความจำ 336 GB และ GPU Nvidia H100 8 ตัว ทีมจึงแปลง HTTP เป็นการเรียกฟังก์ชันแทนการวางรีเวิร์สพร็อกซีแบบดั้งเดิมไว้หน้าคอนเทนเนอร์

23 มกราคม 2024วันอังคาร
  1. Modal Blog40

    ฝัง English Wikipedia ได้ในเวลาไม่ถึง 15 นาทีด้วย Modal และ Hugging Face TEI

    Text Embedding Inference server ของ Modal และ Hugging Face สามารถฝัง English Wikipedia ทั้งหมดได้ในเวลาประมาณ 15 นาที ด้วยค่าใช้จ่ายเพียงกว่า $15 โดยใช้การขยาย GPU แบบ serverless ของ Modal บทความโต้แย้งว่าโมเดล embedding แบบโอเพนซอร์สเหนือกว่าโมเดลที่ใช้ API อย่าง text-embedding-ada-002 ของ OpenAI สำหรับ RAG ในระดับโปรดักชัน เนื่องจากสามารถ fine-tune ด้วยข้อมูลของผู้ใช้และหลีกเลี่ยงข้อจำกัดด้าน rate limit และค่าใช้จ่ายต่อโทเคน

21 กรกฎาคม 2023วันศุกร์
  1. Cursor Changelog62

    Cursor วิเคราะห์ต้นทุนและความหน่วงในการอนุมานของ Llama-2-70B เทียบกับ GPT-3.5

    Cursor วัดการอนุมานของ Llama-2-70B บน GPU A100 ขนาด 80 GB จำนวน 2 ตัว และพบว่าถูกกว่า GPT-3.5 เกิน 3 เท่าสำหรับโทเค็นพรอมป์ต์ แต่แพงกว่ามากสำหรับโทเค็นที่สร้างขึ้นเมื่อขนาดแบตช์เล็ก การประมวลผลพรอมป์ต์มีต้นทุนประมาณ $0.00042 ต่อ 1K โทเค็น เทียบกับ $0.0015 ของ GPT-3.5 ขณะที่การสร้างโทเค็นมีต้นทุนถึง $0.066 ต่อ 1K โทเค็นที่ขนาดแบตช์ 1 และเข้าใกล้ราคาของ GPT-3.5 เฉพาะที่ขนาดแบตช์ใหญ่ซึ่งทำให้เวลาถึงโทเค็นแรกยาวนานหลายวินาที Cursor แนะนำให้ใช้โมเดลโอเพนซอร์สสำหรับงานที่เน้นพรอมป์ต์ เช่น การจำแนกประเภทและการจัดอันดับใหม่ และใช้ API แบบปิดสำหรับงานที่เน้นการสร้างข้อความ

    ทำไมเรื่องนี้สำคัญ: ข้อมูลต้นทุนและความหน่วงที่วัดโดย Cursor แสดงให้เห็นว่าเมื่อใดที่การโฮสต์ Llama-2-70B ด้วยตนเองดีกว่า GPT-3.5 และเมื่อใดที่ไม่ดีกว่า ซึ่งเป็นกรอบการทำงานที่นำกลับมาใช้ซ้ำได้สำหรับการตัดสินใจให้บริการโมเดลโอเพนซอร์ส