ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง
23 มกราคม 2024วันอังคาร
  1. Modal Blog40

    ฝัง English Wikipedia ได้ในเวลาไม่ถึง 15 นาทีด้วย Modal และ Hugging Face TEI

    Text Embedding Inference server ของ Modal และ Hugging Face สามารถฝัง English Wikipedia ทั้งหมดได้ในเวลาประมาณ 15 นาที ด้วยค่าใช้จ่ายเพียงกว่า $15 โดยใช้การขยาย GPU แบบ serverless ของ Modal บทความโต้แย้งว่าโมเดล embedding แบบโอเพนซอร์สเหนือกว่าโมเดลที่ใช้ API อย่าง text-embedding-ada-002 ของ OpenAI สำหรับ RAG ในระดับโปรดักชัน เนื่องจากสามารถ fine-tune ด้วยข้อมูลของผู้ใช้และหลีกเลี่ยงข้อจำกัดด้าน rate limit และค่าใช้จ่ายต่อโทเคน

13 ตุลาคม 2023วันศุกร์
  1. Cursor Changelog38

    รายการปัญหาของ Cursor: คอนเท็กซ์ที่ดีขึ้น, Edit Copilot, เอเจนต์แบบมีข้อจำกัด

    Cursor เผยแพร่รายการปัญหาที่กำลังดำเนินการแก้ไข รวมถึงการฝึก reranker ความเร็วสูงแบบกำหนดเองที่กรอง 500k โทเคนจากทุกแหล่งเหลือเพียง 8k ที่เกี่ยวข้องที่สุดต่อคำขอ รายการยังครอบคลุมถึง copilot ที่เน้นการแก้ไข เอเจนต์ในโฟลว์แบบมีข้อจำกัดสำหรับโค้ดเบสขนาดใหญ่ การค้นหาบั๊ก และการแก้ไขในระดับที่ใหญ่ขึ้น ณ วันที่ 12 ต.ค. 2023 Cursor ได้ทำดัชนี 1.4B เวกเตอร์ และ 150k โค้ดเบส

10 ตุลาคม 2023วันอังคาร
  1. Modal Blog58

    Modal เปิดให้ใช้งานอย่างเป็นทางการเต็มรูปแบบ พร้อมประกาศระดมทุน Series A จำนวน 16 ล้านดอลลาร์

    Modal ประกาศว่าแพลตฟอร์มคลาวด์ฟังก์ชันของบริษัทเปิดให้ใช้งานทั่วไปแล้ว (generally available) ทำให้ใครก็สามารถสมัครและรันโค้ด Python บนคลาวด์ได้ภายในไม่กี่นาที หลังจากเปิดรายชื่อรอในปี 2022 แพลตฟอร์มนี้ให้บริการประมวลผลแบบเซิร์ฟเวอร์เลสที่คิดค่าบริการตามวินาที, GPU inference endpoints ที่ปรับขนาดอัตโนมัติบน A100, A10G, T4, L4 และ H100, และงานแบบแบตช์ขนาดใหญ่ที่กระจายไปยังคอนเทนเนอร์หลายพันตัวโดยไม่ต้องใช้การตั้งค่า YAML นอกจากนี้ Modal ยังระดมทุนได้ 16 ล้านดอลลาร์ในรอบ Series A นำโดย Redpoint Ventures พร้อมกับ Amplify Partners ซึ่งนำรอบ seed และมีแผนจะใช้เงินทุนนี้เพื่อเร่งพัฒนาโรดแมปผลิตภัณฑ์

  2. Modal Blog36

    Modal Labs ระดมทุน Series A 16 ล้านดอลลาร์ และเปิดตัวแพลตฟอร์มโครงสร้างพื้นฐานคลาวด์

    Modal Labs ระดมทุน Series A ได้ 16 ล้านดอลลาร์ นำโดย Redpoint Ventures โดยมี Amplify Partners นักลงทุนเดิม และผู้ร่วมทุนรายใหม่รวมถึง Lux Capital และ Definition Capital ทำให้ยอดระดมทุนรวมอยู่ที่ 23 ล้านดอลลาร์ บริษัทยังเปิดตัวอย่างเป็นทางการแพลตฟอร์มคลาวด์ซึ่งก่อนหน้านี้อยู่ในช่วงเบตากับลูกค้ารายแรกๆ เช่น Ramp, Substack และ SphinxBio และจะใช้เงินทุนเพื่อเร่งการพัฒนาผลิตภัณฑ์และจ้างวิศวกรที่สำนักงานใหญ่ในนครนิวยอร์ก

21 กรกฎาคม 2023วันศุกร์
  1. Cursor Changelog62

    Cursor วิเคราะห์ต้นทุนและความหน่วงในการอนุมานของ Llama-2-70B เทียบกับ GPT-3.5

    Cursor วัดการอนุมานของ Llama-2-70B บน GPU A100 ขนาด 80 GB จำนวน 2 ตัว และพบว่าถูกกว่า GPT-3.5 เกิน 3 เท่าสำหรับโทเค็นพรอมป์ต์ แต่แพงกว่ามากสำหรับโทเค็นที่สร้างขึ้นเมื่อขนาดแบตช์เล็ก การประมวลผลพรอมป์ต์มีต้นทุนประมาณ $0.00042 ต่อ 1K โทเค็น เทียบกับ $0.0015 ของ GPT-3.5 ขณะที่การสร้างโทเค็นมีต้นทุนถึง $0.066 ต่อ 1K โทเค็นที่ขนาดแบตช์ 1 และเข้าใกล้ราคาของ GPT-3.5 เฉพาะที่ขนาดแบตช์ใหญ่ซึ่งทำให้เวลาถึงโทเค็นแรกยาวนานหลายวินาที Cursor แนะนำให้ใช้โมเดลโอเพนซอร์สสำหรับงานที่เน้นพรอมป์ต์ เช่น การจำแนกประเภทและการจัดอันดับใหม่ และใช้ API แบบปิดสำหรับงานที่เน้นการสร้างข้อความ

    ทำไมเรื่องนี้สำคัญ: ข้อมูลต้นทุนและความหน่วงที่วัดโดย Cursor แสดงให้เห็นว่าเมื่อใดที่การโฮสต์ Llama-2-70B ด้วยตนเองดีกว่า GPT-3.5 และเมื่อใดที่ไม่ดีกว่า ซึ่งเป็นกรอบการทำงานที่นำกลับมาใช้ซ้ำได้สำหรับการตัดสินใจให้บริการโมเดลโอเพนซอร์ส

12 มิถุนายน 2023วันจันทร์
  1. Cursor Changelog38

    Arvid Lunnemark แห่ง Cursor อธิบายว่าทำไมการ prompting ควรถูกเรียกว่า prompt design

    Arvid Lunnemark นักวิจัยจาก Cursor ให้เหตุผลว่าการ prompting ควรถูกเรียกว่า "prompt design" และเปรียบเทียบกับ web design เนื่องจากทั้งสองต่างมุ่งสู่การสื่อสารที่ชัดเจนด้วยอินพุตแบบไดนามิก และต้องปรับเนื้อหาให้เข้ากับ "ขนาด" ที่แตกต่างกัน — ขนาดหน้าจอสำหรับเว็บ และ context window สำหรับ prompt เขาเปิดตัว Priompt v0.1 ไลบรารีสำหรับออกแบบ prompt ที่ใช้ JSX คล้าย React ซึ่งถูกใช้อยู่ภายใน Cursor แล้ว พร้อมเว็บพรีวิวสำหรับเรนเดอร์ prompt กับข้อมูลคำขอจริง