Tới nội dung
Chỉ Chính chủ
23 tháng 1, 2024Thứ Ba
  1. Modal Blog40

    Nhúng toàn bộ Wikipedia tiếng Anh trong chưa đầy 15 phút với Modal và Hugging Face TEI

    Máy chủ Text Embedding Inference của Modal và Hugging Face có thể nhúng toàn bộ Wikipedia tiếng Anh trong khoảng 15 phút với chi phí chỉ hơn 15 đô la, nhờ khả năng mở rộng GPU không máy chủ của Modal. Bài viết lập luận rằng các mô hình nhúng mã nguồn mở vượt trội hơn các mô hình dựa trên API như text-embedding-ada-002 của OpenAI cho RAG trong môi trường sản xuất, vì chúng có thể được tinh chỉnh trên dữ liệu người dùng và tránh được giới hạn tốc độ cũng như chi phí theo token.

13 tháng 10, 2023Thứ Sáu
  1. Cursor Changelog38

    Danh sách vấn đề của Cursor: Ngữ cảnh tốt hơn, Edit Copilot, Agent bị ràng buộc

    Cursor đã công bố danh sách các vấn đề đang được giải quyết, bao gồm việc huấn luyện một reranker nhanh tùy chỉnh để lọc 500k token từ tất cả các nguồn xuống còn 8k phù hợp nhất cho mỗi yêu cầu. Danh sách cũng đề cập đến một copilot định hướng chỉnh sửa, các agent bị ràng buộc trong luồng cho các cơ sở mã lớn, tìm lỗi và chỉnh sửa quy mô lớn hơn. Tính đến ngày 12 tháng 10 năm 2023, Cursor đã lập chỉ mục 1,4 tỷ vector và 150k cơ sở mã.

10 tháng 10, 2023Thứ Ba
  1. Modal Blog58

    Modal chính thức mở rộng toàn diện, đồng thời công bố vòng gọi vốn Series A trị giá 16 triệu USD

    Modal thông báo nền tảng hàm đám mây của mình hiện đã được phát hành rộng rãi, cho phép bất kỳ ai đăng ký và chạy mã Python trên đám mây trong vòng vài phút, sau khi mở danh sách chờ vào năm 2022. Nền tảng cung cấp thực thi không máy chủ tính phí theo giây, các endpoint suy luận GPU tự động mở rộng trên A100, A10G, T4, L4 và H100, cùng các tác vụ hàng loạt quy mô lớn trên hàng nghìn container mà không cần cấu hình YAML. Modal cũng đã huy động được 16 triệu USD trong vòng Series A do Redpoint Ventures dẫn đầu, cùng với Amplify Partners, đơn vị đã dẫn đầu vòng hạt giống, và dự định sử dụng số vốn này để tăng tốc lộ trình sản phẩm của mình.

  2. Modal Blog36

    Modal Labs huy động được 16 triệu USD vòng Series A và ra mắt nền tảng hạ tầng đám mây

    Modal Labs đã huy động được 16 triệu USD trong vòng Series A do Redpoint Ventures dẫn dắt, với sự tham gia của nhà đầu tư hiện hữu Amplify Partners và các nhà đầu tư mới bao gồm Lux Capital và Definition Capital, nâng tổng số vốn huy động lên 23 triệu USD. Công ty cũng chính thức ra mắt nền tảng đám mây của mình, trước đó đang ở giai đoạn beta với các khách hàng đầu tiên như Ramp, Substack và SphinxBio, và sẽ sử dụng số vốn này để đẩy nhanh phát triển sản phẩm và tuyển dụng kỹ sư tại trụ sở chính ở Thành phố New York.

21 tháng 7, 2023Thứ Sáu
  1. Cursor Changelog62

    Cursor phân tích chi phí và độ trễ suy luận của Llama-2-70B so với GPT-3.5

    Cursor đã đo suy luận Llama-2-70B trên 2 GPU A100 80 GB và phát hiện nó rẻ hơn GPT-3.5 hơn 3 lần đối với token prompt nhưng đắt hơn nhiều đối với token được sinh ra ở kích thước batch nhỏ. Chi phí xử lý prompt khoảng $0,00042 mỗi 1K token so với $0,0015 của GPT-3.5, trong khi sinh đạt $0,066 mỗi 1K token ở batch size 1 và chỉ tiến gần mức giá GPT-3.5 ở batch lớn, khiến thời gian đến token đầu tiên tăng lên vài giây. Cursor khuyến nghị dùng mô hình mã nguồn mở cho các tác vụ nặng về prompt như phân loại và xếp hạng lại, và dùng API đóng cho các khối lượng công việc nặng về sinh.

    Vì sao đáng chú ý: Dữ liệu chi phí và độ trễ được Cursor đo cho thấy khi nào tự vận hành Llama-2-70B tốt hơn GPT-3.5 và khi nào không, mang lại một khung có thể tái sử dụng cho các quyết định phục vụ mô hình mã nguồn mở.

12 tháng 6, 2023Thứ Hai
  1. Cursor Changelog38

    Arvid Lunnemark của Cursor: vì sao nên gọi prompting là prompt design

    Nhà nghiên cứu Arvid Lunnemark của Cursor lập luận rằng prompting nên được gọi là "prompt design" và so sánh với web design, vì cả hai đều theo đuổi giao tiếp rõ ràng với đầu vào động và phải điều chỉnh nội dung cho phù hợp với các "kích cỡ" khác nhau — kích cỡ màn hình đối với web, context window đối với prompt. Ông đã phát hành Priompt v0.1, một thư viện thiết kế prompt dựa trên JSX giống React đã được dùng trong Cursor, kèm một trang xem trước để render prompt dựa trên dữ liệu request thực tế.