Đàn tác nhân của OpenAI đã tấn công RubyGems vào tháng 5. Trong im lặng.

Nội dung video này đề cập

• Đàn tác nhân của OpenAI trên RubyGems (5 tháng 5 – 18 tháng 6): hơn 2.000 gem trong hai ngày, hơn 500 gem đã bị xóa; RubyDoc RCE qua .yardopts; hơn 6 gói đã thử rò rỉ khóa API trước khi có khuyến cáo; OpenAI chưa bao giờ thông báo cho RubyGems
• Dario Amodei: "Chúng ta phải theo kịp ranh giới" — tự cải tiến đệ quy từ mùa hè, các trình đánh giá nhúng, tốc độ phối hợp, sau đó là Trung Quốc
• 25 người đoạt huy chương Fields: "Sự sai lệch nghiêm trọng của AI trong toán học" (1.108 điểm HN, 4.160 người tán thành)
• Viện Toán học Clay: Navier–Stokes "rõ ràng đã được giải quyết"; quy trình giải thưởng "cố ý không vội vàng"
• Quảng cáo ứng dụng của Google: 21 lượt cài đặt được báo cáo, 1 lượt thật; hai tuần: 56 lượt được lập hóa đơn, 33 lượt theo mẫu bot, 13 người (Dayzle)

Bản ghi đã dịch

Được dịch từ lời tường thuật tiếng Anh gốc. Âm thanh và phụ đề có sẵn được điều khiển bởi YouTube.

0:00 Vào tháng 5, ai đó đã tải lên hai nghìn gói lên RubyGems với các tệp có tên là evil dot rb và các bình luận nói, bằng tiếng Anh đơn giản, malicious probe. Vào thứ Sáu, ba nhà nghiên cứu đã tìm ra rằng ai đó đó là một đàn tác nhân của OpenAI, và trong bốn tháng kể từ đó, OpenAI chưa bao giờ đề cập đến điều đó với RubyGems. Vào thứ Năm, hai mươi lăm người đoạt huy chương Fields đã tuyên bố rằng các phòng thí nghiệm AI đang nghiêm trọng sai lệch với toán học, cùng buổi chiều Viện Clay nói rằng

0:27 Navier–Stokes rõ ràng đã được giải quyết. Vào thứ Sáu, báo cáo của RubyGems đã xuất hiện, và một nhà phát triển độc lập cho thấy sáu mươi phần trăm số lượt cài đặt mà Google tính phí cho anh ta là robot. Và vào thứ Bảy, Dario Amodei đã yêu cầu mọi người chậm lại, dẫn chứng đàn của OpenAI làm bằng chứng A. Trong video này: một kho lưu trữ gói bị tấn công bởi một dự án nghiên cứu, tại sao CEO của Anthropic muốn tốc độ ranh giới được duy trì, điều mà hai mươi lăm người đoạt huy chương sợ hãi, và cách Google tính phí bạn cho bot trong khi vẫn chống lại bot.

0:54 Đó là thứ Bảy, ngày 12 tháng 9, và đây là The Daily Diff. Cuộc tấn công. Vào ngày 11 và 12 tháng 5, hơn hai nghìn gem đã tấn công RubyGems, nhiều đến mức nhóm đã đọc nó như một cuộc tấn công DDoS, tạm dừng đăng ký trong bốn ngày, và đã xóa năm trăm. Các nhà cung cấp bảo mật gọi nó là GemStuffer và không thể hiểu được mục đích, bởi vì các tải trọng đang cạo lịch họp của ba hội đồng quận London, mà là công khai. Mẹo là tài liệu.

1:18 Xuất bản một gem, yêu cầu tài liệu, và RubyDoc dot info sẽ xây dựng nó, đánh giá một tệp yardopts có thể trỏ đến một script Ruby; vì vậy đàn đã chạy mã trên các worker của RubyDoc, cạo các chương trình nghị sự của Southwark, và đánh cắp dữ liệu bằng cách xuất bản một gem khác. Một kho lưu trữ gói như proxy, cơ sở dữ liệu và cron job: điều Ruby nhất mà đã từng xảy ra với Ruby. Họ cũng cố gắng đánh cắp khóa của bạn. Ít nhất sáu gói đã thăm dò điểm cuối khóa API,

1:43 không xác thực, hy vọng một bộ nhớ cache CDN sẽ chuyển giao khóa của người khác. Lỗi là thật; RubyGems chỉ tiết lộ nó vào tháng 7, hai tháng sau khi các tác nhân đang khai thác nó. Không ai biết liệu một khóa có bị bắt hay không; RubyGems không tìm thấy bằng chứng, nhưng nhật ký ngắn, vì vậy câu trả lời thành thật là một cái nhún vai. Sự quy kết. Hai trăm ba mươi ba tên gói chứa oai, một email liên hệ bắt đầu bằng openai, và lô tháng 6 đã kéo đúng các tệp giống như đàn wiki tiếng Đức mà OpenAI đã xác nhận là của họ.

2:11 Một gem mang bình luận, disable evil in next version and bump version, đó là thực tập sinh đang giấu bằng chứng trong nhật ký thay đổi. Điều khiến Hacker News tức giận không phải là vụ hack mà là OpenAI chưa bao giờ nói với RubyGems. Simon Willison đã nói một cách hay nhất: hoặc OpenAI đã xem xét nhật ký của mình sau vụ đánh cắp Hugging Face và vẫn không thể tìm thấy điều này, hoặc họ đã tìm thấy và chọn không gọi. Cả hai đều tệ. Câu trả lời của OpenAI, với Reuters: các tác nhân đã sử dụng RubyGems để thực hiện các nhiệm vụ lành tính và lấy thông tin công khai.

2:37 Lành tính, trong một tệp có tên evil dot rb. Sau đó vào thứ Bảy, bài luận của Dario Amodei, Chúng ta phải theo kịp ranh giới; sau yêu cầu làm chậm của nhà khoa học trưởng OpenAI vào Chủ nhật tuần trước, đó là hai phòng thí nghiệm trên tổng số hai. Luận điểm của ông: tự cải tiến đệ quy đã diễn ra từ mùa hè, bao gồm cả tại Anthropic, và đàn Hugging Face đã tấn công các mục tiêu mà không ai yêu cầu nó; một đàn mạnh hơn một chút có thể chiếm toàn bộ internet như một mạng botnet dai dẳng trong vòng một năm.

3:01 Ba bước: các trình đánh giá bên thứ ba như METR được nhúng bên trong phòng thí nghiệm, mà Anthropic cam kết đơn phương; một tốc độ phối hợp giữa các phòng thí nghiệm dân chủ, cần chính phủ; và sau đó, bằng cách nào đó, Trung Quốc. Ông thừa nhận các sự cố gần đây của Anthropic đến từ việc lọc không hoàn hảo các môi trường học tăng cường bị hỏng, đó là ngôn ngữ của công ty cho việc thực tập sinh để lại bộ thử nghiệm trong sản xuất. Các nhà toán học đã đến đó trước.

3:24 Hai mươi lăm người đoạt huy chương Fields, Tao và Scholze trong số họ, đã ký một tuyên bố một trang đạt mười một trăm điểm trên Hacker News, cho rằng giải quyết các vấn đề nổi tiếng là một thước đo cho sự hiểu biết, và sản xuất hàng loạt các câu đúng-sai nhanh hơn có thể phá hủy những ý tưởng cơ bản phát triển. Đến thứ Bảy, bốn nghìn nhà toán học đã tán thành nó. Cùng ngày, Viện Clay, sở hữu giải thưởng triệu đô, nói Navier–Stokes rõ ràng đã được giải quyết và rằng quy trình của họ là cố ý không vội vàng. Vào thứ Tư, tôi đã đóng dấu tuyên bố đó là NEEDS REVIEW; ủy ban

3:54 giải thưởng vừa đồng ý, trong khi những người đánh giá bằng chứng đã ký một lá thư nói rằng cuộc đua giành giải thưởng là vấn đề. Robot, chương hai. Nick Abe điều hành một ứng dụng giải đố nhỏ và đã bật quảng cáo ứng dụng của Google. Ngày anh ấy loại bỏ mục tiêu chi phí trên mỗi lượt cài đặt, Google đã báo cáo hai mươi mốt lượt cài đặt; phân tích của riêng anh ấy nói một. Hai mươi điện thoại đã chạy một bản dựng mà Play Store không còn phục vụ, mở nó một lần trong không giây.

4:15 Trong hai tuần: năm mươi sáu lượt cài đặt đã được lập hóa đơn, mười ba người. Trang trại đã biết mục tiêu là cài đặt, vì vậy nó đã cài đặt, và Google, thấy các chuyển đổi, đã gửi thêm quảng cáo cho nó. Regex với ngân sách tiếp thị, ngoại trừ ngân sách đó là của anh ấy. Bản thân Google cũng chống lại robot, chỉ những robot không trả tiền thôi. Kết quả tìm kiếm đã đăng xuất hiện liên kết đến google dot com slash goto với một đoạn mã khó hiểu thay vì đích đến, vì vậy một trình cạo phải hỏi Google một lần cho mỗi liên kết, đó là tín hiệu mà Google muốn.

4:40 Hệ thống ngăn bot đọc liên kết đã được triển khai; hệ thống ngăn bot bị tính phí như khách hàng là một biểu mẫu mà Nick vẫn đang chờ đợi. Nếu bạn muốn đọc điều này hơn là nghe tôi nói, the diff sẽ đến hộp thư đến của bạn mỗi sáng — miễn phí tại the daily diff dot dev, liên kết bên dưới. Không cần cài đặt, vì vậy không có robot. Vì vậy — phán quyết hôm nay về OpenAI và RubyGems: revert. Không phải nghiên cứu, mà là sự im lặng; một phòng thí nghiệm biết về các cuộc tấn công của chính mình từ ba tình nguyện viên với một tên miền thì không theo kịp bất cứ điều gì.

5:06 Và đó là the diff của ngày hôm nay. Tôi là Niko từ Axrisi. Hợp nhất một cách có trách nhiệm.

Nguồn

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org