আর্মিন রোনাকার GPT-6 অ্যাস্ট্রাকে ৩৫ ঘণ্টা একা ফেলে রেখেছিলেন।

এই ভিডিওতে যা আছে

• আর্মিন রোনাকার: ৩৫ ঘণ্টা unattended GPT-6 Astra, ~$1,200, ৭৯টি কমিট, +৭৫k লাইন, কিছুই শিপ করা হয়নি
• ইয়ারেনডিল / স্লপকোডবেঞ্চ: এজেন্ট কোড মানব রিপোসের চেয়ে ~২× বেশি বিস্তারিত এবং ক্ষয়প্রাপ্ত; কঠোর পাসের হার ০%
• কুয়েজমা: RTK ৮৯% টোকেন সংরক্ষণের কথা জানায়, কিন্তু ডিপসিকের সাথে টার্মিনাল-বেঞ্চ খরচ ১৭% বাড়ে; একটি রিরাইট লুপ পরপর ৩৩৯ বার ব্যর্থ হয়
• কগনিশন SWE-2: কিমি K3 থেকে পোস্ট-ট্রেনড, এক তৃতীয়াংশ দামে ফ্রন্টিয়ারকোডে ফেবল 5.1-এর সাথে মেলে; TB 2.1 ৯২.৮ বনাম TB 4 ২৭.৩; ডেভিন ভয়েস
• ওপেনএআই এজেন্টস API (সার্ভিস হিসাবে কোডেক্স হারনেস, শুধুমাত্র US, কোন ZDR নয়); অ্যাস্ট্রার চাহিদার জন্য $200 প্রো সাইন-আপ স্থগিত

অনুবাদিত প্রতিলিপি

মূল ইংরেজি বর্ণনা থেকে অনূদিত। উপলব্ধ অডিও এবং ক্যাপশন YouTube দ্বারা নিয়ন্ত্রিত।

0:00 ফ্লাস্কের লেখক আর্মিন রোনাকার GPT-6 অ্যাস্ট্রাকে একটি মাত্র প্রম্পট দিয়েছিলেন এবং পঁয়ত্রিশ ঘণ্টা তাকে একা ফেলে রেখেছিলেন। সে পঁচাত্তর হাজার লাইন কোড নিয়ে ফিরে এসেছিল এবং, তার কথায়, মূল্যবান কিছুই না, যা এটিকে সবচেয়ে বাস্তবসম্মত সফটওয়্যার কারখানা বানিয়ে তুলেছে। তিনি বুধবার লেখাটি পোস্ট করেন। বৃহস্পতিবার, কগনিশন SWE-2 শিপ করে, এবং ওপেনএআই একটি এজেন্টস API শিপ করে এবং তার দুই-শত ডলারের পরিকল্পনার জন্য সাইন-আপ স্থগিত করে,

0:24 কারণ অ্যাস্ট্রা সার্ভারগুলি গ্রাস করেছে। এবং শুক্রবার লেখাটি হ্যাকার নিউজের প্রথম পাতায় পৌঁছে যায়, একটি পোস্টের কয়েক সারি নিচে যা হ্যাকার নিউজকে অনুরোধ করছিল যেন এআই নিয়ে পোস্ট করা বন্ধ করে। এই ভিডিওতে: দেড় দিনের তত্ত্বাবধানহীন অ্যাস্ট্রা কী উৎপাদন করে, দুটি পরিমাপ যা স্লপকে একটি সংখ্যায় পরিণত করে, কেন ঊনসত্তর হাজার তারাযুক্ত একটি টুল আপনার বিল বাড়িয়ে দেয়, এবং কীভাবে হ্যাকার নিউজ এআই ব্যবহার করে এআই ফিল্টার করার চেষ্টা করেছিল। আজ শুক্রবার, সেপ্টেম্বর ১১, এবং এটি The Daily Diff।

0:53 কারখানা। একটি প্রম্পট: ভার্চুয়াল থ্রেড এবং লেক্সিকাল স্কোপিং সহ একটি পাইথন তৈরি করুন। অ্যাস্ট্রা তার নিজস্ব নোট রাখছিল, তার নিজস্ব সাব-এজেন্ট তৈরি করছিল, এবং আর্মিন প্লাগ না টানা পর্যন্ত চলছিল, দেড় দিন এবং প্রায় বারো শত ডলার পরে। ঊনসত্তরটি কমিট, তাই প্রতি কমিটে পনেরো এবং অর্ধেক ডলার, যা একজন মানুষের প্রায় সমান খরচ, তবে মানুষ শেষ পর্যন্ত থামে। কোডটিই গল্প। এডিট টুলের পরিবর্তে, অ্যাস্ট্রা সি ফাইলগুলিকে পাইথন হেরেডকস দিয়ে প্যাচ করে যা ফাইলটি পড়ে, একটি ফাংশন স্ট্রিং-প্রতিস্থাপন করে এবং এটিকে আবার লেখে।

1:20 একটি উইন্ডোজ পরীক্ষা চালানোর জন্য এটি পাইথন লেখে যা নোড স্পন করে যা পাওয়ারশেল স্পন করে, একটি পাসপোর্ট সহ একটি কল স্ট্যাক। এটি যে ইউনিট টেস্টগুলি কমিট করেছে তাতে কোন হোয়াইটস্পেস নেই, কারণ ইন্ডেন্টেশন ছাড়া তারা টোকেনগুলিতে দশ শতাংশ সস্তা। এবং টাস্ক তালিকা এক, দুই, তিন থেকে টাস্ক 8b2c2b2b চেকপয়েন্ট ওয়ান-এ সরে গিয়েছিল, যা থেকে আপনি জানতে পারবেন ইন্টার্নটি খুব বেশি সময় ধরে একা ছিল। আর্মিনের তত্ত্ব: মডেলটি দীর্ঘ কাজ শেষ করার জন্য পুরস্কৃত হয় এবং খারাপ কোডের জন্য খুব কম শাস্তি পায়, তাই টোকেন-গল্ফড টুল কলগুলি কোডবেসে লিক করে,

1:48 এবং যত কম মানুষ দেখে, তত কম এটি গুরুত্বপূর্ণ। তিনি সেই অংশের শিরোনাম দিয়েছিলেন 'যদি আপনি না দেখেন তবে এটি AGI'। হ্যাকার নিউজ অর্থনীতি যোগ করেছে: আরও কোড মানে এটি বজায় রাখার জন্য আরও টোকেন, যা স্লপকে একটি বাগ নয় বরং একটি সাবস্ক্রিপশন করে তোলে। আপনি কি স্লপ পরিমাপ করতে পারেন? আর্মিনের নিজস্ব কোম্পানি এই সপ্তাহে এটি চেষ্টা করেছে। ইয়ারেনডিল স্লপকোডবেঞ্চের নম্বরগুলি চালায়: এজেন্ট কোড প্রায় দ্বিগুণ বিস্তারিত এবং এর সাথে তুলনা করা মানব রিপোসের চেয়ে দ্বিগুণ ক্ষয়প্রাপ্ত,

2:10 এবং যখন বেঞ্চমার্ক চেকপয়েন্টগুলির মধ্যে এজেন্টের মেমরি মুছে ফেলে, তারা পরীক্ষা করা প্রতিটি মডেলের জন্য কঠোর পাসের হার শূন্য। তারা যে সবচেয়ে নির্ভরযোগ্য স্লপ মেট্রিক পেয়েছিল তা হল কাঁচা লাইন গণনা, যা যেই মুহূর্তে কেউ এটি অপ্টিমাইজ করে সেই মুহূর্তে কাজ করা বন্ধ করে দেয়, তাই দয়া করে মডেলগুলিকে বলবেন না। তারপর ওয়ালেট। RTK-এর ঊনসত্তর হাজার গিটহাব স্টার এবং ইউটিউব থাম্বনেইল রয়েছে যা আপনার ক্লড কোড বিল অর্ধেক করার প্রতিশ্রুতি দেয়; এটি এজেন্ট পড়ার আগে টার্মিনাল আউটপুট কম্প্রেস করে।

2:34 কুয়েজমা পনেরো শত ডলারের টোকেন ব্যবহার করে টার্মিনাল-বেঞ্চে এটি চালায়। ফেবল দিয়ে বিল পাঁচ শতাংশ কমে যায়, প্রায় সবটাই একটি কাজ থেকে; ডিপসিকের সাথে গড় কাজ সতেরো শতাংশ বেশি ব্যয়বহুল হয়। এদিকে RTK-এর নিজস্ব কাউন্টার ঊনআশি শতাংশ সংরক্ষণ দেখায়, কারণ এটি সরানো বাইট গণনা করে, অতিরিক্ত টার্ন নয়: একটি স্মার্ট মিটার যা প্রতিবেশীর বিল করে। এবং একটি সংস্করণ বাগ 'ফাইন্ড'কে এমন একটি কমান্ডে রিরাইট করে যা ব্যর্থ হয়, পরপর তিন শত ঊনচল্লিশ বার, নয় গুণ বেশি দামে।

3:01 যে টুল টোকেন মেরে ফেলে তার একটি লুপ আছে। বন্যা নিজেই। কগনিশনের SWE-2 হল কিমি K3, ওপেন চাইনিজ মডেল, পোস্ট-ট্রেনড যতক্ষণ না এটি কগনিশনের নিজস্ব বেঞ্চমার্কে ফেবল 5.1-এর সাথে এক তৃতীয়াংশ দামে মেলে; হ্যাকার নিউজ: কেন সমস্ত আমেরিকান এআই মডেলগুলি মূলত ট্রেঞ্চ কোটে কিমি। টার্মিনাল-বেঞ্চ 2.1-এ এটি পুরো টেবিলের শীর্ষে; টার্মিনাল-বেঞ্চ 4-এ, যেটি এখনও কেউ মুখস্থ করেনি, এটি ফেবলের ছাপ্পান্নর বিপরীতে সাতাশ স্কোর করে,

3:28 সুতরাং স্লাইড-ডেক বেঞ্চমার্কে সেরা কলামটি সেই পরীক্ষা যা সবাই ইতিমধ্যে উত্তীর্ণ হয়েছে। কগনিশন ডেভিন ভয়েসও ঘোষণা করেছে, আপনার প্রিয় এআই সফটওয়্যার ইঞ্জিনিয়ার সবেমাত্র একটি ল্যান্ডলাইন পেয়েছেন, কারণ এজেনটিক কোডিংয়ে যে জিনিসটি অনুপস্থিত ছিল তা হল হোল্ড মিউজিক। ওপেনএআই, একই দিনে: এজেন্টস API, যা সার্ভিস হিসাবে কোডেক্স হারনেস বিক্রি করা হয়। ওপেনএআই স্যান্ডবক্স চালায়, শুধুমাত্র US ডেটা রেসিডেন্সি, কোন জিরো-ডেটা-রিটেনশন নেই, তাই এজেন্ট আপনার কোডবেস ঠিক ততটাই মনে রাখে যতটা চ্যাটজিপিটি মনে রাখে। তারপর ওপেনএআই দুই-শত ডলারের প্রো প্ল্যানের জন্য সাইন-আপ স্থগিত করে,

3:57 কারণ অ্যাস্ট্রার চাহিদা, উদ্ধৃতি, অভূতপূর্ব: ওয়েটলিস্ট সহ প্রথম পণ্য বেশি টাকা দিতে। আর্মিন তার কারখানায় একটি সম্পূর্ণ রিসেট পোড়ায়। তিনিই চাহিদা। যা আমাদেরকে শুক্রবারের আস্ক এইচএন-এ নিয়ে আসে: আমরা কি দয়া করে এআই খবরের বন্যা সীমাবদ্ধ করতে পারি, ছয় শত ছাপ্পান্ন পয়েন্ট, কারণ, উদ্ধৃতি, যখনই ওপেনএআই বা অ্যানথ্রপিকে কেউ ফার্ট করে, তখন একটি টপ-টেন পোস্ট হয়।

4:17 উত্তরগুলি ছিল ফিল্টার: hcker.news আট হাজার উদাহরণে প্রশিক্ষিত একটি BERT শ্রেণীবিন্যাসকারী দিয়ে এআই গল্পগুলি সরিয়ে দেয়, এআই দিয়ে এআই মুছে ফেলা, ঘাস-খাওয়া; এবং একটি uBlock রেজেক্স যা A-I কেস-অসংবেদনশীলভাবে মেলে তা ইমেল, ডেইলি, মেইন, ডোমেইন এবং ট্রেনও মুছে ফেলে, তাই রেজেক্স, বরাবরের মতো, ভিলেন। একই বিকেলে, চার শত পনেরোটি মন্তব্য একটি ক্লড সাপোর্ট পৃষ্ঠা নিয়ে তর্ক করে যা বলে ক্লড আঠারো-প্লাস।

4:38 পৃষ্ঠাটি মে মাসের তারিখযুক্ত। কিছুই পরিবর্তন হয়নি। এমনকি যে এআই খবর খবর নয়, তাও খবর, যা, ন্যায্যভাবে বলতে গেলে, আমার ব্যবসায়িক মডেলও বটে। যদি আপনি এটি আমাকে শুনতে চাওয়ার চেয়ে পড়তে চান, তবে ডিফারেন্সটি প্রতিদিন সকালে আপনার ইনবক্সে আসে — daily diff dot dev-এ বিনামূল্যে, লিঙ্ক নিচে। এটি অনিবার্যভাবে এআই খবর। সুতরাং — পঁয়ত্রিশ ঘণ্টার সফটওয়্যার কারখানার আজকের রায়: REVERT। ঊনসত্তরটি কমিট যা কেউ পড়েনি তা একটি কোডবেস নয়, এটি একটি গিট

5:04 লগ সহ একটি দায়; অ্যাস্ট্রা চিত্তাকর্ষক, এবং কারখানাটি এমন অংশ যা ফিরিয়ে নিতে হবে। এবং আজকের জন্য এই হল ডিফারেন্স। আমি Axrisi থেকে নিকো। Merge responsibly।

উৎস

1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
2. HN: Astra for Codingnews.ycombinator.com
3. Earendil — Measuring the sloppiness of codeearendil.com
4. HN: Measuring the sloppiness of codenews.ycombinator.com
5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
6. HN: RTKnews.ycombinator.com
7. RTK (Rust Token Killer)github.com
8. Cognition — Introducing SWE-2cognition.com
9. HN: Cognition SWE-2news.ycombinator.com
10. OpenAI — Agents APIdevelopers.openai.com
11. HN: OpenAI Agents APInews.ycombinator.com
12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com