কীভাবে ক্লদ নার্ফ শনাক্ত করবেন (বাস্তব ডেটা সহ)

এই ভিডিওতে যা আছে

• লঞ্চের পর ক্লদ বোবা হয়ে যায়: তত্ত্বটি একটি ডে-জিরো ঘড়ির সাথে মিলিত হয়
• লাইভনার্ফ: লঞ্চ সপ্তাহের থেকে ওপাস ৫.৫-এর উপর একটি ৩০ দিনের ঘড়ি
• নার্ফ কিভাবে ধরবেন: ৭৮টি কখনও-সঠিক প্রশ্ন
• এটি কী দেখতে পারে: ৭.৫ পয়েন্ট, এবং টোকেন গণনা প্রথমে সরে যায়
• অন্ধ স্থান: একটি ওপাস ৫ অদলবদল এবং ৮টি ভুল উত্তর কী

অনুবাদিত প্রতিলিপি

মূল ইংরেজি বর্ণনা থেকে অনূদিত। উপলব্ধ অডিও এবং ক্যাপশন YouTube দ্বারা নিয়ন্ত্রিত।

লঞ্চের পর ক্লদ বোবা হয়ে যায়: তত্ত্বটি একটি ডে-জিরো ঘড়ির সাথে মিলিত হয়

0:00 সবাই জানে যে ক্লদ লঞ্চের কয়েক সপ্তাহ পরে বোবা হয়ে যায়। তাই একজন ডেভেলপার ওপাস ৫.৫-কে লঞ্চ সপ্তাহের থেকে একটি ঘড়িতে রেখেছিলেন, এবং ঘড়িটি বলে যে কেউ এখনও জানতে পারেনি। এই ভিডিওতে, তিনটি প্রশ্ন। কীভাবে আপনি একটি নার্ফ ধরবেন? এই মিটার কী দেখতে পারে? এবং অ্যানথ্রপিক কী বলে? এবং রেপোর ক্রেডিটগুলির একটি লাইন আমাকে উচ্চস্বরে হাসিয়েছিল।

0:20 আমি শেষে এটিতে আসব। আজ বুধবার, সেপ্টেম্বর ৩০, এবং এটি The Daily Diff। আজ তিনটি গল্প, এবং বড়টি হলো একটি গিটহাব রেপো যার নাম লাইভ নার্ফ।

লাইভনার্ফ: লঞ্চ সপ্তাহের থেকে ওপাস ৫.৫-এর উপর একটি ৩০ দিনের ঘড়ি

0:30 কয়েক মাস ধরে, মানুষ বলেছে যে অ্যানথ্রপিক লঞ্চের পরে চুপচাপ তার মডেলগুলিকে নার্ফ করে। সাধারণ তত্ত্বগুলি হলো একটি সঙ্কুচিত মডেল, একই নামের অধীনে একটি ছোট মডেল বা কেবল কম চিন্তা করা। রেপোটি এখনও পর্যন্ত প্রতিটি যুক্তিকে ভাইবস বনাম ভাইবস বলে অভিহিত করে। ওপাস ৫.৫ সেপ্টেম্বর ২২ তারিখে শিপ করা হয়েছিল, এবং এক সপ্তাহ আগে আমি আপনাদের বলেছিলাম যে এটি স্বাধীন বোর্ডে শীর্ষে ছিল যখন এটি মধ্যম মডেলের চেয়ে তিন গুণ বেশি শব্দ লিখছিল। আড়াই দিন পর, নিনজা হক নামের একজন ডেভেলপার ঘড়ি চালু করেন,

0:59 ৩০ দিনের জন্য দিনে একবার, এমন লগ সহ যা কেউ সম্পাদনা করতে পারে না। হ্যাকার নিউজ থ্রেড প্রায় ৮০০ পয়েন্ট পেয়েছিল এবং একটি টিম চ্যাটের মতো বিভক্ত হয়েছিল। একজন মন্তব্যকারী বলেছেন যে রিপোর্ট করা বেশিরভাগ ক্ষেত্রে মডেলগুলিকে নার্ফ করা বাস্তব নয়। অন্য একজন বলেছেন যে মানুষ কেবল নতুন বুদ্ধিমত্তার স্তরের সাথে অভ্যস্ত হচ্ছে। এবং একজন ক্লদ কোড পাওয়ার ব্যবহারকারী এখন প্রতিবার রেট-দিস-সেশন পপ-আপ বাতিল করেন, কারণ ক্লদকে রেটিং দেওয়া এটিকে আরও খারাপ করে বলে মনে হয়েছিল। পিয়ার রিভিউ। তো, প্রশ্ন এক, আপনি একটি নার্ফ কিভাবে ধরবেন?

নার্ফ কিভাবে ধরবেন: ৭৮টি কখনও-সঠিক প্রশ্ন

1:27 আপনি প্রায় ২৩০০ কঠিন পরীক্ষার প্রশ্ন দিয়ে শুরু করেন, এবং ওপাস প্রথম চেষ্টায় ৯৩ শতাংশ সঠিক করে, যা একটি ডিটেক্টরের জন্য অকেজো, কারণ একটি প্রশ্ন যা এটি সর্বদা সঠিক করে তা ড্রপ করতে পারে না। ৯৭ শতাংশ সর্বদা সঠিক বা সর্বদা ভুল ছিল, এবং যে ৭৮টি এটি শুধুমাত্র কখনও কখনও সঠিক করে সেগুলি প্যানেল হয়ে ওঠে। একই প্রম্পট, কোনো সরঞ্জাম নেই, এবং কোনো এআই বিচারক ছাড়াই সঠিক-ম্যাচ গ্রেডিং, কারণ বিচারকও সরে যাবেন। এটি হেডলেস ক্লদ কোডের মাধ্যমে একটি ম্যাক্স সাবস্ক্রিপশনে চলে,

1:55 কারণ API সংস্করণের দাম ছিল প্রায় ১৬০০ ডলার প্রতি মাসে। এবং ক্লদ কোড সংস্করণটি পিন করা আছে, কারণ, রেপোর ভাষায়, একটি পরিবর্তিত হারনেস দেখতে ঠিক একটি পরিবর্তিত মডেলের মতো। পরিসংখ্যানগুলি 'অ্যাডিং এরর বার্স টু ইভালস' নামের একটি কাগজ থেকে এসেছে, যা অ্যানথ্রপিকের ইভান মিলারের লেখা। সুতরাং অ্যানথ্রপিকের নিজস্ব গণিত এখন অ্যানথ্রপিককে নিরীক্ষণ করছে, যা গ্রাহক সহায়তার কাছে পরিষেবার শর্তাবলী উদ্ধৃত করার একাডেমিক সংস্করণ। গ্রাহক সহায়তার কাছে পরিষেবার শর্তাবলী উদ্ধৃত করার একাডেমিক সংস্করণ।

এটি কী দেখতে পারে: ৭.৫ পয়েন্ট, এবং টোকেন গণনা প্রথমে সরে যায়

2:19 প্রশ্ন দুই, এটি কী দেখতে পারে? দশ দিনের উইন্ডোতে, প্রায় সাড়ে সাত পয়েন্টের একটি ড্রপ। কাঠামোটি কাজ করে তা প্রমাণ করার জন্য, লেখক ইচ্ছাকৃতভাবে ক্লদের প্রচেষ্টাকে কমিয়ে দেন। মাঝারি প্রচেষ্টা আউটপুট প্রায় এক চতুর্থাংশ কমিয়ে দেয়, এবং স্কোর মাত্র চার পয়েন্ট। কম প্রচেষ্টা আউটপুট প্রায় দুই তৃতীয়াংশ কমিয়ে দেয়, আট পয়েন্টের জন্য। এটাই চুরি করার অংশ। কম চিন্তা করা উত্তরে প্রকাশ পাওয়ার আগেই টোকেন গণনায় প্রকাশ পায়।

2:43 সুতরাং আপনার মডেল সংস্করণ পিন করুন, প্রতি টাস্কে আউটপুট টোকেন লগ করুন, এবং আপনার নিজের কিছু স্থির প্রশ্ন রাখুন। যদি আপনার এজেন্ট হঠাৎ করে ছোট লেখা শুরু করে, রেডিট চেক করার আগে আপনার লগগুলি পরীক্ষা করুন। এবং এখানে সৎ অংশটি।

অন্ধ স্থান: একটি ওপাস ৫ অদলবদল এবং ৮টি ভুল উত্তর কী

2:54 চুপচাপ পুরোনো ওপাস ফাইভ পরিবর্তন করা কাঠামোটির জন্য খুব ছোট একটি পরিবর্তন ছিল। আর README তে এটি সামনেই লেখা আছে। নিরীক্ষায় আটটি উত্তর কীও পাওয়া গেছে যা ভুল দেখাচ্ছে, তাই নার্ফ ডিটেক্টর একটি নার্ফ খুঁজে পাওয়ার আগে বেঞ্চমার্কে ত্রুটি খুঁজে পেয়েছিল।

অ্যানথ্রপিক: আমরা কখনই মডেলের গুণমান হ্রাস করি না

3:08 প্রশ্ন তিন, অ্যানথ্রপিক কী বলে? গত বছর, অভিযোগের ঢেউয়ের পর, অ্যানথ্রপিক একটি পোস্টমর্টেম প্রকাশ করে। এতে বলা হয়েছে, উদ্ধৃতি, আমরা চাহিদা, দিনের সময় বা সার্ভার লোডের কারণে মডেলের মান কখনই হ্রাস করি না। দিনের সময় বা সার্ভার লোডের কারণে মডেলের মান কখনই হ্রাস করি না। একই পোস্টে স্বীকার করা হয়েছে যে তিনটি বাগ ক্লদের মান হ্রাস করেছিল, এবং প্রায় এক তৃতীয়াংশ ক্লদ কোড ব্যবহারকারীরা অন্তত একবার ভুল সার্ভারে আঘাত করেছিল। সুতরাং অভিযোগগুলি বাস্তব ছিল এবং কারণ ছিল বাগ, এজন্য রেপো সতর্ক করে যে লঞ্চ সপ্তাহ সবচেয়ে খারাপ সপ্তাহ হতে পারে।

3:35 ৩০ দিনের মধ্যে ছয় দিন হয়ে গেছে। প্রথম সম্ভাব্য ঘোষণাটি ২৪ অক্টোবর এর আশেপাশে আসে, সুতরাং সৎ উত্তরটি হলো কেউ জানে না, যারা নিশ্চিত ছিল তাদের সহ। কেউ প্রকাশ করে না এমন সংখ্যার কথা বলছি।

ডেটা সেন্টারগুলি তাদের সংখ্যা গোপন রাখে; ব্যাকব্লেজ প্রকাশ করে

3:46 লাইটহাউস রিপোর্টস এবং ডাচ পেপার ট্রাউফ খুঁজে পেয়েছে যে বেশিরভাগ ইউরোপীয় ডেটা সেন্টারগুলি তাদের বিদ্যুৎ এবং জলের ব্যবহার গোপন রাখে, যদিও একটি EU নিয়ম তিন বছর ধরে রিপোর্টিং বাধ্যতামূলক করেছে। নেদারল্যান্ডসে, এক চতুর্থাংশের কম প্রকাশ করে। একাই একটি মাইক্রোসফট ডেটা সেন্টার ডাচ বিদ্যুতের প্রায় এক শতাংশ ব্যবহার করে। এদিকে, ব্যাকব্লেজ আবার বিরক্তিকর কাজটি করেছে। এর ত্রৈমাসিক ড্রাইভের পরিসংখ্যান প্রায় সাড়ে তিন লাখ হার্ড ড্রাইভ কভার করে, এবং ব্যর্থতার হার ১.৭৩ শতাংশে উন্নীত হয়েছে,

4:16 যা বেশ কিছুদিন পর সর্বোচ্চ। তিনটি সিগেট মডেলের কোনো ব্যর্থতা ছিল না। ১৩ বছর ধরে ত্রৈমাসিক পর ত্রৈমাসিক একটি পাবলিক বেসলাইন দেখতে এমনই হয়। ১৩ বছর ধরে।

ক্রেডিট লাইন: ক্লদ মিটার তৈরি করতে সাহায্য করেছে

4:25 এখন, সেই ক্রেডিট লাইন। README স্বীকার করে যে রেপোটির অনেকটাই ক্লদের সাহায্যে লেখা হয়েছিল, যা পরিমাপ করা হচ্ছে সেই মডেল। সুতরাং ক্লদ মিটার তৈরি করতে সাহায্য করেছিল যা পরীক্ষা করে ক্লদ বোবা হয়ে গেছে কিনা। এজন্য গ্রেডাররা সাধারণ ফাংশন। লেখকের ভাষায়, আপনাকে লেখকের উপর বিশ্বাস রাখতে হবে না, মানুষ বা অন্য কিছু। আপনি যদি এটি আমার মুখে না শুনে পড়তে চান, তবে প্রতিদিন সকালে আপনার ইনবক্সে The Daily Diff আসে,

4:46 thedailydiff.dev এ বিনামূল্যে, লিঙ্ক নিচে দেওয়া আছে। তো, লাইভ নার্ফের আজকের রায়।

রায়: SHIP IT, এবং ২৪ অক্টোবর এর আগে এটি উদ্ধৃত করবেন না

4:51 SHIP IT। আমি এটি শিপ করব কারণ এটি প্রথম নার্ফ যুক্তি যা আমি দেখেছি একটি টাইমস্ট্যাম্প, একটি পাবলিক রুলবুক এবং একটি ঘোষিত অন্ধ স্থান সহ। তবে ২৪ অক্টোবর এর আগে এটি উদ্ধৃত করবেন না। এবং এটাই আজকের The Daily Diff। আমি Axrisi থেকে নিকো। দায়িত্বের সাথে মার্জ করুন।

উৎস

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com