টুইটার ও পেপাল তাদের ডেটা সুরক্ষা কিভাবে করে ?

টুইটার, পেপ্যাল ​​ডাটাবেস কর্মক্ষমতা প্রকাশ

মাইএসকিউএল ব্যবহার করে বড় পারফরম্যান্স চালানো।

টুইটার, পেপ্যালের ইঞ্জিনিয়াররা তাদের ওয়েব পরিষেবাগুলিকে চালিত করে এমন বিশাল মাইএসকিউএল স্থাপনার হুডের নীচে একটি চেহারা দেওয়ার জন্য ফেসবুকে যোগদান করেছেন।

উভয় ওয়েব জায়ান্টের ডাটাবেস এবং অ্যাপ্লিকেশন ইঞ্জিনিয়াররা বিশ্বব্যাপী-বিতরিত, অত্যন্ত উপলব্ধ এবং সামঞ্জস্যপূর্ণ ওয়েব অ্যাপ্লিকেশনগুলি চালানোর জন্য কীভাবে MySQL ওপেন সোর্স রিলেশনাল ডেটাবেসগুলি ব্যবহার করে তার অন্তরঙ্গ বিশদ প্রদান করেছে।

এই পদক্ষেপটি 2011 সালের শেষের দিকে একটি ফেসবুক ওয়েবকাস্টের প্রতিধ্বনি করে যা এক বিলিয়ন সক্রিয় ব্যবহারকারীর কাছাকাছি ক্রমবর্ধমান গ্রাহক বেস থেকে প্রশ্নের ভলিউম এবং প্রতিক্রিয়ার সময় সম্পর্কে কিছু মন ছুঁয়ে যাওয়া পরিসংখ্যান প্রকাশ করে।

প্রকৌশলীরা এই সপ্তাহের মাইএসকিউএল কানেক্টে সান ফ্রান্সিসকো সম্মেলনের সেশনগুলি ব্যবহার করেছিলেন যা সাধারণত 'বিগ ডেটা' সমস্যা হিসাবে পরিচিত হয় তা সমাধানের জন্য রিলেশনাল ডাটাবেস প্রযুক্তির সীমাবদ্ধতাগুলির আশেপাশে সাধারণভাবে অনুষ্ঠিত দাবী নিয়ে বিতর্ক করতে পারে।

'বিগ ডেটা' হল একটি কথিত অবস্থা যেখানে একটি সংস্থা বিশ্বব্যাপী-বিতরিত ওয়েব অ্যাপ্লিকেশনগুলির দ্বারা সংকীর্ণ সময়ের মধ্যে ক্যাপচার করা ডেটার ক্রমবর্ধমান ভলিউম প্রক্রিয়া করতে অক্ষম।

বিজ্ঞাপন

টুইটারের মাইএসকিউএল

সংখ্যা দ্বারা:

140 মিলিয়ন সক্রিয় ব্যবহারকারী

প্রতি সেকেন্ডে 4629টি টুইট (শীর্ষে 25,000)

প্রতিদিন তিন মিলিয়ন নতুন সারি তৈরি করা হয়েছে

প্রতিদিন 400 মিলিয়ন টুইট, চারবার প্রতিলিপি করা হয়েছে

টুইটারে ডাটাবেস অ্যাডমিনিস্ট্রেশন টিম ম্যানেজার জেরেমি কোল উপস্থিতদের বলেছেন যে মাইক্রো-ব্লগিং নেটওয়ার্ক MySQL-এর একটি বাণিজ্যিক উদাহরণ ব্যবহার করে কারণ "আমাদের যে স্কেলটি রয়েছে তা পরিচালনা করতে এবং উত্পাদনে সমস্যাগুলির প্রতিক্রিয়া জানাতে কিছু বৈশিষ্ট্য রয়েছে"।

কোল প্রকাশ করেছেন যে টুইটারের মাইএসকিউএল ডাটাবেস কিছু বিশাল সংখ্যা পরিচালনা করে — প্রতিদিন তিন মিলিয়ন নতুন সারি, প্রতিদিন 400 মিলিয়ন টুইটের স্টোরেজ চারবার প্রতিলিপি করা হয় — তবে এটি শুধুমাত্র ছয়জন পূর্ণ-সময়ের প্রশাসক এবং একমাত্র মাইএসকিউএল বিকাশকারীর একটি দল দ্বারা পরিচালিত হয়। .

"আমাকে প্রায়ই জিজ্ঞাসা করা হয়, কেন টুইটার MySQL ব্যবহার করে যখন সেখানে NoSQL সমাধান আছে যা আমাদের সমস্যার সমাধান করবে?" সে বলেছিল.

"উত্তর হল আমরা MySQL জানি। এটি কার্যকরী, আমরা জানি কিভাবে এটি আপগ্রেড এবং ডাউনগ্রেড করতে হয়, আমরা জানি কিভাবে বাগ ঠিক করতে হয় এবং নতুন রিলিজ বের করতে হয়। আমরা ঠিক জানি কিভাবে এটি অভ্যন্তরীণভাবে কাজ করে, আমাদের কাছে সোর্স কোড আছে।

"এটি উচ্চ কার্যকারিতাও। বেশিরভাগ ফ্লিট প্রতিটি সার্ভারে প্রতি সেকেন্ডে 10,000 থেকে 50,000 প্রশ্ন চালায়।"

কোল বলেছেন যে অনুমান যে NoSQL ডাটাবেসগুলি "MySQL এর চেয়ে অনেক দ্রুত তা সত্য নয়"।

টুইটার একটি "বিল্ডিং ব্লক" হিসাবে MySQL ব্যবহার করে, তিনি বলেন, "আমরা বুঝতে পারি এবং কার্যকারিতা আমরা বিশ্বাস করি" এর একটি মূল হিসাবে, যার উপর তার দল শার্ডিং এবং প্রতিলিপির জন্য Gizzard ব্যবহার করে, InnoDB এর স্টোরেজ সিস্টেম হিসাবে, এবং FlockDB নামক একটি NoSQL ডাটাবেস। .

টুইটারের বৃহৎ গিজার্ড ক্লাস্টার, যাকে ডেভস 'টি-বার্ড' কোডনাম দিয়েছে, 50টি মেশিনে প্রতিদিন টুইটারের 400 মিলিয়ন টুইটের স্টোরেজ বিতরণ করে।

ফ্লকডিবি সিস্টেম — কোডনামযুক্ত TFlock এবং MySQL-এর উপরে নির্মিত — হল "গন্তব্য আইডি বিতরণ করা হ্যাশ মানচিত্রের উৎস"।

সরল ইংরেজিতে, এটি টুইটার ব্যবহারকারীদের মধ্যে সম্পর্ক ম্যাপ করে, ব্যবহারকারীদের জন্য টাইমলাইন তালিকা করে (সব ব্যবহারকারী এবং টুইট আইডি দ্বারা) এবং সম্পর্কের গণনা (আপনি কতবার টুইট করেছেন, কতবার পুনরায় টুইট করেছেন)।

"MySQL নিজেই একটি উদ্দেশ্য-নির্মিত কী-মানের দোকান নয় ± এটি কাজ করে, আপনি আপনার ফলাফলগুলি ফিরে পেতে সার্ভারে হাজার হাজার প্রশ্ন জারি করতে পারেন," কোল ব্যাখ্যা করেছেন৷

Paypal এর MySQL

সংখ্যা দ্বারা:

100 মিলিয়নেরও বেশি সক্রিয় ব্যবহারকারী।

256-বাইট 10 মিলিসেকেন্ডের নিচে পড়ে।

একটি একক 32-বিট পূর্ণসংখ্যার জন্য 350 মিলিসেকেন্ডের মধ্যে লেখার বিশ্বব্যাপী প্রতিলিপি।

মার্কিন যুক্তরাষ্ট্র, জাপান এবং ইউরোপীয় ডেটা সেন্টারে অ্যামাজন ওয়েব পরিষেবাগুলিতে চলে।

ড্যানিয়েল অস্টিন, পেপ্যালের একজন প্রযুক্তি স্থপতি, একটি মাইএসকিউএল ক্লাস্টারের উপর ভিত্তি করে 100 টেরাবাইট ব্যবহারকারী-সম্পর্কিত ডেটা সহ বিশ্বব্যাপী বিতরণ করা ডাটাবেস তৈরি করেছেন।

অস্টিন বলেছিলেন যে তাকে 99.999 শতাংশ প্রাপ্যতা সহ একটি সিস্টেম তৈরি করার জন্য অভিযুক্ত করা হয়েছিল, কোনও ডেটার ক্ষতি ছাড়াই, লেনদেনগুলিকে সমর্থন করার ক্ষমতা (এবং সেগুলি ফিরিয়ে আনার) ক্ষমতা এবং ডাটাবেসে ডেটা লেখার এবং বিশ্বের অন্য কোথাও এটি পড়ার ক্ষমতা। এক সেকেন্ডের নিচে।

Paypal এই বিশ্বব্যাপী বিতরণকৃত MySQL সিস্টেমটি মার্কিন যুক্তরাষ্ট্রের উভয় উপকূলে, দুটি এশিয়ায় এবং আরেকটি ইউরোপে অ্যামাজন ওয়েব সার্ভিসেসের ডেটা সেন্টার ব্যবহার করে হোস্ট করে।

সিস্টেমটি পেপ্যালের বৃদ্ধি এবং উচ্চ প্রাপ্যতার জন্য পূরণ করার জন্য ডিজাইন করা হয়েছে।

অস্টিন বলেছেন যে প্রতিটি প্রাপ্যতা অঞ্চলে, পেপ্যাল ​​প্রতিটি ছোট মাইএসকিউএল কোয়েরি এবং ম্যানেজমেন্ট নোডের জন্য দুটি অতিরিক্ত বড় ডেটা নোডের 'টাইলড' কনফিগারেশন তৈরি করে। ওয়েব জায়ান্ট একই অনুপাত ব্যবহার করে প্রয়োজন অনুসারে আরও বাক্স নিয়ে আসে যাতে সিস্টেমটি "সময়ের সাথে সাথে ইচ্ছাকৃতভাবে বৃহত্তর ব্যবহারকারীদের স্কেল করতে পারে," তিনি বলেছিলেন।

প্রতিটি 'টাইল'-এর একটি প্রতিরূপ প্রতিটি অ্যামাজন প্রাপ্যতা অঞ্চলের মধ্যে রাখা হয়েছে। কিন্তু সত্যিকারের উচ্চ-প্রাপ্যতার জন্য, পেপ্যালের ইঞ্জিনিয়ারদের নিশ্চিত করতে হবে যে ব্যর্থতার কোনো একক পয়েন্ট নেই।

সূত্র: পেপাল

এই হিসাবে, তারা একটি "পিয়ার-ভিত্তিক প্রতিলিপি" সিস্টেম ডিজাইন করেছে যা একটি বৃত্তাকার গতিতে কাজ করে যা প্রতিটি নোডকে একটি ক্লাস্টারে প্রতিটি ধারাবাহিক নোডে পড়ে দেখতে পাবে।

চারটি বিশ্বব্যাপী বিতরণ করা ক্লাস্টারের একটি কনফিগারেশনে, উদাহরণস্বরূপ, নোড এ নোড বি, বি থেকে সি, সি থেকে ডি এবং ডি ফিরে এ ব্যর্থ হবে।

যদি নোড সি ড্রপ আউট হয়, প্যাটার্ন পরিবর্তন হয়। যদি নোড ডি একটি নির্দিষ্ট সময়ের মধ্যে নোড সি থেকে শুনতে না পায়, তবে এটি পরিবর্তে নোড বি-তে আঘাত করবে এবং চতুর্থটি অনলাইনে ফিরে না আসা পর্যন্ত সিস্টেমটি তিনটি নোড সহ "নিজেকে নিরাময় করবে"৷

"আমরা এটি পরীক্ষা করেছি - এবং অনেক লোক খুব সন্দিহান ছিল," অস্টিন বলেছিলেন।

"কিন্তু এটি মাস্টার এবং স্লেভের চেয়ে ভাল কাজ করে, এটি নিজেকে দ্রুত নিরাময় করে, নোডগুলিকে ভিতরে এবং বাইরে আনা সহজ৷ এই নকশাটি ব্যবহার করে, সমস্ত সিস্টেমে একই ডেটা দেওয়া বা নেওয়া কিছু ক্ষেত্র রয়েছে যা এখনও সিঙ্ক করা হয়নি৷ বিশ্বব্যাপী বিতরণ ব্যবস্থার জন্য ভাল অর্থ তৈরি করে।"

একমাত্র ছোটখাটো জটিলতা - যা তিনি প্রথম দিন থেকে শিখেছিলেন - এটি ছিল "আপনাকে এটি এক দিক থেকে করতে হবে", কারণ একটি নোড অন্য নোড দ্বারা লেখা ডেটা পড়ার চেষ্টা করলে আপনি শীঘ্রই একটি টাইমস্ট্যাম্প ত্রুটি পাবেন। ভবিষ্যত (ডেটলাইন জুড়ে ডেটা সরানোর কারণে)।

অস্টিন স্বীকার করেছেন যে অ্যামাজনের ক্লাউডে মাইএসকিউএল ক্লাস্টার ব্যবহার করার অসুবিধা রয়েছে।

MySQL-এর ডেটা নোডের (দুই টেরাবাইট) জন্য কিছু আকারের সীমাবদ্ধতা রয়েছে এবং AWS-এর নেটওয়ার্ক গতি সীমা রয়েছে (250 Mbps)। যদিও AWS একটি একক সার্ভারের জন্য "সস্তা" এবং "সহজ দেখায়", সেখানে "একটি বৃহৎ স্কেল সিস্টেম হিসাবে বাস্তব জগতে এটিকে কাজ করার জন্য চ্যালেঞ্জ রয়েছে," তিনি বলেছিলেন।

অ্যামাজন ক্লাউডে বিশ্বব্যাপী বিতরণ করা সিস্টেমের নির্মাতারা উল্লেখ করেছেন (আইপি ঠিকানা সমাধান করার চেষ্টা করার সময়) যে উপলব্ধতা অঞ্চলগুলি "পুরোপুরি পৃথক নয়", উদাহরণস্বরূপ, এবং তারা এক অঞ্চল থেকে অন্য অঞ্চলে সামঞ্জস্যপূর্ণ নয়।

"[প্রাপ্যতা অঞ্চলগুলি] বার্বি ডল নয়," অস্টিন বলেছিলেন।

ফেসবুক

(2011) সংখ্যা দ্বারা :

950 মিলিয়ন সক্রিয় ব্যবহারকারী

প্রতি সেকেন্ডে পঠিত সারি: 450 মিলিয়ন (শিখরে)

প্রতি সেকেন্ডে প্রশ্ন: 13 মিলিয়ন (শীর্ষে)

প্রশ্নের উত্তরের সময়: 4ms পড়া, 5ms লেখা

প্রতি সেকেন্ডে সারি পরিবর্তিত হয়েছে: 3.5 মিলিয়ন (শিখরে)

এই বছরের শুরুতে প্রকাশ্যে আসার পর থেকে Facebook তার ডাটাবেস প্রযুক্তিতে শিল্পকে আপডেট করেনি। কিন্তু এমনকি এর 2011 এর পারফরম্যান্স একটি বেঞ্চমার্ক।

কিন্তু 2011 সালের শেষের দিকে, কোম্পানিটি তার MySQL ক্লাস্টারে কাজ করে তিনটি ডাটাবেস টিম নিয়োগ করেছিল — দীর্ঘমেয়াদী কৌশলের জন্য দায়ী একটি প্রকৌশল গোষ্ঠী, একটি কর্মক্ষমতা গ্রুপ যা প্রতিদিনের পরিবর্তনগুলি দেখে, এবং একটি অপারেশন গ্রুপ যা ডাটাবেসের সমস্যাগুলির সমাধান করে একটি বাস্তব সময়ের ভিত্তিতে কাছাকাছি.

Facebook-এর গ্রাহক বেস - এখন এক বিলিয়ন ব্যবহারকারী - প্রতি সেকেন্ডে 13 মিলিয়ন ডেটাবেস কোয়েরির মতো কিছু তৈরি করে (শীর্ষে), এবং সোশ্যাল নেটওয়ার্কিং জায়ান্ট তার সিস্টেমগুলিকে চার মিলিসেকেন্ডের নিচে পড়তে এবং পাঁচ মিলিসেকেন্ডে লিখতে টিউন করেছে৷

কোম্পানির ডাটাবেস প্রকৌশলীরা যুক্তি দিয়েছেন যে প্রতি সেকেন্ডে সর্বোচ্চ সংখ্যক প্রশ্ন (QPS) তাড়া করাই শেষ খেলা নয়।

"সর্বোচ্চ QPS ধাওয়া করে পারফরম্যান্স সম্প্রদায়কে লাইনচ্যুত করা যেতে পারে," ফেসবুক ডাটাবেস ইঞ্জিনিয়ার মার্ক ক্যালাগান গত বছর ফেসবুকের প্রযুক্তি আলোচনায় অংশগ্রহণকারীদের বলেছিলেন।

"যদি একটি ক্যোয়ারী ধীর হয় তবে এটি ঠিক আছে, যতক্ষণ না এটি সর্বদা ধীর হয়। এটি যখন কোয়েরি এক সময়ে দ্রুত হয়, এবং অন্য সময় ধীর হয়, যা অসুখী ব্যবহারকারীদের দিকে নিয়ে যায়।"

পরবর্তী অধ্যায়

বিশ্বের বৃহত্তম সামাজিক নেটওয়ার্কগুলির জন্য পরবর্তী অধ্যায় হল আরও ভাল পর্যবেক্ষণ সরঞ্জাম তৈরি করা।

Callaghan 2011 সালের শেষের দিকে বলেছিল যে Facebook "সাব-সেকেন্ড লেভেল মনিটরিং"-এ আগ্রহী ছিল — সোশ্যাল নেটওয়ার্কের পারফরম্যান্সকে আরও সুর করার জন্য - ধরা পড়ে এবং কখনও কখনও শুধুমাত্র মিলিসেকেন্ডের জন্য আটকে থাকা প্রশ্নগুলিকে হত্যা করে৷

কোল বলেছেন যে টুইটার তার সিস্টেমের ত্রুটিগুলি বাছাই করার জন্য 'উচ্চ ফ্রিকোয়েন্সি' মনিটরিং সরঞ্জামগুলিও দেখছে যা আজ অলক্ষিত।

"MySQL মিলি-সেকেন্ডে কর্মক্ষমতা ট্র্যাক করার জন্য সরঞ্জাম সরবরাহ করে না," কোল ব্যাখ্যা করেছেন।

"আজ আমরা একটি 60-সেকেন্ডের স্টল দেখতে পাচ্ছি, কিন্তু আমরা এক বা দুই বা তিনটি দ্বিতীয় স্টল ট্র্যাক করতে চাই।"

সংশোধন (06/10/12): মূল গল্পে বলা হয়েছে যে পেপ্যালের 17 মিলিয়নেরও বেশি ব্যবহারকারী রয়েছে। পেপ্যালের প্রকৃতপক্ষে 100 মিলিয়ন ব্যবহারকারী এবং 17 মিলিয়নেরও বেশি মোবাইল ব্যবহারকারী রয়েছে। iTnews এই ত্রুটির জন্য ক্ষমাপ্রার্থী।

আমাদের সাংবাদিকদের জন্য একটি সংবাদ টিপ পেয়েছেন? এখানে বেনামে আমাদের সাথে শেয়ার করুন ।

কপিরাইট © iTnews.com.au । সমস্ত অধিকার সংরক্ষিত.

ট্যাগ: তথ্যশালাফেসবুকmysqlnosqlপেপ্যালসফটওয়্যারটুইটার

অংশীদার সামগ্রী

কীভাবে ডিজিটাল জটিলতাকে প্রতিযোগিতামূলক সুবিধাতে পরিণত করবেন

প্রচারিত সামগ্রী

কীভাবে ডিজিটাল জটিলতাকে প্রতিযোগিতামূলক সুবিধাতে পরিণত করবেন

সংস্থাগুলিকে রক্ষা করার জন্য নিরাপত্তা "মানসিকতার পরিবর্তন" প্রয়োজন

Share: