দ্য ওয়াইল্ড পার্ট 3-এ গেইট স্বীকৃতির জন্য স্ব-তত্ত্বাবধানে দৃষ্টি ট্রান্সফরমার অন্বেষণ করা

প্রতিবেশী জয়েন্টগুলির মধ্যে ইন্টারপোলেট করার জন্য আমরা একটি সাধারণ উপসর্গ ব্যবহার করি (চিত্র 3)। যাইহোক, কঙ্কালের উপর নির্বোধভাবে এটি করার ফলে কঙ্কাল জুড়ে নকল জয়েন্টগুলি দেখা যায়, কঙ্কালের ফর্ম্যাটগুলির পছন্দ নির্বিশেষে (যেমন, ওপেনপোজ বা COCO), যেহেতু জয়েন্ট অর্ডারিং কোন শব্দার্থিক অর্থ সংরক্ষণ করে না।

জয়েন্ট সিকোয়েন্সিং বলতে বোঝায় শরীরের জয়েন্টগুলোকে নির্দিষ্ট ক্রমে সরানো। এই ধরনের ব্যায়াম শারীরিক স্বাস্থ্য বজায় রাখতে এবং শরীরের স্মৃতিশক্তি বাড়াতে গুরুত্বপূর্ণ ভূমিকা পালন করে।

প্রথমত, জয়েন্ট সিকোয়েন্সিং শরীরের বিভিন্ন অংশের সমন্বিত নড়াচড়াকে উন্নীত করতে পারে, পেশীর শক্তি বাড়াতে পারে এবং কার্ডিওপালমোনারি ফাংশন উন্নত করতে পারে, যা সবই সুস্বাস্থ্য বজায় রাখতে সাহায্য করে। একই সময়ে, নিয়মিত জয়েন্ট অ্যালাইনমেন্ট শরীরের দৃঢ়তা এবং ব্যথা কমাতে পারে, অঙ্গবিন্যাস এবং ভারসাম্য উন্নত করতে পারে এবং বয়সের কারণে শারীরিক ক্রিয়াকলাপের পতনকে বিলম্বিত করতে পারে।

দ্বিতীয়ত, জয়েন্ট সিকোয়েন্সিং স্মৃতিশক্তি বাড়াতে পারে। গবেষণা দেখায় যে ব্যায়াম মস্তিষ্কের নিউরনের বৃদ্ধি এবং সংযোগকে উদ্দীপিত করতে পারে, যার ফলে নিউরনের মধ্যে তথ্যের আদান-প্রদানকে উৎসাহিত করে, যা স্মৃতিশক্তি এবং শেখার ক্ষমতা বাড়াতে সাহায্য করতে পারে। জয়েন্টগুলির ক্রমিক নড়াচড়ার জন্য মস্তিষ্ককে শরীরের বিভিন্ন অংশের নড়াচড়ার জন্য সঠিক নির্দেশনা দিতে হয়, যা মস্তিষ্কের সমন্বয় এবং স্মৃতিশক্তির বিকাশে দারুণ সাহায্য করে।

অবশেষে, জয়েন্ট সিকোয়েন্সিং চাপ এবং উদ্বেগ থেকে মুক্তি দিতে পারে এবং মানসিক স্থিতিশীলতা উন্নত করতে পারে। ব্যায়াম শরীরে কিছু পদার্থ নিঃসরণ করতে পারে, যেমন ডোপামিন এবং এন্ডোরফিন, যা মানসিক সমস্যা থেকে মুক্তি দিতে এবং শরীরের সুখ ও তৃপ্তির অনুভূতি উন্নত করতে সাহায্য করতে পারে। এই কারণগুলি স্মৃতিশক্তির উন্নতিতেও ইতিবাচক প্রভাব ফেলে।

সংক্ষেপে, জয়েন্ট সিকোয়েন্সিং এবং মেমরির মধ্যে একটি ইতিবাচক সম্পর্ক রয়েছে। নিয়মিত জয়েন্ট সিকোয়েন্সিং ব্যায়ামের মাধ্যমে, আপনি সুস্থ শরীর এবং মস্তিষ্কের বিকাশ, স্মৃতিশক্তি এবং শেখার ক্ষমতা বাড়াতে এবং মানসিক স্থিতিশীলতা উন্নত করতে পারেন। আসুন আমরা সুস্বাস্থ্যের দিকে মনোযোগ দিই এবং একসাথে জীবনের সৌন্দর্য উপভোগ করি! এটা দেখা যায় যে আমাদের স্মৃতিশক্তি উন্নত করতে হবে, এবং Cistanche deserticola উল্লেখযোগ্যভাবে স্মৃতিশক্তি উন্নত করতে পারে কারণ Cistanche deserticola একটি ঐতিহ্যবাহী চীনা ঔষধি উপাদান যার অনেকগুলি অনন্য প্রভাব রয়েছে, যার মধ্যে একটি হল স্মৃতিশক্তি উন্নত করা। কিমা করা মাংসের কার্যকারিতা অ্যাসিড, পলিস্যাকারাইড, ফ্ল্যাভোনয়েড ইত্যাদি সহ বিভিন্ন সক্রিয় উপাদান থেকে আসে৷ এই উপাদানগুলি বিভিন্ন উপায়ে মস্তিষ্কের স্বাস্থ্যকে উন্নীত করতে পারে৷

মেমরি উন্নত করতে সম্পূরকগুলি জানুন ক্লিক করুন

এই পর্যবেক্ষণটি ইয়াং এট আল-এর কাজের সাথে সামঞ্জস্যপূর্ণ। [৪৪], যা জয়েন্টগুলির মধ্যে স্থানিক সম্পর্কের প্রস্তাব করার জন্য একটি গাছের কাঠামো কঙ্কাল চিত্র (TSSI) প্রস্তাব করে। এটি জয়েন্টগুলির একটি গভীরতা-প্রথম গাছের ট্রাভার্সাল অর্ডারের উপর ভিত্তি করে, যা কঙ্কালের কাঠামোগত তথ্য সংরক্ষণ করে। চিত্র 3 (ডান), বিভিন্ন কঙ্কাল বিন্যাস এবং উচ্চ নমুনা পদ্ধতির প্রভাব প্রদর্শন করে। এই আকার পরিবর্তন পদ্ধতির জন্য, আমরা TSSI বিন্যাস এবং বাইকিউবিক ইন্টারপোলেশন ব্যবহার করেছি।

উপরন্তু, আমরা দুটি আপস্কেলিং পদ্ধতির সাথে পরীক্ষা করেছি, যা প্রশিক্ষণের সময় শেখার যোগ্য ছিল। জয়েন্টের সংখ্যা বাড়ানোর জন্য আমরা প্রতিটি চ্যাপ্টা কঙ্কালে প্রয়োগ করা একটি সাধারণ রৈখিক স্তর ব্যবহার করেছি। এটি প্রতিটি কঙ্কালকে রূপান্তর করার সবচেয়ে সহজ পদ্ধতি, তবে এটি জয়েন্টগুলির মধ্যে কোনও স্থানিক সম্পর্কের জন্য দায়ী নয়। এটি মোকাবেলা করার জন্য, আবার আকার দেওয়ার জন্য কঙ্কালের ক্রমটিতে 2D ডিকনভোলিউশনাল স্তরগুলির একটি সেটও নিয়োগ করুন এবং পাশাপাশি কাঠামোগত তথ্যকেও বিবেচনা করুন; এই পদ্ধতির জন্য, আমরা TSSI ফরম্যাটও ব্যবহার করি।

সারণী 1 সমস্ত আর্কিটেকচারের জন্য প্রতিটি আকার পরিবর্তন পদ্ধতির ফলাফল প্রদর্শন করে। মডেলগুলিকে 200টি যুগের জন্য CASIA-B-তে প্রশিক্ষিত এবং মূল্যায়ন করা হয়েছিল, এবং আমরা স্বাভাবিক চলাফেরার ফলাফল দেখাই৷ আমাদের বাকি পরীক্ষার জন্য, আমরা বাইকিউবিক ইন্টারপোলেশনের সাথে কঙ্কালের ক্রমটিকে নমুনা করতে বেছে নিয়েছি।

যদিও বেশ কয়েকটি সম্ভাব্য স্ব-তত্ত্বাবধানে প্রাক-প্রশিক্ষণ পদ্ধতি রয়েছে, আমরা বৈপরীত্যমূলক প্রাক-প্রশিক্ষণ পদ্ধতি বেছে নিয়েছি কারণ এটি গাইট স্বীকৃতির প্রকৃত পুনরুদ্ধারের জন্য একই পদ্ধতি। বৈপরীত্যমূলক পন্থা একই শ্রেণীর প্রতিনিধিত্বকে সুপ্ত স্থানের কাছাকাছি থাকতে উৎসাহিত করে, একই সাথে বিভিন্ন শ্রেণীর প্রতিনিধিত্ব থেকে দূরে থাকে।

বিশেষ করে, আমরা পূর্বপ্রশিক্ষণের জন্য সুপারভাইজড কনট্রাস্টিভ [৪৫] ব্যবহার করি। SupCon লস একটি মাল্টি-ভিউড ব্যাচে কাজ করে: ব্যাচের প্রতিটি নমুনার নিজের একাধিক বর্ধিত সংস্করণ রয়েছে। এটি স্বাভাবিকভাবেই আরও শক্তিশালী টোডেটা দুর্নীতি হিসাবে দেখানো হয়েছিল, এটি ট্রিপলেটের যত্নশীল নির্বাচনের প্রয়োজনীয়তা হ্রাস করে কারণ গ্রেডিয়েন্ট কঠিন উদাহরণ থেকে শেখার জন্য উত্সাহিত করে এবং হাইপারপ্যারামিটারের প্রতি কম সংবেদনশীল।

3.4। ডেটা অগমেন্টেশন

SupCon ক্ষতির সাথে একটি স্ব-তত্ত্বাবধানে বিপরীত পদ্ধতিতে প্রশিক্ষণের অর্থ একই কঙ্কাল ক্রমটির একাধিক বর্ধিত "ভিউ" প্রদান করতে ডেটা বৃদ্ধির ব্যবহার। 30]। ব্যবহৃত প্রধান পরিবর্ধন হল র্যান্ডম টেম্পোরাল ক্রপিং যার দৈর্ঘ্য T=64 ফ্রেমের সাথে।

প্রদত্ত যে কঙ্কালগুলি একটি পরিবর্তনশীল সময়কালের জন্য ট্র্যাক করা হয়, আমরা ক্রপিং ব্যবহার করি তা নিশ্চিত করতে যে সমস্ত সিকোয়েন্সের দৈর্ঘ্য একই। অধিকন্তু, একজন হাঁটা ব্যক্তি দিক পরিবর্তন করতে পারে এবং ট্র্যাক করা সময়কাল জুড়ে অন্যান্য কর্ম সম্পাদন করতে পারে; ফলস্বরূপ, ক্রপিং একই ক্রমটির জন্য আরও পরিবর্তনশীলতা প্ররোচিত করে।

উপরন্তু, আমরা হাঁটার গতি কমিয়ে বা গতি বাড়িয়ে হাঁটার গতি পরিবর্তন করি৷ আমরা {{{0}}.5, 0.75, 1, 1.25, 1.5, 1.75, এর গতি সংশোধক ব্যবহার করেছি৷ 2.0}। এটি ওয়াং এট আল-এর কাজ থেকে অভিযোজিত হয়েছে। [৪৮] ভিডিও উপস্থাপনার স্ব-তত্ত্বাবধানে শেখার জন্য। তদুপরি, পেসমোডিফিকেশন অতীতে গাইট বিশ্লেষণে ব্যবহৃত হয়েছে [33]।

এছাড়াও আমরা {{0}}.5 সম্ভাব্যতার সাথে র্যান্ডম ফ্লিপিং ব্যবহার করি, 0.5 এর সম্ভাব্যতার সাথে ক্রম বিপরীত, σ=0.005 সহ প্রতিটি জয়েন্টের জন্য সংযোজন গাউসিয়ান শব্দ, এবং 0.01 এর সম্ভাবনা সহ জয়েন্টগুলির 5% এর এলোমেলো ড্রপআউট পোজেস্টিমেশন মডেল থেকে অনুপস্থিত জয়েন্টগুলিকে অনুকরণ করতে।

3.5। সূচনা পদ্ধতি

প্রস্তাবিত আর্কিটেকচারে স্ব-তত্ত্বাবধানে প্রি-ট্রেনিং পারফরম্যান্সের প্রভাব পরিমাপ করতে, আমরা তিনটি ভিন্ন প্রাথমিক পদ্ধতি অন্বেষণ করি। সারণি 2 সাহিত্যে ব্যবহৃত বিভিন্ন ডেটাসেট প্রদর্শন করে। যদিও CASIA-B [6] এবং FVG[29] নিয়ন্ত্রিত ডেটাসেট, যা বেশিরভাগই মূল্যায়নের জন্য ব্যবহৃত হয়, আমরা পাঁচটি আর্কিটেকচারের জন্য স্ব-তত্ত্বাবধানে পূর্বপ্রশিক্ষণের জন্য DenseGait [12] এবং GREW [7] ব্যবহার করি। DenseGait এবং GREW হল দুটি বৃহত্তম বাস্তবসম্মত গাইট ডাটাবেস, যা বহিরঙ্গন সেটিংসে সংগ্রহ করা হয়, যা সম্ভবত দৈনন্দিন জীবনে উপস্থিত বেশিরভাগ গেইট বৈচিত্র্য, আচরণ এবং জটিলতা ধারণ করে। আমরা এই ডেটাসেটগুলিকে আরও সাধারণ গাইট উপস্থাপনা করার জন্য বেছে নিই, গেট প্রমাণীকরণের জন্য সাধারণ নজরদারি পরিস্থিতির অনুমতি দিতে।

DenseGait Pretraining DenseGait হল একটি বৃহৎ আকারের "বন্যের মধ্যে" গেট ডেটাসেট যা নজরদারি স্ট্রীম থেকে স্বয়ংক্রিয়ভাবে সংগ্রহ করা হয়। এটিতে 217 K ট্র্যাক করা কঙ্কালের ক্রম রয়েছে, যা আলফাপোজ ব্যবহার করে বের করা হয়েছে [22], বিভিন্ন পরিবেশে এবং একাধিক ভৌগলিক অবস্থান থেকে ক্যামেরা কোণে। যেহেতু DenseGait স্বয়ংক্রিয়ভাবে সংগ্রহ করা হয়, ট্র্যাকিং শনাক্তকারীর পরিপ্রেক্ষিতে এর টীকাগুলি কোলাহলপূর্ণ, এবং ডেটাসেটে একই বিষয়ের অনুক্রম থাকতে পারে, যদিও এটি একটি বিরল ঘটনা। যাইহোক, বেশিরভাগ বড় মাপের লেবেলবিহীন ডেটাসেটের ক্ষেত্রে এটি একই শব্দার্থিক শ্রেণীর নমুনা ধারণ করে, যা প্রশিক্ষণের সময় সম্পর্কহীন বলে বিবেচিত হয়। আমরা DenseGait-এ প্রতিটি আর্কিটেকচারকে প্রাক-প্রশিক্ষণ দিই এবং নিয়ন্ত্রিত ডেটাসেটের আরও ডাউনস্ট্রিম কর্মক্ষমতা মূল্যায়নের জন্য প্রশিক্ষিত প্যারামিটার ব্যবহার করি।

GREW প্রিট্রেইনিং GREW হল আরেকটি আউটডোর "ইন দ্য ওয়াইল্ড" ডেটাসেট কিন্তু সতর্কতার সাথে এমনভাবে টীকা করা হয়েছে যে এতে একাধিক দিন চলার বিষয় এবং বিভিন্ন ধরনের পোশাক রয়েছে। যাইহোক, স্ব-তত্ত্বাবধানে থাকা শাসনব্যবস্থার প্রয়োজনীয়তাগুলি মেনে চলতে, টীকাগুলিকে বাতিল করুন এবং প্রতিটি হাঁটার ক্রমকে একটি পৃথক ব্যক্তি হিসাবে বিবেচনা করুন। GREW হল DenseGait থেকে 2× ছোট, যেখানে 128 K কঙ্কালের ক্রম রয়েছে, এছাড়াও প্রতিটি পথচারীকে একটি ছোট গড় সময়কালের জন্য ট্র্যাক করা হয়েছে [12]। এছাড়াও আমরা প্রতিটি আর্কিটেকচারকে GREW-তে প্রশিক্ষণ দিই এবং প্রবাহিত কর্মক্ষমতা মূল্যায়নের জন্য প্রশিক্ষিত প্যারামিটার ব্যবহার করি।

র্যান্ডম ইনিশিয়ালাইজেশন এই ইনিশিয়ালাইজেশন পদ্ধতি কোনো প্রাক-প্রশিক্ষণের (অর্থাৎ, স্ক্র্যাচ থেকে প্রশিক্ষণ) এর সাথে মিল রাখে না। প্রতিটি আর্কিটেকচারকে ডাউনস্ট্রিম ডেটাসেটের উপর র্যান্ডম ওয়েট ইনিশিয়ালাইজেশন দিয়ে প্রশিক্ষিত করা হয়। এই পদ্ধতিটি প্রাক-প্রশিক্ষণের মাধ্যমে কর্মক্ষমতা লাভের তুলনা করার জন্য একটি বেসলাইন।

3.6। মূল্যায়ন

ডাউনস্ট্রিম টাস্ক পারফরম্যান্সকে গেইট স্বীকৃতির জন্য দুটি ভিন্ন পদ্ধতিতে মূল্যায়ন করা হয়। আমরা একটি নির্দিষ্ট কাজের জন্য ফাইনটিউনিং ছাড়াই প্রাক-প্রশিক্ষিত আর্কিটেকচারের পুনরুদ্ধারের ক্ষমতা সরাসরি পরীক্ষা করি। এই পদ্ধতিটি জিরো-শট ট্রান্সফারের সাথে মিলে যায়। তদুপরি, প্রতিটি আর্কিটেকচারকে প্রাক-প্রশিক্ষণের তুলনায় 10× ছোট শেখার হার ব্যবহার করে, নেটওয়ার্কের শুরুতে ধীরে ধীরে ছোট শেখার হার সহ, অনুরূপ টলেয়ার-ওয়াইজ লার্নিং রেট ডেকে (LLRD) [50] নীতি ব্যবহার করে।

ডাউনস্ট্রিম পারফরম্যান্সের মূল্যায়ন দুটি জনপ্রিয় গাইট্রেকগনিশন ডেটাসেটে সঞ্চালিত হয়: CASIA-B [6] এবং FVG [29]। উভয় ডেটাসেটেই কঠোর হাঁটার প্রোটোকলের অধীনে অল্প সংখ্যক বিষয় রয়েছে, যা বিভিন্ন বিভ্রান্তিকর কারণগুলির উপর নিয়ন্ত্রিত হয়: ক্যামেরার কোণ, পোশাক, আনুষাঙ্গিক এবং হাঁটার গতি।

CASIA-B হল একটি ইনডোর ডেটাসেট যেখানে 11টি সিঙ্ক্রোনাইজড ক্যামেরা থেকে 124টি বিষয় ধারণ করা হয়েছে। প্রতিটি ব্যক্তি তিনটি ভিন্ন অবস্থায় হাঁটে: স্বাভাবিক হাঁটা, পোশাক পরিবর্তন এবং ব্যাগ বহন। এটি প্রকাশের পর থেকে, এটি বেঞ্চমার্কিং গাইট্যানালাইসিস মডেলের জন্য একটি প্রধান বিষয়, এই এলাকায় সবচেয়ে বেশি ব্যবহৃত ডেটাসেটগুলির মধ্যে একটি। আমরা প্রথম 62টি বিষয় ব্যবহার করি প্রশিক্ষণ সেটে এবং বাকি 62টি কর্মক্ষমতা মূল্যায়নের জন্য। গাইট্রেকগনিশনের জন্য, আমরা একটি "লিভ-ওয়ান-আউট" সেটিং-এ প্রতি-কোণ ভিত্তিতে কর্মক্ষমতা মূল্যায়ন করতে বেছে নিই, যেখানে গ্যালারি সেটে প্রোব অ্যাঙ্গেল ছাড়া সমস্ত হাঁটার কোণ থাকে।

ফ্রন্ট-ভিউ গেইট হল গাইট শনাক্তকরণের জন্য আরেকটি জনপ্রিয় ডেটাসেট, যেখানে 226টি বিষয় বিভিন্ন প্রোটোকলের অধীনে বাইরে হাঁটছে। CASIA-B থেকে ভিন্ন, FVG-তে অতিরিক্ত বিভ্রান্তিকর কারণ রয়েছে: হাঁটার গতি, বিশৃঙ্খল পটভূমি এবং সময় অতিবাহিত (অর্থাৎ, কিছু বিষয় এক বছর ধরে হাঁটার নিবন্ধন করেছে)। অধিকন্তু, সমস্ত বিষয় একটি সামনের দিকের ক্যামেরা কোণ দিয়ে ধারণ করা হয়, যা গাইট শনাক্তকরণের জন্য সবচেয়ে কঠিন কোণ হিসাবে বিবেচিত হয় কারণ এতে অনুভূত যৌথ আন্দোলনের বৈচিত্র্যের ক্ষুদ্রতম পরিমাণ রয়েছে। আমরা প্রশিক্ষণের জন্য প্রথম 136টি বিষয় ব্যবহার করেছি এবং বাকিটি কর্মক্ষমতা মূল্যায়নের জন্য ব্যবহার করেছি। গাইট স্বীকৃতির জন্য কর্মক্ষমতা মূল্যায়ন লেখকদের দ্বারা বর্ণিত প্রোটোকলগুলি মেনে চলে, যেখানে আমরা গ্যালারি সেটে স্বাভাবিক হাঁটার ক্রম এবং প্রোব সেটের অন্যান্য শর্তগুলি ব্যবহার করি।

সমস্ত মূল্যায়নের পরিস্থিতির জন্য, আমরা ওয়াকিংসকোয়েন্সের কেন্দ্রে নির্ধারক ক্রপিং ব্যবহার করি এবং কোনো পরীক্ষার সময় বৃদ্ধি ব্যবহার করি না।

4. পরীক্ষা এবং ফলাফল

4.1। CASIA-B এর মূল্যায়ন

আমরা যথাক্রমে DenseGait এবং GREW-তে প্রতিটি আর্কিটেকচারকে প্রাক-প্রশিক্ষণ দিই এবং CASIA-B এবং FVG-এ কর্মক্ষমতা মূল্যায়ন করি। পরীক্ষা-নিরীক্ষার প্রথম সেটে, আমরা প্রগতিশীলভাবে বৃহত্তর প্রশিক্ষণের নমুনাগুলির সাথে, প্রাক-প্রশিক্ষণের পরে একটি সূক্ষ্ম-টিউনিং পরিস্থিতিতে CASIA-B-এর কর্মক্ষমতা মূল্যায়ন করতে আগ্রহী। আমরা প্রতিটি নেটওয়ার্ককে প্রথম 62টি পরিচয়ে প্রশিক্ষিত করেছি, সমস্ত উপলব্ধ হাঁটার বৈচিত্র সহ, এবং বাকিগুলি পরীক্ষার জন্য রেখেছি। গ্যালারি সেট হিসাবে প্রথম 4টি সাধারণ হাঁটার নমুনা ব্যবহার করে স্বীকৃতি মূল্যায়ন করা হয়েছিল এবং এটি একটি প্রোব সেট হিসাবে রয়েছে। চিত্র 4 CASIA-B-এর জন্য তিনটি হাঁটার বৈচিত্রের (স্বাভাবিক-NM, পোশাক-CLm এবং ক্যারি ব্যাগ-BG) প্রতিটির নির্ভুলতা প্রদর্শন করে। এই দৃশ্যের জন্য, এলোমেলোভাবে কে={1, 2, 3, 5, 7, 10} বিষয়ের প্রতি, প্রতি কোণে হাঁটার নমুনা তৈরি করা হয়েছে এবং মডেলটিকে প্রশিক্ষিত করা হয়েছে৷ যদিও পারফরম্যান্সটি আর্কিটেকচারের মধ্যে তুলনামূলকভাবে একই রকম, এটি স্পষ্ট যে প্রাক-প্রশিক্ষণ ডেটাসেট পছন্দ নির্বিশেষে, র্যান্ডম ইনিশিয়ালাইজেশনের তুলনায় কর্মক্ষমতায় একটি উল্লেখযোগ্য বৃদ্ধি প্রদান করে।

তদুপরি, SimpleViT, CrossFormer, এবং Twins-SVT-এর একই রকম উচ্চ কার্যক্ষমতা রয়েছে, যেখানে Token2Token কিছুটা পিছিয়ে রয়েছে। এটি পরামর্শ দেয় যে টোকেন2 টোকেনে ব্যবহৃত প্রগতিশীল টোকেনাইজেশন পদ্ধতি, যা বিশেষভাবে চিত্রের মতো কাঠামোর জন্য ডিজাইন করা হয়েছিল, কার্যকরভাবে গেটসকোয়েন্সের বৈশিষ্ট্যগুলি ক্যাপচার করে না। প্রি-ট্রেনিং ডেটাসেটের মধ্যে একটি লক্ষণীয় পার্থক্য রয়েছে: GREW-এর সাথে তুলনা করার সময় DenseGaits মনে হচ্ছে দুটি হাঁটার বৈচিত্র্যের (CL এবংBG) মধ্যে সামঞ্জস্যপূর্ণ কর্মক্ষমতা বৃদ্ধির প্রস্তাব দেয়। এটি এই সত্যের ইঙ্গিত দেয় যে DenseGait-এ আরও চ্যালেঞ্জিং এবং বাস্তবসম্মত পরিস্থিতি রয়েছে যা এমন অবস্থার জন্য মডেলকে আরও ভালভাবে প্রস্তুত করে যেখানে হাঁটার প্যাটার্ন বাহ্যিক কারণগুলির দ্বারা প্রভাবিত হয়।

আর্কিটেকচারগুলিকে একটি এম্বেডিং স্পেসে হাঁটার ক্রমগুলি ম্যাপ করার জন্য প্রশিক্ষিত করা হয়, যেখানে বিন্দুগুলির মধ্যে নৈকট্য সংশ্লিষ্ট হাঁটার অনুক্রমের সাদৃশ্যকে প্রতিফলিত করে। এর মানে হল যে একই পরিচয় থেকে অদেখা গাইট সিকোয়েন্সের এমবেডিংগুলি এম্বেডিং স্পেসে একে অপরের কাছাকাছি হওয়া উচিত এবং ক্লাস্টার গঠন করা উচিত, যখন বিভিন্ন পরিচয়ের এম্বেডিংগুলি একে অপরের থেকে আরও দূরে থাকা উচিত এবং আলাদা ক্লাস্টার তৈরি করা উচিত। এটি গুরুত্বপূর্ণ কারণ এটি মডেলটিকে অদেখা গিট সিকোয়েন্সগুলিকে সাধারণীকরণ করতে এবং নিকটতম-প্রতিবেশীর দৃষ্টিভঙ্গি ব্যবহার করে ব্যক্তিটিকে সঠিকভাবে সনাক্ত করতে দেয়। চিত্র 5-এ, আমরা T-SNE [51] এর সাথে CASIA-Bafter ডাইমেনশনালিটি হ্রাসের পরীক্ষা সেটে প্রতিটি পরিচয়ের জন্য এমবেডিংয়ের জন্য ক্লাস্টারিং উপস্থাপন করি। আমরা 256-মাত্রিক এমবেডিংভেক্টর ব্যবহার করেছি এবং এটিকে দুটি মাত্রায় প্রজেক্ট করেছি। SimpleViT এবং CrossFormer-এর কাছে ক্যামেরার দৃষ্টিভঙ্গি নির্বিশেষে পরিচয়ের সর্বোত্তম বিচ্ছেদ আছে বলে মনে হয়।

4.2। FVG এর মূল্যায়ন

একইভাবে, আমরা FVG-তে প্রতিটি আর্কিটেকচারের কর্মক্ষমতা মূল্যায়ন করেছি, যা CASIA-B থেকে গুণগতভাবে আলাদা, কারণ এতে শুধুমাত্র একটি দেখার কোণ রয়েছে। আমরা f={0.1, 0.2, 0.3, {{10 ভগ্নাংশে প্রতিটি প্রাক-প্রশিক্ষিত নেটওয়ার্ককে ফাইন-টিউনড করি }}.5, 0.7, 1.0} ট্রেনিং সেটে 12 রান করা ব্যক্তি। ফাইন-টিউনিং ফলাফলগুলি চিত্র 6-এ উপস্থাপিত হয়েছে। ফলাফলগুলি CASIA-B-এর জন্য অনুরূপ প্রবণতা অনুসরণ করে: SimpleViT এবং CrossFormer-এর ধারাবাহিকভাবে উচ্চ পারফরমেন্স রয়েছে, এবং একটি প্রাক-প্রশিক্ষণ ডেটাসেটের ব্যবহার ডাউনস্ট্রিম পারফরম্যান্সের জন্য উপকারী। আরও, DenseGait-এ প্রাক-প্রশিক্ষণ একটি ধ্রুবক নির্ভুলতার উন্নতি চালিয়ে যাচ্ছে বলে মনে হচ্ছে। Cosma এবং Radoi [12] দ্বারা উল্লিখিত হিসাবে, DenseGait-এ দীর্ঘ সময়ের জন্য ট্র্যাক করা বিষয় রয়েছে, এবং এটি প্রাকৃতিক চিত্রগুলির জন্য স্ব-তত্ত্বাবধানে পূর্ব-প্রশিক্ষণের জন্য র্যান্ডম ক্রপিংয়ের মতো বৈপরীত্যমূলক শিক্ষার লক্ষ্যে আরও বৈচিত্র্য প্রদান করে। CASIA-B-এর ফলাফলের অনুরূপ, পোশাকের বৈচিত্র স্বাভাবিক হাঁটার দৃশ্যের তুলনায় গুরুতরভাবে পিছিয়ে।

সারণি 4-এ, আমরা CASIA-B দৃশ্যের অনুরূপ প্রাক-প্রশিক্ষিত মডেলগুলির মধ্যে FVG-এর পরীক্ষার সেটে আরও সূক্ষ্ম ফলাফল উপস্থাপন করি। প্রাক-প্রশিক্ষণের ফলাফলগুলি সামঞ্জস্যপূর্ণ: DenseGait-এ প্রাক-প্রশিক্ষণ সরাসরি ডাউনস্ট্রিম নির্ভুলতার উন্নতির সাথে সম্পর্কযুক্ত। যদিও উভয় ডেটাসেটের পূর্বপ্রশিক্ষণ সমস্ত পরিস্থিতিতে কর্মক্ষমতা উন্নত করে, CBG (ক্লাটারড ব্যাকগ্রাউন্ড) দৃশ্যকল্পে উন্নতি বিশেষভাবে তাৎপর্যপূর্ণ যা সাধারণত ভিডিওতে আরও বেশি লোকের উপস্থিতি থাকে, যা প্রত্যাশিত অবাস্তব সেটিংসের অনুরূপ। এই উন্নতিটি সম্ভবত এই সত্য থেকে এসেছে যে ঘনত্ব এবং GREW প্রাকৃতিক, অনিয়ন্ত্রিত পরিবেশে একত্রিত হয়েছিল, তাদের আরও বাস্তবসম্মত এবং চ্যালেঞ্জিং করে তোলে, এইভাবে সিবিজি দৃশ্যের অনুরূপ অবস্থার জন্য মডেলটিকে আরও ভালভাবে প্রস্তুত করে। মডেলগুলির মধ্যে র‌্যাঙ্কিং CASIA-B-এর মতো: SimpleViT, CrossFormer, এবং Twins-SVT ধারাবাহিকভাবে CaiT এবং Token2Token-কে ছাড়িয়ে যাচ্ছে। CASIA-B এবং FVG উভয়ের জন্য, CaiT অন্যান্য মডেলের থেকে কিছুটা পিছিয়ে আছে।

4.3। Spatiotemporal সংবেদনশীলতা পরীক্ষা

দৃষ্টি ট্রান্সফরমারগুলির একটি বিশেষত্ব হল প্যাচের মাত্রার নির্বিচারে পছন্দ, যা চূড়ান্ত কার্যকারিতাতে গুরুত্বপূর্ণ প্রমাণিত হতে পারে। ইমেজ প্রসেসিংয়ের ক্ষেত্রে, প্যাচের মাত্রা বিশেষভাবে গুরুত্বপূর্ণ নয়, একটি চিত্রের শব্দার্থিক বিষয়বস্তুর অনুবাদগত পরিবর্তনের কারণে।

কঙ্কালের ক্রমগুলির জন্য, তবে, প্যাচের মাত্রাগুলি ইনপুটের নির্দিষ্ট এবং ব্যাখ্যাযোগ্য বৈশিষ্ট্যগুলির সাথে মিলে যায়: প্যাচের উচ্চতা একটি প্যাচের মধ্যে থাকা স্থানিক তথ্যের পরিমাণকে প্রতিনিধিত্ব করে (অর্থাৎ, কঙ্কালের জয়েন্টগুলির সংখ্যা অন্তর্ভুক্ত), যখন সাময়িক মাত্রাগুলি অন্তর্ভুক্ত অস্থায়ী তথ্যের পরিমাণকে প্রতিনিধিত্ব করে( অর্থাৎ, ফ্রেমের সংখ্যা)। গাইট বিশ্লেষণের জন্য অভিযোজিত দৃষ্টি ট্রান্সফরমার ব্যবহারে উভয়ের মধ্যে ভারসাম্য সাবধানে বিবেচনা করা উচিত। চিত্র 7-এ, আমরা একটি হিটম্যাপ প্রদর্শন করি যার মধ্যে প্রতিটি কোষ সাধারণ হাঁটার জন্য CASIA-B-এ একটি প্রশিক্ষিত মডেলের (এলোমেলোভাবে শুরু) কর্মক্ষমতা। আমরা প্রতিটি মডেলকে 50টি যুগের জন্য একটি ন্যায্য তুলনার জন্য প্রশিক্ষণ দিই, এবং একটি নির্দিষ্ট সংখ্যক ধাপে অভিসার গতি নির্ধারণ করতে।
আমরা দুটি হিটম্যাপ তৈরি করেছি, একটি SimpleViT-এর জন্য এবং একটি CaiT-এর জন্য, যেহেতু তাদের একটি অনুরূপ অন্তর্নিহিত মেরুদণ্ড রয়েছে, এবং প্যাচের আকারগুলি সংশোধন করা সহজ। একই প্রক্রিয়া অন্য পরীক্ষিত আর্কিটেকচারের জন্য সঞ্চালিত হতে পারে। আমরা উপসংহারে পৌঁছেছি যে ছোট প্যাচের আকারগুলি কঙ্কাল সিকোয়েন্সের জন্য মডেলিং কার্যক্ষমতার ইতিবাচক বৃদ্ধির সাথে সামঞ্জস্যপূর্ণ, যখন স্থানিক এবং অস্থায়ী মাত্রার মধ্যে ট্রেড-অফ গুরুত্বপূর্ণ নয়, যেহেতু পারফরম্যান্স একই রকম - হিটম্যাপ ম্যাট্রিক্স দ্বিতীয় তির্যক দ্বারা মোটামুটিভাবে প্রতিসম। তাই, ছোট বর্গক্ষেত্র প্যাচ আকার যেমন (2, 4) স্থানিক এবং অস্থায়ী মাত্রা জুড়ে এই কাজের জন্য সবচেয়ে ভাল, যখন বড় প্যাচ আকার যেমন (32, 32) খুব কম বৈষম্যমূলক তথ্য ধারণ করে। যাইহোক, ছোট প্যাচের আকার সহজভাবে প্যাচের সংখ্যা বাড়ায়, যার জন্য আরও কম্পিউটিং শক্তি প্রয়োজন। দুটি NVIDIA RTX 3060 GPU-এর সেটআপের জন্য, আমরা ছোট প্যাচ আকারের কিছু সংমিশ্রণের জন্য মেমরির বাইরের ত্রুটিগুলি রিপোর্ট করেছি।

ছোট প্যাচ আকারের সাথে উন্নত কর্মক্ষমতার সবচেয়ে সম্ভাব্য কারণ হল প্যাচগুলির মধ্যে আরও জটিল মিথস্ক্রিয়া গণনা করে স্থাপত্যটি হাঁটার প্যাটার্নের জটিলতাকে আরও ভালভাবে ক্যাপচার করতে পারে। সবচেয়ে বড় সম্ভাব্য স্থানিক আকার এবং ক্ষুদ্রতম সম্ভাব্য অস্থায়ী আকারের প্যাচগুলিকে কঙ্কালের সম্পূর্ণ উপস্থাপনা হিসাবে বিবেচনা করা যেতে পারে, যেখানে সবচেয়ে বড় সম্ভাব্য অস্থায়ী আকারের প্যাচগুলি এবং সবচেয়ে ছোট সম্ভাব্য স্থানিক আকারগুলি একটি পৃথক জয়েন্টের নড়াচড়ার সম্পূর্ণতা ক্যাপচার করে। যেমনটি লক্ষ্য করা যায়, সর্বোচ্চ নির্ভুলতা অর্জন করা হয় যখন প্যাচের আকার উভয় স্থানিক এবং অস্থায়ী তথ্যের ভারসাম্যকে অন্তর্ভুক্ত করে, যা ঘনিষ্ঠভাবে সংযুক্ত জয়েন্টগুলির ছোট আন্দোলনের সাথে মিলে যায়।

5. আলোচনা এবং উপসংহার

এই কাজে, আমরা কঙ্কাল সিকোয়েন্স প্রক্রিয়াকরণের জন্য অভিযোজিত থিভিশন ট্রান্সফরমারের পাঁচটি জনপ্রিয় রূপের একটি ব্যাপক মূল্যায়ন প্রদান করেছি। আমাদের প্রচেষ্টাগুলি ট্রান্সফরমার আর্কিটেকচারের অধীনে বিভিন্ন পদ্ধতিকে মূলত একত্রিত করার জন্য গভীর শিক্ষার সাম্প্রতিক অগ্রগতির সাথে সামঞ্জস্যপূর্ণ। কৃত্রিমভাবে জয়েন্টের সংখ্যা বাড়ানোর জন্য আমরা কঙ্কালের জন্য একটি স্থানিক আপস্যাম্পলিং পদ্ধতি প্রস্তাব করেছি (TSSI কঙ্কাল বিন্যাসের সাথে bicubicupsampling) যাতে ক্রমটি ট্রান্সফরমার এনকোডার দ্বারা সঠিকভাবে গ্রাস করা যায়। তদ্ব্যতীত, প্রতিটি স্থাপত্যকে স্ব-তত্ত্বাবধান প্রশিক্ষণ দৃষ্টান্তের অধীনে দুটি সাধারণ এবং বৃহৎ-স্কেল গেট ডেটাসেটের (যেমন, ডেনসগেইট এবং জিআরইডব্লিউ) প্রশিক্ষণ দেওয়া হয়েছিল এবং পরবর্তীকালে নিয়ন্ত্রিত পরিবেশে (যেমন, CASIA-B এবং FVG) গেইট স্বীকৃতির জন্য দুটি ডেটাসেটের মূল্যায়ন করা হয়েছিল। আমরা একটি নির্দিষ্ট হাঁটার বৈচিত্র্য বা ক্যামেরা দৃষ্টিকোণ থেকে সীমাবদ্ধ না হয়ে সাধারণ গাইট বৈশিষ্ট্যগুলি পেতে স্ব-তত্ত্বাবধানে শিক্ষার দৃষ্টান্ত গ্রহণ করতে বেছে নিয়েছি।

আমাদের ফলাফলগুলি প্রিট্রেইনিং গাইট বিশ্লেষণ মডেলগুলির জন্য উচ্চ পরিমাণ, উচ্চ গুণমান এবং বিভিন্ন ডেটাসেটের প্রয়োজনীয়তা বোঝায়। আমরা দেখিয়েছি যে DenseGait-এ প্রাক-প্রশিক্ষণ GREW-এর তুলনায় সামঞ্জস্যপূর্ণ নির্ভুলতার উন্নতির প্রস্তাব করে, আকার বৃদ্ধির কারণে, তারতম্যের সংখ্যা এবং গড় হাঁটার সময়কাল [12]। তবে সবচেয়ে উল্লেখযোগ্য সুবিধা হল এমন পরিস্থিতিতে যেখানে কম পরিমাণে প্রশিক্ষণ ডেটা উপলব্ধ। আমাদের ফলাফলগুলি দেখায় যে স্ক্র্যাচ থেকে প্রশিক্ষণ সূক্ষ্ম-টিউনিংয়ের চেয়ে উল্লেখযোগ্যভাবে খারাপ ফলাফলের দিকে নিয়ে যায় এমনকি পরিমিত পরিমাণ ডেটা (অর্থাৎ, প্রতি ব্যক্তি 10টি ক্রম)। বর্তমানে, বেশিরভাগ চলাফেরার পদ্ধতিগুলি কঠোরভাবে নিয়ন্ত্রিত পরিবেশে বাড়ির ভিতরে সঞ্চালিত হয়, যা বাস্তব-বিশ্বের মিথস্ক্রিয়াগুলির জটিলতায় সাধারণীকরণ করা যায় না। বিভিন্ন প্রশিক্ষণ ডেটাসেটগুলি সঠিক-বন্য আচরণগত বিশ্লেষণ সম্পাদনের জন্য অত্যন্ত গুরুত্বপূর্ণ, বিশেষত যেহেতু গাইট একটি বায়োমেট্রিক বৈশিষ্ট্য যা সহজেই বাহ্যিক পরিবেশগত কারণগুলির পাশাপাশি অভ্যন্তরীণ এবং মানসিক উপাদানগুলি দ্বারা প্রভাবিত হয়।

আমাদের বিমোচন অধ্যয়ন দেখায় যে ছোট স্থানিক-টেম্পোরাল প্যাচগুলি আরও ভাল ডাউনস্ট্রিম ফলাফলের জন্য উপকারী। এই অন্তর্দৃষ্টি আর্কিটেকচার ফরস্কেলটন সিকোয়েন্সের ভবিষ্যত উন্নয়ন সম্পর্কে অবহিত করে, যা পূর্বে একক প্যাচের উপর একটি পৃথক কঙ্কাল প্রক্রিয়াকরণের উপর নির্ভর করেছিল [12]।

গাইট বিশ্লেষণকে বাস্তবসম্মত সেটিংসে আনার জন্য সমসাময়িক প্রচেষ্টার পাশাপাশি, আমাদের কাজটি অভ্যন্তরীণ, নিয়ন্ত্রিত পরিবেশ থেকে বহিরঙ্গন, বাস্তব-বিশ্বের সেটিংসে গাইট প্রমাণীকরণ এবং আচরণগত বিশ্লেষণের রূপান্তরকে সক্ষম করে। ইন-দ্য-ওয়াইল্ড গেইট স্বীকৃতি স্মার্ট সেন্সর এবং দক্ষ নিউরাল আর্কিটেকচারের বিকাশের সাথে সর্বব্যাপী হয়ে উঠবে যা রিয়েল-টাইমে গতি-চালিত আচরণ প্রক্রিয়া করে।

তথ্যসূত্র

1. Kyeong, S.; কিম, এসএম; জং, এস.; কিম, ডিএইচ গেইট প্যাটার্ন বিশ্লেষণ এবং ক্লিনিকাল সাবগ্রুপ আইডেন্টিফিকেশন: একটি পূর্ববর্তী পর্যবেক্ষণ অধ্যয়ন। মেডিসিন 2020, 99, e19555। [ক্রসরেফ] [পাবমেড]

2. মিচালক, জে.; ট্রোজে, এনএফ; ফিশার, জে.; ভলমার, পি.; হাইডেনরিচ, টি.; শুল্টে, ডি. বিষণ্ণতা এবং বিষণ্নতার মূর্ত প্রতীক-গাইটপ্যাটার্নস অ্যাসোসিয়েটেড উইথ ডিসফোরিক মুড। সাইকোসম। মেড. 2009, 71, 580-587। [ক্রসরেফ] [পাবমেড]

3. উইলেমস, টিএম; Witvrouw, E.; ডি কক, এ.; De Clercq, D. ব্যায়াম-সম্পর্কিত নিচের পায়ে ব্যথার জন্য গাইট-সম্পর্কিত ঝুঁকির কারণ। মেড. বিজ্ঞান ক্রীড়া ব্যায়াম। 2007, 39, 330-339। [ক্রসরেফ] [পাবমেড]

4. সিং, জেপি; জৈন, এস.; অরোরা, এস.; সিং, ইউপি ভিশন-ভিত্তিক গাইট স্বীকৃতি: একটি সমীক্ষা। IEEE অ্যাক্সেস 2018, 6, 70497–70527। [ক্রসরেফ]

5. মাকিহারা, ওয়াই.; নিক্সন, এমএস; ইয়াগি, ওয়াই. গেইট স্বীকৃতি: ডাটাবেস, উপস্থাপনা এবং অ্যাপ্লিকেশন। কম্পিউট ভিস। রেফ. নির্দেশিকা 2020,1-13।

6. ইউ, এস.; ট্যান, ডি.; ট্যান, টি। গাইট স্বীকৃতির উপর দৃষ্টিকোণ, পোশাক এবং বহন অবস্থার প্রভাব মূল্যায়নের জন্য একটি কাঠামো। প্যাটার্ন স্বীকৃতি সংক্রান্ত 18 তম আন্তর্জাতিক সম্মেলনের কার্যক্রমে (ICPR'06), হংকং, চীন, 20-24 আগস্ট 2006; ভলিউম 4, পৃ. 441-444।

7. ঝু, জেড.; গুও, এক্স।; ইয়াং, টি.; হুয়াং, জে.; ডেং, জে.; হুয়াং, জি.; ডু, ডি.; লু, জে.; ঝোউ, জে. গেইট রিকগনিশন ইন দ্য ওয়াইল্ড: একটি বেঞ্চমার্ক। IEEE ইন্টারন্যাশনাল কনফারেন্স অন কম্পিউটার ভিশন (ICCV), মন্ট্রিল, বিসি, কানাডা, 11-17 অক্টোবর 2021 এর কার্যক্রম।

8. চাও, এইচ.; তিনি, Y.; ঝাং, জে.; ফেং, জে. গেইটসেট: ক্রস-ভিউ গেইট স্বীকৃতির জন্য একটি সেট হিসাবে গাইট সম্পর্কে। কৃত্রিম বুদ্ধিমত্তা সম্পর্কিত AAAIC সম্মেলনের কার্যক্রমে, হনলুলু, HI, USA, 27 জানুয়ারী-1 ফেব্রুয়ারি 2019; ভলিউম 33, পৃ. 8126–8133। 

9. ফ্যান, সি.; পেং, ওয়াই.; কাও, সি.; লিউ, এক্স।; হাউ, এস.; চি, জে.; হুয়াং, ওয়াই.; লি, প্র.; He, Z. Gaitpart: Gaitrecognition এর জন্য টেম্পোরাল পার্ট-ভিত্তিক মডেল। IEEE/CVF কনফারেন্স অন কম্পিউটার ভিশন এবং প্যাটার্ন রিকগনিশন, সিয়াটল, WA, USA, 13-19 জুন 2020; পৃষ্ঠা 14225-14233।

10. কসমা, এ.; Radoi, IE WildGait: Raw Surveillance Stream থেকে গাইট রিপ্রেজেন্টেশন শেখা। সেন্সর 2021, 21, 8387। [CrossRef][PubMed]

For more information:1950477648nn@gmail.com