সূচিপত্র
1. ভূমিকা ও সমস্যা বিবৃতি
স্পটিফাইয়ের অডিওবুকে সম্প্রসারণ একটি ক্লাসিক কোল্ড-স্টার্ট সমস্যা তৈরি করে। প্ল্যাটফর্মের সার্চ এবং রিকমেন্ডেশন সিস্টেম, যা বছরের পর বছর মিউজিক এবং পডকাস্ট ইন্টারঅ্যাকশনের জন্য অপ্টিমাইজ করা ছিল, নতুন কনটেন্ট টাইপের বিরুদ্ধে একটি গুরুতর রিট্রিভেবিলিটি বায়াস-এ ভুগছিল। ব্যবহারকারীরা অডিওবুক খোঁজার জন্য অভ্যস্ত ছিল না, এবং সিস্টেমগুলির কাছে প্রতিষ্ঠিত কনটেন্টের বিপরীতে সেগুলিকে সঠিকভাবে র্যাঙ্ক করার জন্য পর্যাপ্ত ইন্টারঅ্যাকশন ডেটার অভাব ছিল। এটি একটি দুষ্টচক্র তৈরি করে: কম দৃশ্যমানতা কম ইন্টারঅ্যাকশনের দিকে নিয়ে যায়, যা আবার খারাপ র্যাঙ্কিংকে শক্তিশালী করে। মূল চ্যালেঞ্জটি ছিল দ্বিগুণ: 1) ব্যবহারকারীদের অনুপ্রাণিত করা যাতে তারা নির্দিষ্ট শিরোনামের পরিবর্তে অডিওবুকের জন্য অন্বেষণমূলক, বিষয়ভিত্তিক ক্যোয়ারি টাইপ করে (যেমন, "স্ক্যান্ডিনেভিয়ায় সেট করা সাইকোলজিক্যাল থ্রিলার"), এবং 2) রিট্রিভাল সিস্টেমগুলিকে সমৃদ্ধ করা যাতে এই বিস্তৃত, অন্বেষণমূলক ক্যোয়ারিগুলি কার্যকরভাবে হ্যান্ডেল করা যায়, যার জন্য খুব কম বাস্তব ব্যবহারকারী ডেটা বিদ্যমান।
2. অডিওবুস্ট সিস্টেম
অডিওবুস্ট হল এই কোল্ড-স্টার্ট চ্যালেঞ্জের প্রতি স্পটিফাইয়ের প্রকৌশলগত প্রতিক্রিয়া। এটি কেবল একটি র্যাঙ্কিং টুইক নয়, বরং ডিসকভারি বুটস্ট্র্যাপ করতে সিনথেটিক ডেটা ব্যবহার করে একটি সিস্টেমিক হস্তক্ষেপ।
2.1 মূল পদ্ধতি
সিস্টেমটি প্রতিটি অডিওবুকের সাথে যুক্ত সমৃদ্ধ, কাঠামোগত মেটাডেটা (শিরোনাম, লেখক, প্রকাশক, ধারা, সারসংক্ষেপ, ট্রোপ) কাজে লাগায়। এই মেটাডেটা হল জেনারেশনের বীজ।
2.2 এলএলএমের মাধ্যমে সিনথেটিক ক্যোয়ারি জেনারেশন
একটি লার্জ ল্যাঙ্গুয়েজ মডেল (এলএলএম)-কে এই মেটাডেটার শর্তে একাধিক সম্ভাব্য ব্যবহারকারী সার্চ ক্যোয়ারি তৈরি করার জন্য প্রম্পট করা হয়। উদাহরণস্বরূপ, এআই সম্পর্কিত একটি সাই-ফাই অডিওবুকের মেটাডেটা দেওয়া হলে, এলএলএম নিম্নলিখিত ক্যোয়ারিগুলি তৈরি করতে পারে: "সেরা এআই ডিস্টোপিয়ান উপন্যাস", "চেতনা সম্পর্কিত সাই-ফাই বই", "প্রযুক্তি সম্পর্কিত ভবিষ্যত গল্প"। এই প্রক্রিয়াটি কৃত্রিমভাবে সেই "লং-টেইল" সার্চ ট্রাফিক তৈরি করে যা সময়ের সাথে সাথে স্বাভাবিকভাবে বিকশিত হত।
2.3 দ্বৈত-ইন্ডেক্সিং কৌশল
অডিওবুস্টের প্রতিভা তার দ্বৈত প্রয়োগে নিহিত:
- ক্যোয়ারি অটোকমপ্লিট (কিউএসি): সিনথেটিক ক্যোয়ারিগুলিকে সুপারিশ হিসাবে ইনজেক্ট করা হয়, যা অন্বেষণমূলক সার্চ ধারণা রোপণ করে সরাসরি ব্যবহারকারীর আচরণকে প্রভাবিত করে।
- সার্চ রিট্রিভাল ইঞ্জিন: একই সিনথেটিক ক্যোয়ারিগুলি অডিওবুকের বিপরীতে ইন্ডেক্স করা হয়, অনুরূপ বাস্তব ব্যবহারকারী ক্যোয়ারির জন্য এর ম্যাচ স্কোর উন্নত করে, যার ফলে এর রিট্রিভেবিলিটি বৃদ্ধি পায়।
এক নজরে মূল ফলাফল
- অডিওবুক ইমপ্রেশন: +০.৭%
- অডিওবুক ক্লিক: +১.২২%
- অন্বেষণমূলক ক্যোয়ারি কমপ্লিশন: +১.৮২%
উৎস: অনলাইন এ/বি টেস্ট, অডিওবুস্ট সিস্টেম
3. প্রযুক্তিগত বাস্তবায়ন ও মূল্যায়ন
3.1 অফলাইন মূল্যায়ন মেট্রিক্স
লাইভ টেস্টের আগে, সিনথেটিক ক্যোয়ারিগুলির গুণমান এবং উপযোগিতা অফলাইনে মূল্যায়ন করা হয়েছিল। সম্ভাব্য মেট্রিক্সগুলির মধ্যে অন্তর্ভুক্ত থাকতে পারে:
- ক্যোয়ারি প্রাসঙ্গিকতা: একটি জেনারেটেড ক্যোয়ারি সংশ্লিষ্ট অডিওবুকের জন্য একটি সম্ভাব্য সার্চ কিনা তা মানব বা মডেল-ভিত্তিক মূল্যায়ন।
- রিট্রিভেবিলিটি কভারেজ: সিনথেটিক ডেটা ইন্ডেক্স করার পর টেস্ট ক্যোয়ারির একটি ব্যাস্কেটের জন্য টপ-কে সার্চ ফলাফলে উপস্থিত অডিওবুকের সংখ্যা বৃদ্ধি পরিমাপ করা।
- বৈচিত্র্য ও নতুনত্ব: নিশ্চিত করা যে জেনারেটেড ক্যোয়ারিগুলি সুস্পষ্ট শিরোনাম/লেখক ম্যাচের বাইরে সার্চ ইনটেন্টের (বিষয়, ধারা, ট্রোপ, মুড) একটি বিস্তৃত পরিসর কভার করে।
3.2 অনলাইন এ/বি টেস্ট ফলাফল
চূড়ান্ত বৈধতা ছিল একটি নিয়ন্ত্রিত অনলাইন এ/বি টেস্ট। ট্রিটমেন্ট গ্রুপটি অডিওবুস্ট সক্ষম করে সার্চের অভিজ্ঞতা লাভ করে। ফলাফলগুলি পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ এবং কার্যক্ষেত্রে অর্থপূর্ণ ছিল:
- +০.৭% অডিওবুক ইমপ্রেশন: আরও অডিওবুক সার্চ ফলাফলে সারফেস করেছে।
- +১.২২% অডিওবুক ক্লিক: ব্যবহারকারীরা এই অডিওবুক ফলাফলগুলির সাথে আরও বেশি জড়িত হয়েছে।
- +১.৮২% অন্বেষণমূলক ক্যোয়ারি কমপ্লিশন: গুরুত্বপূর্ণভাবে, ব্যবহারকারীরা সিস্টেম-সুপারিশকৃত অন্বেষণমূলক ক্যোয়ারিগুলি উচ্চ হারে গ্রহণ করেছে, যা প্রমাণ করে আচরণগত নাজ কাজ করেছে।
3.3 মূল কার্যক্ষমতা নির্দেশক (কেপিআই)
নির্বাচিত কেপিআইগুলি ব্যবসায়িক এবং পণ্যের লক্ষ্যগুলির সাথে বিশেষজ্ঞভাবে সামঞ্জস্যপূর্ণ: ডিসকভারি (ইমপ্রেশন), এনগেজমেন্ট (ক্লিক), এবং ক্যোয়ারি আচরণ পরিবর্তন (অন্বেষণমূলক কমপ্লিশন)।
4. মূল অন্তর্দৃষ্টি ও বিশ্লেষক দৃষ্টিভঙ্গি
মূল অন্তর্দৃষ্টি: স্পটিফাইয়ের অডিওবুস্ট হল প্রয়োগকৃত এআই বাস্তববাদের একটি মাস্টারক্লাস। এটি কোল্ড-স্টার্ট সমস্যাকে ডেটার অভাব হিসাবে নয়, বরং সিগন্যাল-এর অভাব হিসাবে পুনর্ব্যাখ্যা করে। ব্যবহারকারীদেরকে সেই সিগন্যাল জৈবিকভাবে তৈরি করার জন্য অপেক্ষা করার পরিবর্তে (একটি নতুন ক্যাটালগের জন্য একটি হারানো প্রস্তাব), এটি এলএলএম ব্যবহার করে বৃহৎ পরিসরে ব্যবহারকারীর অভিপ্রায় সিমুলেট করে, কার্যকরভাবে মার্কেটপ্লেস বুটস্ট্র্যাপ করে। এটি জেনারেটিভ এআই-এর মানুষের ভাষার সূক্ষ্মতা বোঝা এবং অনুকরণ করার ক্ষমতা দ্বারা সুপারচার্জ করা ঐতিহ্যগত কনটেন্ট-ভিত্তিক ফিল্টারিংয়ের একটি আরও পরিশীলিত বিবর্তন।
যুক্তিগত প্রবাহ: সিস্টেমের যুক্তি মার্জিতভাবে বৃত্তাকার এবং স্ব-শক্তিশালী। মেটাডেটা → সিনথেটিক ক্যোয়ারি → উন্নত কিউএসি ও রিট্রিভাল → ব্যবহারকারী এনগেজমেন্ট → বাস্তব ডেটা → উন্নত মডেল। এটি সেই নেটওয়ার্ক ইফেক্টের একটি প্রকৌশলগত শর্টকাট যার উপর স্পটিফাইয়ের মতো প্ল্যাটফর্মগুলি নির্ভর করে। এই পদ্ধতিটি কম্পিউটার ভিশনে সাইকেলজিএএন (ঝু এট আল., ২০১৭)-এর মতো কৌশলগুলির কথা মনে করিয়ে দেয়, যা জোড়া উদাহরণ ছাড়াই ডোমেনের মধ্যে অনুবাদ করতে শেখে (যেমন, ঘোড়া থেকে জেব্রা)। একইভাবে, অডিওবুস্ট শুরুতে জোড়া (ক্যোয়ারি, অডিওবুক) ইন্টারঅ্যাকশন ডেটার উপর নির্ভর না করে অডিওবুক মেটাডেটার ডোমেন এবং ব্যবহারকারী সার্চ ইনটেন্টের ডোমেনের মধ্যে "অনুবাদ" করতে শেখে।
শক্তি ও ত্রুটি: প্রাথমিক শক্তি হল এর তাত্ক্ষণিক স্থাপনযোগ্যতা এবং প্রভাব, যেমন ইতিবাচক এ/বি টেস্ট দ্বারা দেখানো হয়েছে। এটি একটি কম-ঝুঁকি, উচ্চ-পুরস্কার হস্তক্ষেপ যা বিদ্যমান অবকাঠামোর (কিউএসি, রিট্রিভাল ইন্ডেক্স) মধ্যে কাজ করে। যাইহোক, পদ্ধতিটির অন্তর্নিহিত ত্রুটি রয়েছে। প্রথমত, এটি একটি "সিনথেসিসের ইকো চেম্বার" তৈরি করার ঝুঁকি রাখে—যদি এলএলএম-এর ক্যোয়ারি জেনারেশন পক্ষপাতদুষ্ট বা সীমিত হয়, তবে এটি ডিসকভারি ল্যান্ডস্কেপকে সংকীর্ণ করতে পারে, প্রসারিত করার পরিবর্তে। দ্বিতীয়ত, এটি স্বল্পমেয়াদে বাস্তব ব্যবহারকারী আগ্রহ থেকে রিট্রিভালকে বিচ্ছিন্ন করতে পারে; একটি বই এমন একটি সিনথেটিক ক্যোয়ারির জন্য রিট্রিভ করা হতে পারে যার জন্য কোনও বাস্তব ব্যবহারকারী যত্নশীল নয়। তৃতীয়ত, স্ট্যানফোর্ড এইচএআই-এর মতো প্রতিষ্ঠানের গবেষণা দ্বারা উল্লিখিত হিসাবে, সিনথেটিক ডেটার উপর অত্যধিক নির্ভরতা বাস্তব ডেটা প্রতিক্রিয়া লুপের সাথে সাবধানে পরিচালনা না করলে মডেল কোলাপস বা অপ্রত্যাশিত ড্রিফ্টের দিকে নিয়ে যেতে পারে।
কার্যকরী অন্তর্দৃষ্টি: পণ্য নেতাদের জন্য, টেকঅ্যাওয়ে পরিষ্কার: জেনারেটিভ এআই হল আপনার চূড়ান্ত কোল্ড-স্টার্ট অস্ত্র। ব্লুপ্রিন্টটি ডোমেন জুড়ে প্রতিলিপিযোগ্য—নতুন পণ্য বিভাগ, নতুন ভৌগোলিক বাজার, নতুন কনটেন্ট ফরম্যাট। মূল বিষয় হল জেনারেটিভ প্রক্রিয়ার গুণমান এবং বৈচিত্র্যের উপর ফোকাস করা। সিনথেটিক আউটপুটের প্রম্পট ইঞ্জিনিয়ারিং, কিউরেশন এবং বৈধতাকে প্রথম-শ্রেণীর প্রকৌশল কাজ হিসাবে বিনিয়োগ করুন। তদুপরি, সিস্টেমের অপ্রচলিততার জন্য পরিকল্পনা করুন; অডিওবুস্টের লক্ষ্য হওয়া উচিত বাস্তব ডেটা সংগ্রহের ত্বরণ করা যাতে সিনথেটিক স্তরটিকে ধীরে ধীরে পর্যায়ক্রমে বাতিল বা হ্রাস করা যায়, একটি সম্পূর্ণ জৈবিক ডিসকভারি ইকোসিস্টেমে রূপান্তরিত করা যায়। এটি একটি স্থায়ী ক্রাচ নয়, বরং একটি কৌশলগত ত্বরণকারী।
5. প্রযুক্তিগত বিবরণ ও গাণিতিক কাঠামো
যদিও গবেষণাপত্রটি জটিল সূত্রে গভীরভাবে যায় না, মূল রিট্রিভাল উন্নতিকে ধারণা করা যেতে পারে। ধরুন $R(q, d)$ হল মূল মডেলে ক্যোয়ারি $q$-এর জন্য ডকুমেন্ট (অডিওবুক) $d$-এর প্রাসঙ্গিকতা স্কোর। একটি কোল্ড-স্টার্টে, একটি অডিওবুক $d_a$ এবং একটি অন্বেষণমূলক ক্যোয়ারি $q_e$-এর জন্য, $R(q_e, d_a)$ স্পার্স ডেটার কারণে কম।
অডিওবুস্ট $d_a$-এর জন্য সিনথেটিক ক্যোয়ারির একটি সেট $Q_s = \{q_{s1}, q_{s2}, ..., q_{sn}\}$ তৈরি করে। তারপর রিট্রিভাল সিস্টেমটি এমনভাবে সমৃদ্ধ করা হয় যে নতুন প্রাসঙ্গিকতা স্কোর $R'(q, d)$ এই সিনথেটিক ক্যোয়ারিগুলির সাথে ম্যাচ বিবেচনা করে। একটি সরলীকৃত দৃষ্টিভঙ্গি হতে পারে:
$R'(q_e, d_a) = R(q_e, d_a) + \lambda \cdot \sum_{q_s \in Q_s} \text{sim}(q_e, q_s) \cdot I(d_a, q_s)$
যেখানে:
- $\text{sim}(q_e, q_s)$ হল ব্যবহারকারীর অন্বেষণমূলক ক্যোয়ারি এবং একটি সিনথেটিক ক্যোয়ারির মধ্যে একটি শব্দার্থিক সাদৃশ্য স্কোর (যেমন, একটি এমবেডিং মডেল থেকে)।
- $I(d_a, q_s)$ হল $d_a$ এবং $q_s$-এর মধ্যে একটি নির্দেশক বা সংযোগের শক্তি (এলএলএম জেনারেশন দ্বারা প্রতিষ্ঠিত)।
- $\lambda$ হল একটি ব্লেন্ডিং প্যারামিটার যা সিনথেটিক সিগন্যালের প্রভাব নিয়ন্ত্রণ করে, যা বাস্তব ডেটা জমা হওয়ার সাথে সাথে ক্ষয় হওয়া উচিত।
6. বিশ্লেষণ কাঠামো: একটি নন-কোড কেস স্টাডি
পরিস্থিতি: একটি নতুন স্ট্রিমিং প্ল্যাটফর্ম "স্ট্রিমফ্লো" একটি স্ট্যান্ড-আপ কমেডি স্পেশাল বিভাগ চালু করে। এটি অডিওবুকের সাথে স্পটিফাইয়ের মতো একই কোল্ড-স্টার্ট সমস্যার সম্মুখীন হয়।
অডিওবুস্ট কাঠামো প্রয়োগ করা:
- মেটাডেটা চিহ্নিত করুন: প্রতিটি কমেডি স্পেশালের জন্য: কমেডিয়ানের নাম, স্পেশাল শিরোনাম, ট্যাগ (যেমন, পর্যবেক্ষণমূলক, রাজনৈতিক, অতিপ্রাকৃত), ট্রান্সক্রিপ্ট কীওয়ার্ড, রেকর্ডিং বছর, শ্রোতা ভাইব (উচ্ছৃঙ্খল, অন্তরঙ্গ)।
- ক্যোয়ারি জেনারেশন প্রম্পট সংজ্ঞায়িত করুন: এলএলএম প্রম্পট ইঞ্জিনিয়ার করুন যেমন: "[কমেডিয়ান] দ্বারা [শিরোনাম] শিরোনাম এবং [ট্যাগ] ট্যাগ সহ একটি কমেডি স্পেশাল দেওয়া হলে, অনুরূপ কমেডি কনটেন্ট খুঁজে পেতে একজন ব্যবহারকারী যে ১০টি বৈচিত্র্যময় সার্চ ক্যোয়ারি টাইপ করতে পারে তা তৈরি করুন। শৈলী, বিষয়, মুড এবং তুলনীয় কমেডিয়ান সম্পর্কিত ক্যোয়ারি অন্তর্ভুক্ত করুন।"
- জেনারেট ও ইন্ডেক্স করুন: "রাজনৈতিক ব্যঙ্গ", "২০২০-এর দশক" ট্যাগ করা একটি স্পেশালের জন্য, এলএলএম তৈরি করে: "মজার রাজনৈতিক ভাষ্য", "বর্তমান ঘটনা সম্পর্কে সেরা ব্যঙ্গ", "[কমেডিয়ান]-এর মতো কমেডিয়ান", "আধুনিক সমাজ সম্পর্কে স্ট্যান্ড-আপ"। এগুলি ইন্ডেক্স করা হয়।
- দ্বৈত প্রয়োগ: এই ক্যোয়ারিগুলি সুপারিশ হিসাবে উপস্থিত হয় যখন একজন ব্যবহারকারী "কমেডি সম্পর্কে..." টাইপ করা শুরু করে। তারা এই স্পেশালটিকে রিট্রিভ করতেও সাহায্য করে যখন একজন ব্যবহারকারী "ব্যঙ্গাত্মক নিউজ শো" খোঁজে।
- পরিমাপ ও পুনরাবৃত্তি করুন: কেপিআই ট্র্যাক করুন: কমেডি স্পেশাল ইমপ্রেশন, প্লে স্টার্ট, এবং জেনারেটেড ক্যোয়ারি সুপারিশের ব্যবহার। এই বাস্তব ডেটা ব্যবহার করে এলএলএম প্রম্পট ফাইন-টিউন করুন এবং পুরানো স্পেশালগুলির জন্য $\lambda$ প্যারামিটার ধীরে ধীরে হ্রাস করুন কারণ সেগুলি দেখার সংখ্যা জমা হয়।
7. ভবিষ্যত প্রয়োগ ও গবেষণা দিকনির্দেশনা
অডিওবুস্ট প্যারাডাইম বেশ কয়েকটি আকর্ষণীয় ভবিষ্যতের পথ খোলে:
- ক্রস-মোডাল ও মাল্টি-মোডাল রিট্রিভাল: টেক্সট ক্যোয়ারির বাইরে প্রসারিত। মেটাডেটা থেকে সিনথেটিক অডিও স্নিপেট (যেমন, "এইরকম কিছু বাজাও") বা ভিজুয়াল মুড বোর্ড তৈরি করা যেতে পারে ভয়েস বা ভিজুয়াল সার্চ বুটস্ট্র্যাপ করার জন্য?
- ব্যক্তিগতকৃত সিনথেটিক জেনারেশন: ওয়ান-সাইজ-ফিটস-অল সিনথেটিক ক্যোয়ারি থেকে ব্যক্তিগত ব্যবহারকারী প্রোফাইল শর্তে ক্যোয়ারি তৈরি করার দিকে যাওয়া। উদাহরণস্বরূপ, একজন ব্যবহারকারীর জন্য যিনি ইতিহাস পডকাস্ট শোনেন, জেনেরিকগুলির পরিবর্তে "গভীর গবেষণা সহ ঐতিহাসিক জীবনী" এর মতো অডিওবুক ক্যোয়ারি তৈরি করুন।
- ডাইনামিক ও অ্যাডাপটিভ সিনথেসিস: একটি স্ট্যাটিক ব্যাচ জেনারেশনের পরিবর্তে, এমন একটি সিস্টেম তৈরি করা যেখানে সিনথেটিক ক্যোয়ারি জেনারেশন মডেল ক্রমাগত মানিয়ে যায় যে কোন সিনথেটিক ক্যোয়ারিগুলি আসলে ব্যবহারকারী এনগেজমেন্টের দিকে নিয়ে যায় তার উপর ভিত্তি করে, একটি স্ব-উন্নত লুপ তৈরি করে।
- সিনথেটিক বায়াস প্রশমিত করা: একটি প্রধান গবেষণা দিক হল এলএলএম-জেনারেটেড ক্যোয়ারিগুলির বৈচিত্র্য এবং ন্যায্যতা নিরীক্ষা এবং নিশ্চিত করার পদ্ধতি বিকাশ করা যাতে ডিসকভারি প্রক্রিয়ায় সামাজিক বা ক্যাটালগ পক্ষপাতের প্রশস্ততা রোধ করা যায়। অ্যালগরিদমিক ফেয়ারনেস গবেষণা থেকে কৌশলগুলি এখানে গুরুত্বপূর্ণ হবে।
- এন্টারপ্রাইজ সার্চে প্রয়োগ: এই পদ্ধতিটি সরাসরি অভ্যন্তরীণ কোম্পানির সার্চ ইঞ্জিনে নতুন ডকুমেন্ট রিপোজিটরি, নলেজ বেস বা পণ্য ক্যাটালগের জন্য প্রযোজ্য, যেখানে প্রাথমিক ব্যবহারকারী সার্চ আচরণ অজানা।
8. তথ্যসূত্র
- Azad, H. K., & Deepak, A. (2019). Query expansion techniques for information retrieval: A survey. Information Processing & Management, 56(5), 1698-1735.
- Jiang, J. Y., et al. (2021). Understanding and predicting user search mindset. ACM Transactions on Information Systems.
- Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE international conference on computer vision (pp. 2223-2232). [বাহ্যিক উৎস - সাইকেলজিএএন]
- Stanford Institute for Human-Centered Artificial Intelligence (HAI). (2023). On the Risks and Challenges of Synthetic Data. [বাহ্যিক উৎস - গবেষণা প্রতিষ্ঠান]
- Palumbo, E., Penha, G., Liu, A., et al. (2025). AudioBoost: Increasing Audiobook Retrievability in Spotify Search with Synthetic Query Generation. In Proceedings of the EARL Workshop@RecSys.
- Bennett, P. N., et al. (2012). Modeling the impact of short- and long-term behavior on search personalization. In Proceedings of the 35th international ACM SIGIR conference.