เกตเวย์มือถือสำหรับการรวมโมเดล AI ฟรีและการให้บริการ API ในท้องถิ่น
FreeLLMAPI: โมเดล AI ทุกตัวที่พัฒนาโดย Tash A รวบรวมการเข้าถึงระดับฟรีจากผู้ให้บริการ AI หลายรายไว้ในแอป Android เดียวที่ออกแบบมาสำหรับการทดสอบ การสนทนา และการพัฒนาที่เบา แอปนี้มีอินเทอร์เฟซการสนทนาและเกตเวย์ API บนมือถือที่ช่วยให้ไม่ต้องจัดการกับบัญชีผู้ขายหลายบัญชี ความสะดวกสบายหลักรวมถึงการเข้าถึงแบบไม่ต้องใช้กุญแจสำหรับการสนทนาในทันทีและการทำงานส่วนตัวในอุปกรณ์ แอปนี้มีเป้าหมายไปที่นักพัฒนา นักเรียน และนักวิจัยที่ต้องการเข้าถึงโมเดลที่กว้างขวางบนอุปกรณ์ Android ส่วนตัว
มันรวมความสามารถในการจัดการโทเค็นรายเดือนที่ใหญ่ผิดปกติและรักษาความต่อเนื่องภายใต้ภาระ
แอปนี้รวมโทเค็นฟรีประมาณ 4 พันล้านโทเค็นต่อเดือนจากผู้ให้บริการมากกว่า 29 รายและใช้เมตริกประสิทธิภาพแบบสดในการตัดสินใจการจัดเส้นทางตามที่นักพัฒนาระบุ ความสามารถที่รวมกันนี้ทำให้นักพัฒนาและนักวิจัยมีงบประมาณสำหรับการอนุมานที่สามารถใช้ได้โดยไม่ต้องพึ่งพาผู้ขายเพียงรายเดียว ระบบการเปลี่ยนผู้ให้บริการอัตโนมัติจะเปลี่ยนผู้ให้บริการเมื่อโมเดลถูกจำกัดอัตราหรือยุ่งอยู่ และเราเตอร์จะปรับสมดุลการใช้งานระหว่างผู้ให้บริการเพื่อยืดเวลาการเข้าถึงในช่วงที่มีความต้องการสูง
มันสามารถทำหน้าที่เป็นจุดสิ้นสุดการพัฒนาท้องถิ่นสำหรับการสร้างต้นแบบอย่างรวดเร็ว
ในโหมดเซิร์ฟเวอร์ API LAN พรีเมียม แอปนี้จะเปลี่ยนอุปกรณ์ Android ให้เป็นจุดสิ้นสุดที่เข้ากันได้กับ OpenAI สำหรับแล็ปท็อปและ IDEs ทำให้สามารถทดสอบในท้องถิ่นและสร้างต้นแบบได้อย่างรวดเร็ว โครงการนี้ยังมีการสนับสนุนเดสก์ท็อปและการโฮสต์ด้วยตนเองผ่านที่เก็บซอฟต์แวร์โอเพนซอร์สที่มีภาพ Docker สำหรับ macOS, Windows และ Linux ดังนั้นทีมงานจึงสามารถทำซ้ำจุดสิ้นสุดมือถือบนเครื่องพัฒนามาตรฐานและรวมเข้ากับการทำงานในท้องถิ่น
มันเน้นความเป็นส่วนตัวในอุปกรณ์และการจัดเก็บกุญแจที่เข้ารหัสสำหรับการทำงานที่ละเอียดอ่อน
กุญแจผู้ให้บริการส่วนบุคคลจะถูกเก็บไว้ใน keychain ของอุปกรณ์ด้วยการเข้ารหัส AES-256-GCM และแอปจะส่งกุญแจไปยังผู้ให้บริการที่เลือกเท่านั้น ซึ่งสะท้อนถึงท่าทีที่ออกแบบมาเพื่อความเป็นส่วนตัว การสนทนายังคงอยู่ในโทรศัพท์และนักพัฒนารายงานว่าไม่มีการวิเคราะห์หรือการติดตาม วิธีการนี้สนับสนุนการทดสอบที่ข้อมูลที่อยู่อาศัยและความสามารถในการทำซ้ำมีความสำคัญ และเหมาะกับการทำงานที่ต้องหลีกเลี่ยงการส่งข้อมูลจากภายนอกในขณะที่ทดลองกับผู้ให้บริการโมเดลหลายราย
ดีที่สุดสำหรับนักพัฒนาที่มีประสบการณ์; ไม่เหมาะสำหรับการทำงานที่จัดการโดยผู้ขายเพียงรายเดียว
แอปนี้เหมาะสำหรับนักพัฒนาและนักวิจัยที่ต้องการการทดสอบแบบส่วนตัวบนอุปกรณ์และผลลัพธ์ที่เปรียบเทียบได้ เนื่องจากมันรวมการเข้าถึงโทเค็นฟรีที่สำคัญและเสนอจุดสิ้นสุด API บนมือถือ ทีมที่คาดหวังผู้ขายที่จัดการเพียงรายเดียวอาจพบว่าการตั้งค่าหลายผู้ให้บริการและการจำกัดระดับพรีเมียมต้องการการกำหนดค่าที่เพิ่มเติม สำหรับ CI และการทดสอบที่สามารถทำซ้ำได้ ให้ใช้เส้นทาง Docker แบบโอเพนซอร์สและการรวมจุดสิ้นสุดในท้องถิ่นเพื่อให้ตรงกับการทำงานของทีม.
